크롤러에 서버 특정한 기능 없이


범용으로 인공지능이 알아서 크롤링하게 하면 되는데


그게 말만 쉽지 하기는 어렵다는게 문제