내가 연구목적으로 크롤링을 좀 깊게 파본적이 있음.


근데 씨발 왠만한 페이지는 전부다 구글 뺴고 다 크롤링 막아놓음.


robot.txt에 법적인 제약은 없지만


그래도 레퍼런스를 공개해야 하는데, 연구 윤리에 어긋남.


가끔 네이버나 다른 포탈들 몇개도 열어놓은 곳이 있지만


그래도 새로운 검색엔진이 생겨날 수가 없는 구조


개좆같음 연구 접음