크롤링은 웹 분야에서 저급기술임?

[익명(39.7)]

ㅇㅇ?

[익명(119.71)]

단순 크롤링은 쉽지

[익명(39.7)]

그럼 어떤 크롤링이 어려움

[익명(119.71)]

크롤링 막은 사이트 뚫는 거

[익명(39.7)]

어케뚫음

[익명(119.71)]

그냥 막은 방법 취약점 찾아서 뚫는거지

[sloth(218.147)]

대표적으로 잘 알려진 문제가 싸이클 감지와 어떻게 피할것인가 bfs든 dfs든 depth는 어디까지 갈것인지 url은 달라도 같은 페이지가 많은데 이런것은 어떨게 피할것인지 최초로 긁는게 아닌 큰 url pool을 토대로 긁어오는 경우에 대용량 분산 처리를 위해 해야 하는 고민등 - dc App

[sloth(218.147)]

이때 작업 스케줄링과 긁어온 데이터 처리부터 검색엔진 같은 경우 역인덱스 생성전에 기본적인 가공과 분석등은 크롤링팀에서 보통 처리해 - dc App

[sloth(218.147)]

실시간 크롤링은 또 더 어려운 이야기고 자바스크립트를 실행해서 긁어와야 되는 페이지들도 만아졋고 - dc App

[익명(39.7)]

와 씹고수..

[익명(39.7)]

이거 지우지말아보ㅏ 이대로 공부하게