크롤링 내가 알려주까?



내가 어느 회사에서 크롤링에 관해서 알려달라고 해서 알려준 적이 있지.



아래 게시글에도 셀류니움인지 셀뭐시기인지, 그거 말하는데,



이건 그런 기술이 아니야.



물론 크롤링에서 내가 알려준 기술도 퍼피티어나 셀류니움 이용해서 긁어오는 방법을 알려줬지만,


이거 그렇게 하면 속도가 너무 느려.




크롤링의 정의는 문서 수집인데,


웹 페이지를 가상 브라우저를 하나씩 띄워서 가져오는 방식으로는 긁어오는 대비 자원의 활용이 너무 커. 프로세스 당 해결할 수 있는 한계점도 인간이 인지할 수 있는 범위로 축소되지.




근데 전문적인 크롤링은 그렇게 안 해.



하버였나?



이름이 생각 안 나네?



10분이면 수십 기가는 긁어올 걸?



아 물론 나는 로컬로만 돌려봤쥐. 이거 aws에 올려서 자동화로 만들었다가는 돈이 존나 나갈 거 같으니까.



크롤링은 그렇게 하는 거쥐.