크롤링 질문좀

[익명(111.65)]

파이썬으로 크롤링 공부중인데 

자바스크립트 쓴 동적 페이지들 크롤링 하는거 

셀레늄밖에 답없음? 넘 느려서 답답함 

[ㅁ너이ㅏ(124.62)]

ㄴㄴ 셀레늄으로 웹브라우저 원격으로 안해도 리퀘스트로 다 처리할수 있음 ,하지만 웹에대한 이해도가 부족하면 못함. 유저에이전트도 조작하고 여러가지 해야하는데 , 웹알못이면 편하게 셀레늄 쓰셈

[익명(223.38)]

자바스크립트의 경우 패킷 분석해서 크롤링하는거 많이 소모적임.. 그냥 셀레니움 바르고 다른 시스템 만드는게 더 이득