대강 크롤링 하는거 만들었는데
이게 예를 들어서 자료가 300개가 있다면
10개정도면 가져온다.
내가 크롤링하는 사이트에 총 300개의 데이터가 있음.
근데 이걸 전부 가져오려면 어떻게 해야함?
자바스크립트 기반이라 스크롤 내리면 데이터가 조금 로딩된 후에 뜸.
300개 전부 보려면 스크릴 꽤나 내려야함.
매크로로 스크롤 전부 내린 다음에 한번에 크롤링 해야하나?
대강 크롤링 하는거 만들었는데
이게 예를 들어서 자료가 300개가 있다면
10개정도면 가져온다.
내가 크롤링하는 사이트에 총 300개의 데이터가 있음.
근데 이걸 전부 가져오려면 어떻게 해야함?
자바스크립트 기반이라 스크롤 내리면 데이터가 조금 로딩된 후에 뜸.
300개 전부 보려면 스크릴 꽤나 내려야함.
매크로로 스크롤 전부 내린 다음에 한번에 크롤링 해야하나?
스크롤 끝까지 내린 후 긁어야 돼
ㅇㅇ 그런 경우엔 내려야함
개발자도구 네트웤 탭 키고 스크롤내리면 xhr요청가는거 보임. 만약 필요한데이터 잘 들어있으면 셀레늄쓰지말고 요청그대로 보내서 받아오면됨