크롤링 한 페이지 하는데 얼마나 sleep 해야함?

[익명(182.215)]

한페이지 읽고 쉬고 읽고 쉬고 해야하지?

몇 초 정도 쉼??

[프갤러 1(183.109)]

1초 - dc App

[프갤러 2(223.38)]

sleep보다 조건을 더 거는게 어떰 - dc App

[익명(182.215)]

무슨 뜻임? 어떤 식으로??

[프갤러 2(223.38)]

네트워크 지연으로 1초걸릴게 3초 걸릴 수 있으니 각 페이지마다 스크랩이 끝났음을 알릴 수 있는 객체가 로딩이 되면 다음페이지 넘어가는게 좋음 try-catch 로 404에러나 이런것도 처리하면 좋고 크롤링으로 몇백페이지 하다보면 무조건 한두번 뻑나서그럼 - dc App

[프갤러 3(211.235)]

ㅇㅇ이게마음 - dc App

[익명(182.215)]

아하 참고해볼게 땡큐

[프갤러 4(223.38)]

굳 나는 크롤링 돌릴때 에러나도 삼세판이란 마인드로 세번 더 시도하게 해놓음 페이지끝은 while true 하고 끝페이지 가면 나오는 객체 혹은 부정적인 return 5번 이상나오면 while 종료 finall 은 이메일 알림으로 내가 좆된거 확인하기 - dc App

[프갤러 4(223.38)]

finally. - dc App