파이썬 크롤링때 멀티스레드 무의미하지 않음?

[익명(39.7)]

블럭 안당할려고 일부러 타이머까지 거는데

멀티스레드 의미가 있냐?

여러개 조지다 빼박 차단 아님?

[익명(59.23)]

기술적으로 I/O니까 의미는 있는데 사이트 입장에서는 DoS니까 안하는게 예의겠지

[3년차(qwexodn)]

크롤링 엔진을 돌릴때 각각의 스레드에서 타이머를 체크하지 전체적으로 쉬었다가진 않아 - dc App

[익명(39.7)]

아니 내말은 싱글일때도 일부러 타이머 거는데 그걸 빠르게 하겠다고 멀티 돌리는게 의미가 있냐는거지

[3년차(qwexodn)]

하나의 웹사이트에서 돌릴경우는 그렇게 사용해도 되겠지만 여러 웹사이트를 서칭하는 경우엔 차이가 많이나지 근데 크롤링 기술 자체가 하나의 웹사이트에서 돌리기위해 만들어진게 아니야 - dc App

[익명(220.120)]

user-agent만 넣어줘도 안걸리던데