크롤링은 병렬로 못하냐?

[익명(175.223)]

예를들어 페이지 3천개에서 긁어 모은다 치면

페이지 3천번 돌아야 되잖아 순차적으로

이걸 병렬로는 못함?

동시에 10개씩 방문해서 루프 300번으로 줄인다던지

이런건 못함?

사이트에서 IP 차단 되려나?

[ㅇ(211.221)]

못할 이유가 있나? 사이트에서 IP 차단 되는지 아닌지는 그 사이트 방어 유형에 따라 다름

[익명(175.223)]

파이썬인데 이거도 절차지향언어라 앞에 루프 다 돌아야 뒤로 넘어가는거 아님? 루프 3개를 병렬로 동시에 어떻게 돌려?

[익명(175.223)]

3개가 아니라 10개

[익명(106.102)]

크롤링할페이지수 / 스레드수 해서 알아서 분배하면 되지

[익명(106.102)]

파이썬이면 프로세스 여러개돌리던가

[익명(175.223)]

파이썬도 스레드 이런거 다 되나보네

[익명(106.102)]

파이썬 스레드는 성능 구리다고는들음, 실제로 코어 안잡아먹는댔나...

[익명(106.102)]

병렬자체는 충분히 가능하지

[익명(112.164)]

쓰레드 여러개 돌리면 가능