학교 서버컴으로 크롤링하니까 찍싼다

[스즈미야하루히(lewis46)]

크롤링 속도 대박이다 ㅋㅋ

스레드 25개 만들어서 동시 크롤링중

학교 과제 다 여기서 테스트되는데

서버컴 리소스 조져버리고싶다

[ㅇ(125.177)]

멀티스레드라고 크롤링 속도가 빨라지진 않을텐데..

[스즈미야하루히(lewis46)]

ㄴ 나도 그렇게 생각했는데 더 빠르더라. 네트워크 소켓 열고 닫는 과정때문에 그런건가? 100개 페이지 순서대로 크롤링하는거보다 5번 나눠서 5개스레드에 하는게 빠름

[ㅇ(125.177)]

코드가 잘못된게 아닐까?

[스즈미야하루히(lewis46)]

그ㅡ그그그ㅡㄱ그ㅡ그ㅡ그ㅡ그러냐???