야 이거 크롤링하는데 시간 얼마나걸리겠냐

[자유인카뮈(freemancamus)]

여기 있는 모든 종목 한 2000종목 될거임

이 종목들 각각 페이지에 들어가서

일별시세를 다 긁어오는거임 

상장한지 얼마 안된 종목도 있을테니 종목마다 일별시세가 한 500페이지씩 있다 치면

100만페이지임

한시간하면 가능하려나

[익명(106.101)]

ㅇ

[자유인카뮈(freemancamus)]

와 조낸 빠르네

[오토충(122.43)]

100페이지 하다가 아이피 차단당함

[자유인카뮈(freemancamus)]

ㄷㄷ 그럼 어떡함

[치킨맨(114.204)]

셀레늄 최적화 해서 돌리면 그렇게 많이 안걸림 10분도 안걸릴듯

[자유인카뮈(freemancamus)]

오호 ㄷㄷ글쿠먼 빠르노

[점진적자살(182.216)]

레이트리밋 걸려있을듯 네이버 데이타랩 크롤링해봤는데 걸려있었음

[자유인카뮈(freemancamus)]

그럼 어찌합니까? 좀 긁고 쉬고 좀 긁고 쉬고 해야함?

[모드맵퍼(modmapper)]

2000 × 500에 대충 길게 잡아 받아오는데 100ms 나온다 치면 100,000,000 / 1000 / 60 / 60 약 28시간 이걸 8스레드로 하면 3.5시긴 정도

[자유인카뮈(freemancamus)]

오 빠르노

[익명(222.99)]

저건 고랭 고루틴 돌려도 몇십 분은 걸리겠는데 근데 크롤링해서 어디다 쓰시게요?

[자유인카뮈(freemancamus)]

내 데이터베이스에 다 박아서 지지고볶고 할생각임

[익명(118.45)]

네이버 주식 크롤 되긴함?

[자유인카뮈(freemancamus)]

될거같은데? 안되려나?