딱히 크롤링을 그렇게 할 생각은 아닌데
내가 개념글 페이지 가서
보고 싶은 제목의 글을 휠클릭으로 탭으로 쭉 열어놓고 보는걸 좋아하거든.
그런데 언젠가부터 짧은 시간내에 몇개 이상 열리면 차단먹히더라고.
그 기준을 모르겠는데, 10개라고 치면
연속으로 글을 10개쯤 열어버리면 차단 먹히고 한동안 디시 안됨.
그 이후로는 한 3개씩 열고 쉬었다가 3개씩 열고 그럼.
근데 최대 몇개 정도로 봐야됨??
근데 크롤링 한다고 치면,
1분마다 특정 갤의 메인페이지에서 글 리스트 조회하고
내용 조회하면 문제 안되려나??
혹시 무슨 기준같은거 아는 사람???
https://m.dcinside.com/robots.txt
- dc App
오~ 이걸 보면 되는거였구나 ㄳㄳ