현재 각 문서에 대해 필터링, 파싱, 메모리누수같은현상 모두해결된상태 입니다... 

문제가... 

테스트 하던 사이트가 있었습니다. 

그 테스트를 하던 사이트가 제 IP를 차단해버리더군요 

이 크롤러가 자기 사이트에 DDOS 공격먹이는줄 알고 차단한듯 싶습니다... 

공격이라는걸 오해받지 않고 크롤링하고싶은데 어떻게 해야하나요... 

임시방편? 으로 최근에 200개 가져온 URL 은 수집못하게했는데 이마저도 미덥지 못하네요 -.-;

단순 루프에 슬립을 주는것보다 획기적인 알고리즘 없을까요?