크롤링 헤더 사용자 아이디 쓰면 차단 안박는다고?

[평평한지구학회(lineman1)]

디시 프갤 10,000페이지 긁어오라고 시키면 밴할 것 같은데

그래도 안한다고??

[?(175.121)]

생각을 해봐라 디씨 하루 요청이 몇갠데 그걸 크롤러라고 단정짓고 밴때리냐 물론 패턴이 보이면 밴때리긴 하겠지만 수동임

[평평한지구학회(lineman1)]

for loop 걸어서 1초마다 동일 사용자가 1~10,000페이지 돌고 앉았으면 기계라고 판단하지 않을까>?

[익명(121.135)]

Header user agent를 여러 개 번갈아가면서 쓰면 되지

[익명(222.117)]

user-agent만 잘 넣어도 봇이라 판단 잘 안함