크롤링 이거 기준이 정확히 어케되노?..

[삐야쿵(1ov3u)]

회사 업무사이트 자동화 때문에 크롤링 하려고 하는데, robots.txt 보니까 전부다 거부 시켜놓긴함

이거 로그인 권한 있는 사람은 그냥 몰래 트래픽 과부하 안줄 만큼 하면 안되냐?

[익명(210.57)]

크롤링하는 사람 대부분 robots.txt 안보고 그냥 막할껄?

[삐야쿵(1ov3u)]

그렇게 하면 개발자?가 로그보고 바로 알수있지않냐? 흠...약간 말도안되는 요청은 탐지한다길래

[익명(210.57)]

로그를 모니터링 하는 개발자는 없을꺼야 물론 짧은 시간 내 많은 요청이 들어오면 해당 아이피를 일시적으로 차단하는 경우는 있긴하지(서버에서 자동으로 처리) 적법한거냐? 라고 묻는다면 그건 아님. 그러니 선택은 본인 몫

[삐야쿵(1ov3u)]

아하 그렇구나 흐아...담당IT부서에 메일로 물어볼까 고민중이긴 한데 고마워요!

[발명도둑잡기(aerohong)]

보통 robots.txt는 무시하고 프록시로 한다. 대량으로 하다가 걸리면 영업방해로 피소당함. // "도둑이 집을 떠나며 주인을 욕한다" - 러시아 속담

[삐야쿵(1ov3u)]

게임하느라 늦게봄 ㄱㅅㄱㅅ