크롤링이 어느정도까지 합법인지 모르겠네

[익명(223.62)]

사이드 플젝으로 가격비교 사이트 만든 뒤에 알림 가는거 구현해보고 싶어서 크롤러 만들고 있는데 11번가나 쿠팡 같은데는 거진 robots.txt에 일반 유저 disallow 해놔서 고민

뚫으라면 뚫을 수도 있다는데 예전에 크롤링 땜에 재판까지 간 사례들 보면 좀 쫄림

- dc official App

[익명(chartman)]

robots.txt는 막아놓은게 아니라 뚫는다는 표현도 이상함 진입금지 같은 표지판 같은거지 근데 그런거 다 알고 진입했으면 소송에서 불리하겠지 의도적인거라

[익명(45.8)]

걍 vpn 쓰고 크롤링해