크롤링 <- 이거 어케 잡는거임?

[익명(58.237)]

주소 하나 불러와서 데이터 긁는거면

그냥 클릭 한번 한걸로 치는거 아님?

서버쪽에서 얘가 크롤링하는건지

그냥 일반 유저인지

어케 알고 차단함?

[프갤러 1(210.57)]

User-agent가 다름. 물론 이마저도 진짜 사용자처럼 설정하고 접근할 수 있어. 그래서 보통 웹에서는 짧은 시간 내 요청이 많은 아이피를 일시적으로 차단 하는 방법을 사용하는 곳도 있음.(api 요청 제한)

[익명(58.237)]

그거도 쉬면서 크롤링하면 막는건 걍 불가능하겠네 아니면 vpn을 쓸 수도 있고

[프갤러 1(210.57)]

ㅇ 니 말대로 쉬면서 하면 안막힘. (물론 웹바웹이겠지만 대부분은 안막힘.) 크롤링 시간 좀 빠르게 했는데 api 요청 제한 걸렸다 싶으면 그냥 시간지연 좀 줘서 느리게 하면 되는 경우도 있다. 그리고 구글 네이버 같은 ㅈㄴ 큰 회사들은 크롤링 하지 말라고 그냥 지들이 api를 지원함.

[익명(180.68)]

크롤링 개떡같이 하면 차단먹는거고 표준방식이 있음

[발명도둑잡기(aerohong)]

트래픽 비정상적으로 많으면 캡차 물어보기 // "도둑이 집을 떠나며 주인을 욕한다" - 러시아 속담