[일반] 스크래핑 사이트에서 막기도 하지?

[익명(58.126)]

크롤링 해보려고 imdb에서 먼저 시험하려는데 이게 데이터가 안불러와지는데..

사이트에서 자체적으로 막기도 함?

[백갤러 1(222.111)]

ㅇㅇ robot.txt 라고 찾아보셔요

[백갤러 2(114.203)]

당연히 막지요

[휴우。(cjy042218)]

영화 정보 필요한거면 크롤링말고 tmdb api 쓰셈 - dc App

[익명(58.126)]

필요한건 아니고 진짜 연습이라 imdb 차트 스크래핑 해보려고하는데 안돼서ㅠ

[휴우。(cjy042218)]

@ㅇㅇ(58.126) 차트는 disallow 아닐걸 - dc App

[익명(58.126)]

@휴우。 안되는데...ㅠ 내가 잘못한건가 싶어서 다른 크롤링 전용? 연습사이트는 잘 불러와지는거 보면 imdb에서 막는거같아..내가 초보라 누구한테 잘되는지 부탁 할수도 없고 답답하네

[휴우。(cjy042218)]

@ㅇㅇ(58.126)
https://www.imdb.com/robots.txt
확인해보셈 - dc App

[익명(58.126)]

@휴우。 ㄳㄳ 이거 잘모르는거긴한데.. allow에 내가 스크래핑하는 경로 없는거보면 문제 없는거같은데.. 뭐지..

[백갤러 1(222.111)]

@ㅇㅇ(58.126) 경로는 문제없어도 에이전트한테 크롤링 시킬때 지연시간을 잘 설정해야 안막음

[백갤러 1(222.111)]

@백갤러1(222.111) 그걸 robot.txt 보고 지연시간을 결정하는거라 robot.txt가 어떤의미들을 갖고있는지 llm 한테 물어보셈

[익명(58.126)]

@백갤러1(222.111) 그래서 robot.txt 그대로 보여주고 agent 변경좀 해달라니까 그건 안된다는데..허용어쩌고하면서ㅋㅋ;

[익명(58.126)]

@백갤러1(222.111) 그냥 안되나봐..

[백갤러 1(222.111)]

@ㅇㅇ(58.126) 그건 님이 계속 해당 사이트에 크롤링 시도해서 ip 차단먹은걸수도있음

[익명(58.126)]

@백갤러1(222.111) 첨부터 안됐어..

[아리마저지먼트(compel8900)]

크롤 유저에이전트 설정이라던지 특정 자바스크립트 렌더링 유무도 볼수도 있음 - dc App

[아스카영원히사랑해(xczplnoxm2q7)]

ㅇㅇ 우리 사이트 막는데

[익명(223.39)]

저는 사람인 채용공고 데이터 긁어오다가 IP밴 먹었습니다 집에서 사람인 접속이 안돼요