requests 크롤링 싸이트 차단우회

[00(211.34)]

요청자 user-agent로 모질라 뒤에 헤더들 추가해도 싸이트에서 막는거 같은데

이러면 우회차단 뭐로함?

잘되던게 갑자기 안되네...

일단 웹사이트에 class나 span은 바뀐게 없음 디버깅해보면 그냥 웹싸이트 보안때매그런거라고 메일써서 왜 쓰는지 요청하면 풀어준다고 뜨는데 다른방향으로 우회하는 라이브러리나 방법있음? 

[익명(121.151)]

크롤러 만든거 말고 웹브라우저로 직접 접속해봐라 걍 네ip 차단됐을 수도 있어

[00(211.34)]

ip차단은 아니야. ip바꿔가면서해도 똑같이 접속차단되넹..ㅠㅠ

[익명(39.119)]

웹 브라우저에서 직접 접속해서 접속 성공하면 해당 접속시 요청 헤더 그대로 복사해서 쓰면 작동됨.

[익명(39.119)]

cors 문제일 수도 있음. refer 문제일 수도 있고. 서버에서 특정 헤더에 속성이나 값이 있어야 되는데 없을 때 예외 응답을 한다면 그거 때문일 수 있음. 토큰 방식으로 한다면 토큰이 생략되었거나 유효하지 않은 토큰을 보냈을 거임. 특정 쿠키가 있어야 하는데 보내지 않았을 수도 있음.

[00(211.34)]

토큰생략도아니구 일단 리퀘스트란에서 Text를 다 못읽어와.. 그냥 리퀘스트get부터 에러나 ㅠㅠ

[익명(39.119)]

그러니까 브라우저 가서 정상적인 응답시 어떤 요청을 하나 그걸 보셈. 아예 브라우저에서도 안되면 답 없는 거고

[00(211.34)]

해당싸이트 브라우저 console에서도 리퀘스트 요청 거부뜨네...이러면 답없는거지? 리퀘스트로 크롤링하는건?

[익명(39.119)]

그 요청 자체가 잘못된 요청이 아니라면 응답을 정상적으로 받을 수 있는 건 맞지?

[익명(39.119)]

만약에 그 요청 url에 대해서 서버가 애초에 응답하지 않는 거라면 안되는 게 맞고 사이트를 통해서 정상적인 방법으로 url에 접근했을 때 정상적으로 응답이 온다면 할 수 있는데 니가 방법을 모르는 거야.

[00(211.34)]

ㅠㅠ 형답답할수도있는데 내가 이거 전공자가 아니라...잘모르는걸수도있어. 1.일단 문제없이 작동하던 부분이야 어제 갑자기 안돼 2.그래서 토큰 파싱부분 잘못된거 같아서 웹에서 확인했는데 변경된부분은 없어. 3.디버깅중 url 리퀘스트부분에서 text를 불러오지조자 못해. 그냥 403 포비든 에러받고있어.... 형말대로 브라우저에서 콘솔입력하니까 리퀘스트 디나이떠

[익명(39.7)]

어차피 크롤링을 하는 거니까 브라우저 자체에서 해당 url에 접속이 가능할 거 아니야. 콘솔에서 요청을 보내는 게 아니라 단순히 마우스 클릭으로 페이지 이동해서 요청을 보냈을 때 정상적으로 응답이 오냐는 말이지.

[익명(39.7)]

만약 그렇다면 크롬 개발자 도구에서 해당 요청의 http 헤더를 분석해서 올바른 요청을 크롤러를 통해 보낼 수 있게 돼. 이건 사이트마다 달라. 어떤 사이트는 해당 토큰이 포함된 url로 요청을 보내면 한 번만 정상적으로 응답한 뒤 url 자체를 비활성화하는 경우도 있어.

[익명(39.7)]

그래샤 브라우저를 통해 정상적인(일반적인) 루트와 방법으로 접속한 뒤 정상적으로 작동하면 크롤러를 잘못 만든거고 응답이 똑같이 안 온다면 서버 문제일 가능성도 있는 거지. 아니면 ip 차단의 가능성도 있고. 근데 ip 차단이면 차단됐다고 말해주는 경우도 있어서 확신은 못해.

[익명(175.197)]

크롬 디버깅 모드로 키는방법 찾아서 써봐라.