그럴때.. html 의 아래쪽에 아래와 같이 표시될 경우...

서버에서 봇으로 인지하고 원하는 정보를 주지 않고 차단한 경우입니다.

너는 사람이 아니네?

컴퓨터잖아

왜 들어왔어! 그냥 나가!

'비정상적인 움직임이 발견될 시 시스템에 의해 해당 네트워크의 검색을 일시적으로 제한하고 있습니다.'

'비정상적인 검색이란 프로그램등을 이용, 특정 단어를 반복적으로 대량으로 입력하는 등.....'

이럴때에는..

'나는 봇이 아니야. 사람...일껄???' 이라고 이야기를 해주면 됩니다.

그럴때에는

headers 정보에 User-Agent 를 넣어주면 되는데요.

(여기서 헤더(header)는, 접속하는 사람/프로그램에 대한 정보를 가지고 있습니다. 정보는 한 가지 항목이 아닌 여러가지 항목이 들어갈 수 있기에 복수형태로 headers 로 입력합니다)

headers = {'User-Agent' : '유저정보'} url = '접속하고픈사이트' requests.get(url, headers = headers)

이렇게 입력을 하면,

나는 '유저정보'란 유저야. 이 사이트에는 어떠한 정보가 있는지 알려줘~

뭐 이렇게 이야기를 하게 되는거죠.

크롤링을 방지하는 사이트에서

만약 User-Agent 를 점검하는 로직이 있다면, 이와 같은 방법으로 해결할 수 있습니

[출처] 크롤링) 접속 차단되었을때 User-Agent지정(header)|작성자 데이터공방