크롤링 질문좀 매우간단

[펏지킴(1.233)]

책보면서 하고있는데 책이랑 똑같이쳤는데 print했을때 None뜨면 

사이트에서 막아놓은거임? 

[익명(110.70)]

주소에 /robots.txt 붙여서 확인

[익명(110.70)]

Disallow : / 이면 크롤링 좆까라는 의미임

[ㅇㅇㅇ(121.144)]

그냥 잘못해서 호출실패한거 아니냐. 리턴코드나 확인해.