User-Agent에 크롤링봇인걸 명시하고 크롤링함
애초에 크롤링을 허락하지 않는다고 명시해두면
(해당 내용 적으면 디시 방화벽에서 막음)
긁어오지도 못할건데 뭔 문제임