User-agent: * Disallow: / # Ads User-agent: grapeshot Allow: / # Search User-agent: Googlebot Allow : / Crawl-delay: 60 User-agent: grapeshot Allow: /


학부 과제용으로 디시 게시물을 크롤링중인데

크롤링하다가 ip 차단될수도 있는건가요??