너네가 크롤링 개념을 제대로 몰라서 그러는거
사이트 루트에 접근제한 메타파일이 있다. 거기에 크롤러 접근에 대한 명세가 되어 있어서 크롤링 가능여부를 판단할수 있는데
저번부터 보니까 너네는 크롤링이 사이트 데이터를 가져오는것, 훔쳐오는것 이라고 알고 있는것 같더라.

- dc official App