어느정도 합법적으로 크롤링해서 블로그나 깃헙에 정리해 올리려면
어떻게 해야할까
기술적인걸 물어보는건 아니고
robots.txt 있어도 저게 법적 의무는 없다는데 그냥 크롤링해도 됨?