크롤링 하려고 좀 알아보는데 robots.txt 이거 뭐냐

[자유인카뮈(freemancamus)]

보니까 법적으로 뭐 있는건 아니고

님들 크롤링 하지말아주샘ㅜㅜ

이정도인듯한데

좆까!

하고 그냥 긁어오면 되는 부분이냐

[익명(220.80)]

너 그러다가 로봇이 찾아온다

[ㄱㄷㄴ(whdgns6351)]

예전에 저거 무시하고 크롤링한걸로 서비스했다가 법정싸움에서 진걸로 아는디

[자유인카뮈(freemancamus)]

상업적 용도로만 안쓰면 되는거 아니냐

[익명(222.99)]

로봇 파일로 검색엔진의 크롤링을 막고 대신 사이트맵을 배포해서 검색 노출에 도움이 되도록 한다

[123(1.245)]

ㅈ까고 크롤링해도 되긴되는데 나중에 고소미먹음 백퍼짐

[익명(jk06188)]