생각해보면 robots.txt는 의례일뿐인거쟎아

[Lucien(lucienjeon)]

Robots.txt 무시하는 크롤러만들고싶으면 얼마든지 만들수있는거아닌가?
난 내 비밀크롤러하나 갖고십다 ^^

[Lucien(lucienjeon)]

여러개돌려놓고 매일매일 팝콘먹으면서 구경하면 졸잼이겠당ㅋㅋ

[sloth(121.190)]

쓰레기수집

[순자(182.228)]

스포츠 패널 모집 단ㅌ 방송채팅페이지제공! 텔레그램 JFK44