바이트체크하기엔 광고등때문에 용량차이 무조건 나는거고
페이지다받아오기엔 그럴바에 새로 다업데이트하는게 낫고
방문한페이지제외하고 크롤링하기엔 뒤에 삭제되거나 변경된 페이지까지 다해서
서버에 무리줄것같고 시간도오래걸리고

무슨방법이있나염