현재 무상으로 웹 로봇(웹 크롤러)를 제공해 주는 대표적인 곳이 Internet Archive(http://archive.org)라는 곳이 있는데...
여기서 제공해주는 웹 크롤러가 Heritrix입니다.

https://webarchive.jira.com/wiki/display/Heritrix/Heritrix;jsessionid=8B8C74D502EB37CA2968D49A8D939EB5#Heritrix-Heritrix3.1.1(May2012)
위에 링크에서 파일을 다운 받고

아래 링크는 사용 방법을 알려주는데... 어떻게 실행시키는지 전혀 모르겠음요ㅠㅠ
http://crawler.archive.org/articles/user_manual/

윈도우7사용하고 자바까지 다운 받기는 했는데.. 실행방법을 모르겠음요...
java를 사용해 본 적이 없어서ㅠㅠ


형들 제발 좀 알려주셈요ㅠㅠ