현재 무상으로 웹 로봇(웹 크롤러)를 제공해 주는 대표적인 곳이 Internet Archive(http://archive.org)라는 곳이 있는데...
여기서 제공해주는 웹 크롤러가 Heritrix입니다.

https://webarchive.jira.com/wiki/display/Heritrix/Heritrix;jsessionid=8B8C74D502EB37CA2968D49A8D939EB5#Heritrix-Heritrix3.1.1(May2012)

위에 사이트에 접속하면 무료로 heritrix를 다운받아서 사용할 수 있다는데 도저히 사용 방법을 모르겠음요ㅠㅠ

현재 맥북사용하고 윈도우도 사용중입니다....

개인 PC에서 이 웹크롤러를 실행해서 웹 사이트를 수집해 보고 싶음요...특히 트위터의 트윗을 수집해 보고 싶음요

제발 컴퓨터 천재 횽아가 꼭 좀 사용 방법을 알려 주십시요ㅠㅠ