일단 본문 크롤링후에

페이지내부에있는 list.php관련 url모두 수집하고 대기열에 넣은다음

코맨트가 있을경우 xml데이터를 서버에 요청해

http://gall.dcinside.com/comment_(ㅁㄻㄴㅇㄻㄴ)4.php?id=programming&no=1&page=1

숫자4앞에 ()는지워라


 

그럼 xml데이터에보면
<PAGE DEBUG=\"\" TC=\"\" TOTAL=\"<table class=\'Nnavi\'><tr> <td><a class=\'on\' style=\'color:orange\'>1</a></td> <td><a href=\":new_view_comment^%#@$#@2(\'programming\',1,2);\">2</a></td> <td><a href=\":new_view_comment!#!@#2(\'programming\',1,3);\">3</a></td> <td><a href=\":new_view_comment^@#$#@$2(\'programming\',1,4);\">4</a></td></tr></table>\" PREVIEW=\"0\" NEXT=\"\"/>

라고 데이터가넘오잔아

new_view부분을 파싱해서 그수만큼 코멘트 쿼리 &page=1,2,3,4순차적으로 저장해주면됨

쉽지?