jsoup 크롤링에 대해서 한 수 가르쳐 주세요

[접니다be(221.154)]

안녕하세요

안드로이드에서 jsoup로 디시 게시판을 좀 크롤링 해보려는데요

http://gall.dcinside.com/mgallery/board/lists/?id=chel 이런식으로 게시판글을 불러오려는데 계속 false만 뜨고 받아오질 못합니다

제 코드를 보면

http://gall.dcinside.com/mgallery/board/lists/?id=chel";

Document doc = Jsoup.connect(htmlPageUrl)
                        .timeout(5000)
                        .userAgent("Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2)

                         AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.152 Safari/537.36")
                        .get();

Elements articles2 = doc.select("a");

System.out.println(articles2);

위의 코드는 다른 사이트나 디시인사이드의 메인에서는 잘 긁어오지만

게시판에서 적용해보면

I/System.out: (HTTPLog)-Static: isSBSettingEnabled false

만 찍힙니다

제가 어떤 방향으로 잡아야될까요?

[담당일진휴식중(110.70)]

나도 디씨 크롤링할때 많은 고초를 겪었읍니다

[담당일진휴식중(175.223)]

헤더뜯어보고 나오는것들 하나하나씩 넣어봐

[익명(223.62)]

제이숲으로 소스 다운까지 다하는게 좋을지 파싱만 따로 하는게 좋을지 - dc App

[접니다(221.154)]

담당일진휴식 횽님 제가 이제 크롤링을 시작하고 있는 초보입니다 헤더를 뜯어보고 나오는것들을 하나하나씩 넣어보라는것이 물론 크롬을 통해서 소스보기를 통해서 헤더를 보고 있는데 여기서 어떤걸 어디에 넣어야되는건가요?

[퍄퍄퍄_(piapiapia1)]

그 헤더가 HTML의 헤더가 아니라 리퀘스트의 헤더에요 크롬이라면 요소검사 네트워크 탭 가보면 어떤 리퀘스트들이 보내졌는지 나옵니다. 거기서 새로고침 한 번 해주고 찾아보세요.

[접니다(221.154)]

퍄퍄퍄_ 님께 제가 너무 무지한 상태에서 시작해서 정말 어렵네요 ㅠㅠ 그냥 jsoup써서 하면 다 될줄알앗는데... 구글 크롬에서 네트워크를 보는것도 방금 알게됬네요.. ㅜㅜ 이걸 어떻게 보는지는 모르겟지만 쭉 보다보니 ads?client= 어쩌고 나오는 부분을 클릭해보니까 옆쪽에 headers 정보가 뜨는데요 서버가 cafe인걸 보니 제가 지금 카페에서 하고 있어서 맞는거같은데 여기서 멀 봐야 되나요?

[익명(110.47)]

request header 다 포함시키고 보내셈