System.out.println(tempPage);
System.out.println(doc.toString());
Elements table1 =doc.select("tbody").first().select("tr[class=ub-content]");
이게 Jsoup 코드
java.lang.NullPointerException
at Markov.frontPage.scroll(frontPage.java:111)
at Markov.frontPage.stay(frontPage.java:41)
at Markov.frontPage.main(frontPage.java:36)
이게 결과
전체 HTML로딩이 안되는데 이제 디씨에서 크롤링 막은거냐?
이제는 htmlUnit써서 자바스크립트까지 실행시키는거밖엔 방법이 없음?
바보야 html 읽어봐 - dc App
아 그냥 url 잘못써서 그런건가
http://gall.dcinside.com//board/lists?id=comic_new&page=1
이전
만화 갤인데
리스폰스에서 리플레이스 시키고 있잖아 지금
헤더 referer 안잡으면 이럼
아 그렇네 ㅎㅎ URL 잘못썼네 ㅎㅎ ㅈㅅ
피씨판 긁지말고 깃헙에 goinside나 pyinside 참고해서 공앱api 쓰셈
무띠님이 만갤에서 빅데이터 올리는거ㅈㅅ?
내
그거 만갤 모든 제목 죄다 긁은거임??
다 긁어모으면 데이터 크기가 얼마나됨???
제목내용댓글 다긁음
한달에 150 압축하면 40메가쯤
댓글은 자바스크립트로 로딩해야되던데 그럼 셀레니움같은 그런거 쓰는거임??? 한번 긁는 작업하는데 얼마나 걸림?
그리고 트래픽 과다사용으로 차단같은거 안당함?
아 pyinside 쓰면 그런거 안해도 되는건가??
셀레니움(피씨)>모바일웹>공앱 순으로 느린데 셀레나움은 5년전에 써서 까먹었고 500개 수집할때 모바일웹은 40초 공앱은 15초쯤 걸림
딴건 차단 하나도 없는데 공앱만 에러 예외 제대로 못잡으면 너무빨리 접속해서 아이피차단됨
그렇구나. 공앱 API를 쓰면 잡다한거없이 그런 데이터만 받아올수 있나보네.. 자바버젼 API는 없는거임???
그리고 누가 빅데이터 요청했을때 그사람이 쓴글 모아서 결과물 출력하기까지 시간이 얼마나 걸림??
신기해서 궁금한게 많음
api라해도 그냥 php주소랑 헤더들만 모아온거라서 적당히 따오면됨
db 로드 되있는 상태에서는 20초면됨 그림 다운하고 손질하는데서 시간 다뺏길뿐
아 그리고 또 빅데이터 완성한건 사진으로 올리잖아. 그건 직접하는거야 아니면 파이썬으로는 웹브라우져로 사진 업로드까지도 가능한거야??
업로드도 맘만 먹으면 가능하긴한데 위에 썻듯이 손질해야 하는것들이 많아서 그냥 저장해서 모아올림
감사감사 프갤 자주 오는거지??
ㄴㄴ 한달에 한번도 안오샘
모야 그럼 어디가면 찾을수잇는거임
그냥 만갤에서 빅데이터 돌아갈때 물어봐야겠다
알림봇 만들어놔서 무띠 닉언하면 저한테 카톡날아옴
헐;;;;;;;;;;;
그냥 주소만 틀린거 아니냐? 만갤은 마이너갤이 아니잖아.