https://zladnrms.tistory.com/164


[Python] 디씨인사이드 글 / 게시물 / 사진 크롤링

개인프로젝트를 진행하다가 사진들이 필요해져서 국내 최대 커뮤니티인 디씨인사이드의 사진을 크롤링한 작업을 공유하고자 합니다. API response를 분석해 크롤링하는 방법도 있지만 저는 비교적 쉽고 간단한 BeautifulSoup를 통해 html parse로 원하는 정보를 얻었습니다. 이번 게시물에서 크롤링하고자하는 대상의 갤러리는 리그오브레전드 갤러리로 하겠습니다. 이 글에서는 글 목록, 단일 게시물, 사진을 크롤링하고자 합니다. 그럼 우선 리그오브레전드 갤러리로 가서, 글 목록의 html 구조를 확인합니다. 개발자 도구를 통해서 확인해보시면, html 태그 내 유일한 태그로 감싸져 있는 것을 확인하실 수 있습니다. 또한, 내부 글 목록의 게시물 하나하나는 태그로 시작과 끝남을 알 수 있습니다. 따라서..

zladnrms.tistory.com



[Python] 디씨인사이드 글 / 게시물 / 사진 크롤링

개인프로젝트를 진행하다가 사진들이 필요해져서 국내 최대 커뮤니티인 디씨인사이드의 사진을 크롤링한 작업을 공유하고자 합니다. API response를 분석해 크롤링하는 방법도 있지만 저는 비교적 쉽고 간단한 BeautifulSoup를 통해 html parse로 원하는 정보를 얻었습니다. 이번 게시물에서 크롤링하고자하는 대상의 갤러리는 리그오브레전드 갤러리로 하겠습니다. 이 글에서는 글 목록, 단일 게시물, 사진을 크롤링하고자 합니다. 그럼 우선 리그오브레전드 갤러리로 가서, 글 목록의 html 구조를 확인합니다. 개발자 도구를 통해서 확인해보시면, html 태그 내 유일한 태그로 감싸져 있는 것을 확인하실 수 있습니다. 또한, 내부 글 목록의 게시물 하나하나는 태그로 시작과 끝남을 알 수 있습니다. 따라서..

zladnrms.tistory.com


이 글 참고해서 만들고 있는데

jsoup 사용해서 만들고 있거든


위에 사람은 셀레니움이라 쉽게 되는건진 모르겠지만


위에 사람은 대충 td class 잡고 그안에 a 태그에 택스를 추출하면 되는건가봐


나같은 경우에는 jsoup인데

같은 알고리즘으로 만들면

추출되는게



<a href="/board/view/?id=dcbest&no=287864&_dcbest=1&page=1" view-msg="">

<div class="thumimg">

<img src="" alt="�����" style=" relative;">

</div><em class="icon_img icon_btimebest"></em><strong>[��]</strong> (�Ӻ�) ������ ������ �� ����������.jpg </a>


이런식으로 html 소스를 그대로 가져오게 됨


실베 글 목록을 가져올라고 해서 그런가


이 문자열을 split으로 잘라서 글 제목만 추출할려 하는데


</strong> (�Ӻ�) ������ ������ �� ����������.jpg </a>

요 부분이 제목이자나


kotlin 기준으로 split("</strong>","</a>"); 요롷게 하면


제목 전 택스트 , 제목 , 제목 후 택스트 이렇게 나뉘어야 하는게 아니야?


나는 제목만 추출하고 싶은데 다른 방법이 없을까

스플릿이 제대로 안먹히고 있는거 같아서



var url = "https://gall.dcinside.com/board/lists/?id=dcbest"

val docs = Jsoup.connect(url).get()
val result = docs.select("td[class=\"gall_tit ub-word\"]").select("a").toString().split("</string>","</a>")


println(result)//gall_tit ub-word


요게 내 소스코드야