[🐣질문] 자바 jsoup 질문

[모더(tour9268)]

전공 지식이 없어서 프로그래밍갤 같은 데 질문 올리긴 그래서 여기다 씀..
슬더스라는 게임 모드 만드는 중인데 gpt에 의지해서 쓰다가 도무지 이해할 수 없는 버그가 나왔음

getLinks()는 공략글 링크에서 카드 이름과 연결된 링크를 크롤링해서 hashmap에 저장해서 리턴하는 함수고
getComment()는 매개변수로 받은 디시 글에서 댓글 중 하나를 랜덤으로 리턴하는 함수인데
getLinks()는 정상적으로 작동해서 카드 이름과 링크가 잘 매칭이 됐는데 getComment는 자꾸 no comment만 리턴함
setSSL()은 오류 뜨길래 구글에 검색해서 나온 거 복붙함

public static void setSSL() throws NoSuchAlgorithmException, KeyManagementException {
TrustManager[] trustAllCerts = new TrustManager[] { new X509TrustManager() {
public X509Certificate[] getAcceptedIssuers() {
return null;
}
public void checkClientTrusted(X509Certificate[] certs, String authType) {
}
public void checkServerTrusted(X509Certificate[] certs, String authType) {
}
} };
SSLContext sc = SSLContext.getInstance("SSL");
sc.init(null, trustAllCerts, new SecureRandom());
HttpsURLConnection.setDefaultHostnameVerifier(
new HostnameVerifier() {
@Override
public boolean verify(String hostname, SSLSession session) {
return true;
}
}
);
HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
}

public static HashMap<String, String> getLinks() {
String url = "https://gall.dcinside.com/mgallery/board/view/?id=slay&no=171241";
try {
if(url.indexOf("https://") >= 0) {
JsoupWeb.setSSL();
}
Document doc = Jsoup.connect(url).get();

Elements links = doc.select("a.lnk[href*='slay']");

HashMap<String, String> linkMap = new HashMap<>();

for (Element link : links) {
String linkText = link.text();
String linkHref = link.attr("abs:href");
linkMap.put(linkText, linkHref);
}
return linkMap;

} catch (IOException e) {
e.printStackTrace();
return null;
} catch (NoSuchAlgorithmException e) {
throw new RuntimeException(e);
} catch (KeyManagementException e) {
throw new RuntimeException(e);
}
}

public static String getComment(String link) {
String url = link;
try {
if(url.indexOf("https://") >= 0) {
JsoupWeb.setSSL();
}
Document doc = Jsoup.connect(url).get();

Elements paragraphs = doc.select("p.usertxt.ub-word");

List<String> texts = new ArrayList<>();

for (Element paragraph : paragraphs) {
texts.add(paragraph.text());
}

if (!texts.isEmpty()) {
Random random = new Random();
int randomIndex = random.nextInt(texts.size());
return texts.get(randomIndex);
} else {
return "no comment";
}

} catch (IOException e) {
e.printStackTrace();
return null;
} catch (NoSuchAlgorithmException e) {
throw new RuntimeException(e);
} catch (KeyManagementException e) {
throw new RuntimeException(e);
}
}

[ㅇㅇ 1(220.94)]

크롬우클릭 - 소스보기 하면 comment 없는거 알 수 있음. 글에 있는 js에서 따로 요청하는 방식임

[ㅇㅇ 1(220.94)]

디시 크롤링 하려는거임? 쉽지 않을거임

[모더(tour9268)]

진짜네.. 본문은 있는데 댓글은 없구나 혹시 어떻게 해야할지 대략이라도 알려줄수 있을까?ㅜㅜ 검색어라도..

[ㅇㅇ 1(220.94)]

보통은 selenium, undetected-chromebrowser 같은 헤드리스 브라우저 써서 실제 브라우저 동작이랑 동일하게 로딩 기다려서 데이터 뽑아옴

[모더(tour9268)]

ㅇㅋ 감사감사 함 해볼게