디시 댓글 크롤링은 어케해?

[익명(119.64)]

셀레늄으로는 되느데 그거는 메모리도 올리는거라 너무 느리고

beautifulsoup나 trafilatura 요거 쓰고싶은데

디시는 댓글이 html페이지 안에 표시되있지가 않더라구?

어떻게 가져와 trafilatura나 beautifulsoup 써서

[엘리스킷(sphere2873)]

크롤링 조온나아 옛날에해서 기억이가물가물한데 걍 태그글겅

[프갤러 1(106.101)]

그니까 그 태그라는거 자체도 html 코드안에 있어야가져오는데 디시가 특이하게 댓글이 메인 html코드안에 들어있지가 않아 어디서 동적으로 가져와서표시하는거 같은데 셀레니움은 직접 백그라운드에서 브라우저 켜서 실시간으로 보이는거 가져오는거라서 댓글가져오기 가능한데 그거외에 다른 빠른 trafilatura나 beautifulsoup로는 통상적인 방법으로 못가