크롤링 공부중인데 실력이 워낙 미천해서 자바스크립트나 iframe 포함된 웹페이지는 셀레니움으로 죄다 퉁치고 있어


여기 검색해보니 ajax는 사이트 분석해서 requests의 post로 대응 가능한거 같은데, iframe 내부 html코드도 가져올 발법이 있나해서 물어볼게


일단 문제의 링크가 바로밑의 네이버 까페임. 실제 크롤링할 곳은 여기 아니긴 한데 잘 알려진놈 하나 가져와봤어.

https://cafe.naver.com/joonggonara?iframe_url=/ArticleList.nhn%3Fsearch.clubid=10050146%26search.boardtype=L%26search.menuid=%26search.marketBoardTab=D%26search.specialmenutype=%26userDisplay=50


그리고 위 링크의 문제의 iframe 태그.

<iframe name="cafe_main" id="cafe_main" title="카페 메인" src="//cafe.naver.com/ArticleList.nhn?search.clubid=10050146&search.boardtype=L&search.menuid=&search.marketBoardTab=D&search.specialmenutype=&userDisplay=50" width="860" height="100%" frameborder="0" scrolling="no" marginwidth="0" marginheight="0" allowtransparency="true" allowfullscreen="" style="height: 2725px;">


일단 위 태그의 src 그대로 주소창에 넣어도 내가 원하는 결과가 나오진 않더라고.

셀레니움으로 되긴 하는데, 리소스도 ㅈㄴ게 처먹고 속도고 개같이 느려서 requests로 처리 가능한지 좀 알고싶음