html 크롤링하는데 ajax 데이터는 따로 경로 따서


그것만 또 다시 요청해서 데이터 받아오고 하려면 페이지마다 ajax로 불러오는 데이터 많으면 노가다 심하고


그 키, 값도 좆나 가독성 떨어뜨려놓으면 실수하기도 쉽고 불편한데


그냥 내 브라우저에서 해당 html 페이지 열면 눈에 딱 보이는 텍스트들만  컨트롤+a해서 복사하듯 긁어오면 되니까


크롤러가 마치 로컬 브라우저처럼 작동하면서 페이지 로딩하면 몇초 기다린 후에 화면에 보이는 텍스트만 싹 긁어오는듯한 작동을 해주면 됨


html crawling after ajax rendering


파이썬이나 c#으로 괜찮은 거 추천 좀...