파이썬으로 크롤링하는데 질문좀

[익명(36.39)]

개발자 모드에서는 소스가 보이는데

ctrl+U 에서는 소스가 안보임

파이썬으로 request.get 해서 가져와서도 소스가 안보이는데 어떻게 하나요 형님들?

[20160525(circir6174)]

크롬 개발자도구로 보시는거면 elements탭같은데서 보이는 코드는 동적으로 추가된 부분도 보여서

[20160525(circir6174)]

웹페이지 코드 읽어가면서 추가되는 부분을 어디서 가져오는지 확인하고 거길 크롤링해야함

[20160525(circir6174)]

근데 파이썬이니까 그거 쉽게해주는 툴이 분명 있을듯..

[익명(36.39)]

그렇군요 혹시 관련 검색어 알수 있을까요?? 영어로..

[20160525(circir6174)]

how to crawl dynamic contents

[러브마지널(lovemarginal)]

그런 사이트는 브라우저에서 get request 한 번 한 게 아니라 다른 주소로 여러 번 한 거임

[익명(36.39)]

감사합니다!