cors우회하려고 시중에 나와잇는 프록시로 자바스크립트에서 크롤링하니까 되긴하는데 연속적으로 크롤링 시도하면 too Many request에러 뿜더라
근데나 스마트프록시 유료로 쓰는거 있는데 그거 랜덤프록시 주소로 웹에 request 요청보내면 fastapi서버에선 too many request에러 안나거든 파이썬에서.. 같은아이피가 계속접속하면 투매니 에러 나는거라 내 유료 랜덤프록시주소로 요청하면 아무래도 요청 할때마다 다른 프록시주소로 요청하게되는거니 파이썬서버에서는 저방법으로 투매니리퀘스트 에러가 안나는거겠지
근데이걸 난 클라이언트에서 크롤링 하고싶은거라 자바스크립트에서 웹페이지 request요청할때(fetch로) 똑같이 내 유료랜덤프록시 주소로 요청하는법 없을까?
서버에서 랜덤프록시로 웹 크롤링하는건 쉽고 방법도 다 알려져잇는데 자바스크립트(클라이언트)에서 랜덤프록시로 웹 크롤링 하는거 생각보다 뚫기어려운지 아무리검색해도 안나와ㅜ
- dc official App
puppeteer ㄱ
노드? 오 일단 고맙 함알아볼게 - dc App