[%] 오늘 발견한 puppeteer 파훼 로직.txt

[익명(222.112)]

즐겨 가는 사이트에서 오늘자로 크롤링이 안되길래 뜯어보니까

크롤링 막는 로직을 추가했더라고

const blockWidth = window.outerWidth - (window.innerWidth * window.devicePixelRatio)

...

if(blockWidth>240)

    isPuppeteer =true

하면

headless로 크롤링하는건 막히더라

물론 브라우저 띄우면 안먹힘

[익명(122.57)]

그럼 headless false하면 됨??

[익명(222.112)]

ㅇㅇ 그럼 되긴하는데

[익명(222.112)]

겁나 느리고 여러개 띄우면 메모리 이슈

[익명(222.238)]

https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth

[익명(222.112)]

아니 이런 세상에

[프갤로(gotopg)]

헤드리스도 창 크기 조절 가능함

[익명(121.140)]

크롤링을 탄압하지말아주세요ㅠㅠ

[익명(118.235)]

으아악 개발자놈들아 이건 테스트일 뿐이다