웹 하는 사람이라면 nodejs를 쓸것이다. 밑에 나오는것들은 nodejs를 기반으로 한다


puppeteer는 헤드리스 브라우저로 너가 브라우저 사용하는 환경이랑 똑같이 구현해서 크롤링을 한다.


실제적으로는 프로덕션 레벨에서 테스트 디버깅용으로 빠른 테스트를 위해 쓰는거임 속도가 느리다는게 단점


cheeriojs 이건 순수 크롤링용이다.


nodejs에서 request와 cheeriojs를 깔고 하면 된다.


request 모듈로 요청을 전송하고 받아오면 cheeriojs로 파싱해서 이메일을 수집하건 이미지를 수집하건 파싱해서 쓰면 된다.



ps: 진짜 웹떠난지 1달 10일 정도 됬는데 다시해보면서 느낀점은 레알 웹은 재미가 없다


이거 2일하다가 지금 게임 유데미 강좌 보는데 크로스플랫폼input 설정하는거 배우면서


지금 내 키보드랑 조이스틱에 






이렇게 잘 반응한다 와 신기하다 유니티는 크로스플랫폼용 입력키도 지원한다 (게임패드, 키보드, 모바일)


레알 웹 떠나길 잘했다.


진짜 돈벌기 쉬운곳이 웹인지는 몰라도 재미없는것도 웹이다. 어찌보면 모바일 어플보다도 재미없는게 웹임.


모바일 어플은 핸드폰 특수기능같은거 이용하면 재미라도 있지.


웹은 그냥 페이지 쪼가리들임.






ㅋㅋㅋ 이상 후기였다


두번다시 웹 안한다.


지금 크롤링 기술은 나중에 내 게임 홍보할때 도배용으로 써야지