[질문] 크롤링 배워보고 싶은데 질문 좀

[크롱(118.45)]

고등학생이고

코딩을 따로 배우거나 그런 적은 없는데 관심 생겨서

해보고싶어서

해보고 싶은건 크롤링인데, 내 목표인 코딩으로 돈(많은 돈이 아닌 용돈 정도)을 벌기

에 난이도도 다른 작업보다는 쉽고 파이썬으로 해볼 수 있다는 점이 좋은 것 같아요

유튜브에 강의영상 몇개 있던데 그런거 보면서 따라해보면 어떨..까요? 괜찮을까요?

[호선이(solar3258)]

난 강의로 크롤링을 배우진 않았지만 난 node.js에서 jsdom같은 모듈 활용해서 해본 적 있어

[호선이(solar3258)]

파이썬은 아마 beautiful soup 많이 쓸 거 같은데

[크롱(118.45)]

그럼 beautiful soup 영상부터 찾아 보면 되나요?

[호선이(solar3258)]

@크롱(118.45) 그것도 좋고... 근데 난 크롤링뿐만 아니라 대부분의 코딩 관련된 걸(C언어 기초만 컴퓨터 학원에서 배웠고) 다른 사람이 만들었던 오픈소스를 분석하고 개조하면서 익혔어 초3때부터 그래왔어

[크롱(118.45)]

@호선이 와…

[익명(220.70)]

일회성 혹은 단기적 스크래핑이 목적이면 복붙만 해도 동작함. 원리 그딴거 알 필요도 없음.근데 스크래핑으로 돈을 벌고 싶으면 일회성 혹은 단기적 스크래핑 행위를 하는 봇 정도는 만들어야함.이때 이 봇이 하는 행동(웹사이트를 돌며 자동으로 스크래핑)을 크롤링 이라고 함.단순히 웹사이트를 돌아다니는 로직도 고려할게 상당히 많음.웹 사이트에 처음 접근 해서 모든 html요소를 읽어오고 이때 보이는 리다이렉트 링크들을 모두 수집함이때 수집한 링크들을 어떤 알고리즘으로 방문할지 정해야함.1. 현재 웹페이지에 있는 링크들을 모두 방문해서 다시 스크래핑2. 현재 웹페이지에 있는 링크 중 첫번째 혹은 무작위로 아무거나 선택해서 접근 및 스크래핑지정한 깊이 까지 이동하고 다시 돌아와서 다음링크 방문

[익명(220.70)]

1,2 설명보면 생각나는게 있을거임넓이우선탐색, 깊이우선 탐색여기서 이 알고리즘들이 쓰이게되는거임.두개를 적절히 섞어서 쓰면 더 효율적일 것 이고.이미 방문했던 링크는 DB에 당연히 기록하고 이미 방문했던 링크는 너무 잦은 주기로 방문하지 않게 적절하게 튜닝도 하면 좋을것임.너무 자주 방문하면 IP차단도 당할거고, 어떤 사이트는 로그인을 해야 콘텐츠를 보여주는 경우고 있을거고 이럴 땐 로그인을 어떻게 처리할 것인지도 고민을 해봐야함브라우저 자동화로 로그인도 자동화 할 수는 있다만 이 경우 자동화된 브라우저라는 것을 검출해주는 라이브러리 또한 있어서 이것 또한 우회할 방법을 고민 해봐야겠고 딥하게 하려면 할거 존나 많아서 은근 재밌음.

[익명(220.70)]

@ㅇㅇ(220.70) 그리고 돈벌이가 목적이면 각 사이트마다 robots.txt 한번 확인도 해보면 좋고, 과연 이것으로 내가 돈을 벌 수 있을까? 하는 생각도 다시한번 해보면 좋을 것 같음.

[크롱(118.45)]

@ㅇㅇ(220.70) 자세하게 설명해주셔서 감사합니다