웹 크롤링이라는게 사이트주소를 알아야만 되는거냐?

[익명(223.38)]

인터넷 뒤져보면 죄다 특정 사이트 주소 알고 html 태그 보고 거기서 추출하는거밖에 없는데 걍 주소 몰라도 닥치는대로 웹 돌아다니면서 특정 문구? 같은거 들어간거 찾는거는 못 만들지?

[Go(211.234)]

너가만들어줘

[익명(223.38)]

할 줄 알면 제2의 구글 만들지

[Go(211.234)]

만들고제2의구글도만들면되잖아정답을알고잇네ㅋ

[amp(recruit0278)]

가능할것같은데? 구글 검색을 크롤링으로 해서 사이트별로 스캔하면 되겠네

[익명(223.38)]

구글은 파이썬 스크립트 간단한거만 실행해도 칼같이 ip 차단 박더라

[익명(218.145)]

원래 크롤링은 html페이지 내에서 a 태그들 추출하고 링크 스택에 넣고 dfs로 순회하면서 모든 내용 수집하는거야 단일 페이지에서 추출하는 거는 스크래핑인데 용어를 혼재해서 쓰더라

[익명(223.38)]

나도 그거 비슷하게 알고 있는데 암튼 특정정보만 갖다가 웹 다 뒤지면서 뽑아내는건 못하는거지?