그뭐지 인터넷에 떠돌아다니면서 정보수집하는걸 뭐라불름?

[익명(122.32)]

그거 만들기어렵나요? c언어로만 구현해야되서

[관노(39.119)]

크라울링

[익명(122.32)]

ㄴ알씨카만나오네요..

[지나가던놈(219.255)]

크롤러

[익명(122.32)]

ㄴ ㄱㅅ 만들기 어려울려나...

[고양아(180.231)]

웹 크롤링.

[고양아(180.231)]

웹 크롤링.

[고양아(180.231)]

웹 크롤링. 간단하게 만드는 건 어렵지 않음. 근데 제대로 만들려면 어려움.

[고양아(180.231)]

첫 seed가 될 페이지를 주면 그 페이지를 요청해서 html로 받아오고 그 html 파싱해서 원하는 정보 찾아내서 따로 저장. 그리고 html 문서상에서 다른 페이지로 링크달린거 다시 파싱해서 그 페이지들 다시 요청 -> 무한반복.

[고양아(180.231)]

github같은데 가보면 샘플 코드들 많다. 근데 링크를 거는 방식 자체도 단순하게 <a href="..."

[고양아(180.231)]

같은 방식이 아니라 여러가지로 존재하기 때문에 (예를 들어 onclick 속성이라던가) 다 고려해주려면 머리아픔. 거기다가 ajax로 사이트 내용 동적 로딩하는 방식의 사이트는 첫 html 읽어온 상태에서 그 안에 있는 스크립트를 vm상에서 다시 실행해서 실제 사이트 내용을 가져와야 제대로 된 내용을 받을 수 있기 때문에 머리아픔. 근데 사실 이 정도까지 가면 거의 현업 레벨.

[고양아(180.231)]

포인트는 url 요청해서 html 긁어오고, 파싱해서 원하는 정보 긁어내고, 다른 페이지로 가는 링크 파싱하고, 이거 세개만 간단하게 짜려면 간단하게도 할 수 있다.

[익명(122.32)]

죄송해여 이제확인했어요 c기초만 알아도 만들수있나요?

[익명(211.61)]

?

[익명(122.32)]

기초란다 그기초가아니라 c만알아도 되는건가 아니면 소켓프로그래밍도 할줄알아야?