구글은 어떤식으로 웹사이트를 자동으로 접속하고 저장하는거냐?

[ㅇ(76.27)]

새로 만들어진 웹사이트도 전부 저장하잖음

[익명(218.153)]

검색엔진들 전부 봇을 무진장 돌린다고 보면 됨..

[익명(218.153)]

그래서 기계의 트래픽이 인간의 트래픽을 앞섰다고 함

[익명(218.153)]

검색엔진은 장비싸움임

[ㅇ(76.27)]

그 봇들의 원리가 뭐임? 새로생긴 웹들을 싹다 저장하잫음

[익명(218.153)]

구글은 사이트 특성마다 인공지능으로 하이퍼링크를 찾아놓고 하이퍼링크가 새로 생기면 그걸 긁어옴 네이버는 사이트 특성마다 일일이 새로 짜서 넣어줘야 하는 반면 구글은 그걸 인공지능으로 처리함 그리고 하이퍼링크가 코드 안에 숨겨져 있기 때문에 원래 글을 글만 있는 문서로 간략화해서 데이터베이스에 저장해놈 그리고 디시인사이드는 1페이지가 글 내부보다 2페이지보다

[익명(218.153)]

더 의미있는 문서로 간주되기 때문에 2페이지 까지 내부 글 까지 다 들어갈 필요가 없이 1페이지만 봇이 훑게 해두면 쉽게 새로운 문서들을 찾아서 긁어올 수 있음 구글은 그걸 인공지능화하여 이미 모든 페이지들을 랭크화시켜놨음 이건 긁기엔 쓸모 없는 사이트 이런 식으로 그리고 광고링크도 걸러내야 하고 인공지능이 구글은 잘돼있다고 보면됨 구글이 잘 만든 게

[익명(218.153)]

아직도 네이버는 수동임.. 수동으로 사이트마다 특성을 입력해주지 않으면 봇이 찾아내지를 못함

[ㅇ(76.27)]

그럼 구글봇같은건 아직도 구글이 독보적인거냐? 따른회사는 구현못함?

[익명(218.153)]

그렇지만도 않은 게 인터넷 검열 무시되었을 때의 검색엔진들은 다 긁어모아서 구글급의 사이트들을 다 보유했던 때가 있었음 지금은 구글도 검열되어 몇 종류의 사이트만 블랙리스트랑 화이트리스트로 등록해놔서 검색 아무리 해봤자 깊은 사이트는 절대 못 찾음 하지만 인터넷 초기 시대엔 모듬 검색엔진이 만능이었음 구글 검열이 얼마나 심하냐면 찾은 건 20억 페이지라고

[익명(218.153)]

하는데 실제로 우리가 볼 수 있는 페이지는 50개가 끝임..

[익명(218.153)]

내가 보기엔 구글은 장비가 사이즈가 워낙 크기 때문에 네이버가 보유하지 않은 사이트의 깊숙한 곳까지 갈 수 있었던 거임 구글이 또 천재적인 게 사이트에 하이퍼링크 걸리지 않은 관리자 페이지마저 찾아냄..

[익명(218.153)]

그래서 구글은 이미 옛날에 기술이 끝났는데 지금은 인터넷 검열 시대임..

[ㅇ(76.27)]

답변ㄱㅅ 이해 완벽하게됨 근데 구글 인공지능이 하이퍼링크 찾는 원리는 어떤거임? 봇으로 랜덤으로 다 돌려보는거임?

[익명(218.153)]

내가 말할 건 끝났고 글쓴이가 프로그래밍 쪽에 발을 들인 이상 그런 부분은 나도 대답할 수 없는 영역이라 혼자 답을 찾길 바라네 아무튼 옛날에 검열 안 됐을 때는 20억페이지 찾았으면 20억 페이지 다 보여줬었음 지금은 50페이지가 끝이지만 옛날엔 구글이 진짜 20억 페이지 찾아내서 다 보여줬던 때가 있었음

[익명(218.153)]

네이버도 검열 전엔 많은 페이지를 다 보여줬었지.. 그래도 구글을 따라잡진 못했음

[ㅇ(76.27)]

근데 인터넷검열의 진짜 목적이 뭐라고 생각함? 정부나 기업들이 중요한 문서같은거 못보게할라고?

[익명(218.153)]

구글 인공지능이 하이퍼링크 찾는 원리는 내가 위에 설명다 해놨으니 그걸 참고하길 바람.. 코드 안에서 하이퍼링크를 찾는 거임 그건 인공지능이 들어가야함. 네이버는 수동인 반면 구글은 자동임..사이트 종류와 언어와 상관 없이 찾아낼 수 있음

[익명(218.153)]

인터넷 검열의 목적이라 난 잘 모르겠네..너무 광범위한 질문이 아닐까? 상업적인 이유로도 검열할 수 있고 실제로 현재 그렇게 됐고 검색엔진이 상업과 아주 긴밀하게 바뀌었지 그리고 게임 크랙을 알려주는 사이트라든가 토렌트 같은 정보 공유의 경우 상업적으로 불법이기 때문에 구글은 이미 그런 검색어 치면 하나도 안 나오게 떡칠해놨고

[익명(218.153)]

물론 검색어를 기묘하게 치면 다 검색된다는 거 ㅋㅋ

[익명(218.153)]

h264이런 식으로 720p 이런 식으로 검색하면 우회해서 토렌트 못 구하는 게 없다는 점 ㅋㅋㅋㅋㅋ