예를 들어 A 라는 사이트가 딱 생겼다


이러면 검색엔진이 어떻게 알고 크롤링 해가지??


referer 로 아는 건가?


근데 그러기에는 아예 referer 없는 사이트도 크롤링 하던데


신기함..