예를 들어서 디씨의 최신글들은 어떻게 검색엔진같은 애들이 긁어가는거임? 

그 글이 있다는 사실을 어떻게 알고 가는거지?


그리고 next.js같은 ssr 프레임워크로 만들어진 사이트들은 또 어떻게 크롤링되는거임?