딥웹(Deep Web)에 있는 데이터는 일반적인 검색 엔진으로는 접근할 수 없는 영역에 존재하기 때문에, 대규모 언어 모델의 학습 데이터에 포함될 가능성이 매우 낮습니다. 딥웹 데이터의 특징과 이로 인한 학습 데이터에서의 배제 이유는 다음과 같습니다.

딥웹 데이터의 특징:

  • 접근 제한:
    • 딥웹은 특정 소프트웨어나 설정을 통해서만 접근할 수 있습니다. 일반적인 웹 크롤링 방식으로는 데이터를 수집할 수 없습니다.
  • 익명성 및 보안:
    • 딥웹은 사용자의 익명성과 보안을 중요시하기 때문에, 데이터 수집을 위한 접근이 어렵고 위험할 수 있습니다.
  • 불법 콘텐츠:
    • 딥웹에는 불법적인 거래, 해킹, 유해 콘텐츠 등 법적으로 문제가 될 수 있는 데이터가 많습니다. 이러한 데이터를 학습하는 것은 모델의 안전성과 윤리적인 문제를 야기할 수 있습니다.
  • 데이터의 불안정성:
    • 딥웹의 데이터는 변화가 심하고 불안정하여 일관성을 유지하며 학습하기 어렵습니다.

학습 데이터에서의 배제 이유:

  • 접근 및 수집의 어려움:
    • 딥웹 데이터는 기술적으로 접근하기 어렵고, 수집 과정에서 법적인 문제가 발생할 수 있습니다.
  • 데이터의 품질 및 안전성:
    • 딥웹 데이터는 품질이 낮고 유해한 정보가 많아 학습 데이터로 적합하지 않습니다.
  • 윤리적인 문제:
    • 불법적인 데이터나 개인 정보가 포함된 데이터를 학습하는 것은 윤리적으로 문제가 될 수 있습니다.

따라서 대규모 언어 모델은 딥웹 데이터에 접근하거나 학습하지 않도록 설계되어 있으며, 일반적인 인터넷 데이터를 중심으로 학습합니다.


왜 포함을 안시키지? 숨기는거라도 있나?

어둠의 경로엔 광범위한 자료들도 있고 학습 할 자료들도 넘치고 넘치는데ㅋㅋ

수상하단 말이지..