[📪정보] LLM이 단순히 확률론적 앵무새가 아님을 증명하는 논문이 나옴

[익명(asdf045)]

https://twitter.com/tegmark/status/1709572469978231063

대규모 언어 모델(LLM)의 기능은 이러한 시스템이 피상적인 통계의 방대한 모음을 학습하는지 아니면 데이터 생성 과정의 일관된 모델, 즉 세계 모델을 학습하는지에 대한 논쟁을 촉발시켰습니다. 우리는 Llama-2 모델 제품군에서 세 가지 공간 데이터 세트(세계, 미국, 뉴욕 장소)와 세 가지 시간 데이터 세트(역사적 인물, 예술 작품, 뉴스 헤드라인)의 학습된 표현을 분석하여 후자에 대한 증거를 찾았습니다. 그 결과, LLM이 여러 척도에 걸쳐 공간과 시간의 선형적 표현을 학습한다는 사실을 발견했습니다. 이러한 표현은 다양한 변형을 유도하는 데 강력하며 다양한 엔티티 유형(예: 도시 및 랜드마크)에 걸쳐 통합됩니다. 또한 공간 및 시간적 조정을 안정적으로 인코딩하는 개별 '공간 뉴런'과 '시간 뉴런'을 식별합니다. 우리의 분석은 현대의 LLM이 공간과 시간과 같은 기본 차원에 대한 구조화된 지식을 습득하여 단순히 피상적인 통계가 아니라 문자 그대로의 세계 모델을 학습한다는 견해를 뒷받침합니다.

- dc official App

[부패하는유전자!!!(sansss2015)]

[부패하는유전자!!!(sansss2015)]

앵무새 충들 엎드려 뻗쳐

[MoonChild(aowlr2001)]

[익명(873dvejis77)]

[익명(bluewarp)]

[익명(211.224)]

ㄷㄷㄷㄷ

[익명(121.165)]

확률론적 앵무새무새 멸망ㅋㅋㅋㅋㅋ

[익명(rechido)]

[dd(175.209)]

즉 LMM은 학습한 데이터를 그저 외우고 확률적 으로 대답 해주는게 아니라 실제로 데이터를 학습하기 때문에 시공간에 대해 파악하고 있으며 이에 따라 응용적인 대답도 할 수 있는 거라는 내용이네 앵무새 싹 다 구속시켜~