1. LLM 은 인간의 말을 입력으로 받아 다음에 올 말을 순차적으로 생성하는 모델이다.

-> 결국 LLM은 인간다운 말을 생성하는 생성기에 가깝고,
외부에서 봤을 때 지능적인 시스템이더라도 내부에서는 지능으로 부르기 어려운 확률 분포 덩어리의 계산을 하고 있다.

LLM이 이야기하는 말이 논리적 추론처럼 보이는 이유도 인간이 그러한 추론 능력을 통해 말을 하고 있기 때문이지 LLM이 진짜 추론을 하는 것은 아니라 봐야할 것이다.


2. LLM 내부의 표현을 더 '적절하게' 바꿀 수 있는 어떠한 전략은 인간에 의해 미세조정된다.

-> pretrained 모델도 마찬가지.. 결국 인간다운 말을 하는 것이 LLM의 지상 과제라는 것이고 최대 성능은 이상적인 상황에서 인간다운 말을 하는 LLM이 될 것이다.


3. 딥러닝 방법은 내삽에는 강하지만 외삽에는 취약하다.
-> LLM도 마찬가지.. 자기가 보고 배운 분포 (인간의 말)은 잘 따라하지만 새로운 지식에 창조에는 미숙할 수 밖에 없다. 데이터 기반 학습 결국 데이터 분포를 배우는 것이기 때문이다.


얀르쿤이 안좋은 소리 들으면서도 계속 LLM아니라고 하는 이유가 이런거 때문이 아닐까...