도입부와 후반부는 요약에서 제외



요약


- 스케일은 중요하지만 더 중요한 건 좋은 스케일력(scalability: 확장성)이며 딥 러닝이 이를 처음으로 충족함


- 최신 언어 모델이 가진 한계들이 2년 후에도 존재할 것이라고 생각하지 않음


- 최신 언어 모델은 그 행동을 이해하는데 있어서 인간심리학이 적용될 만한 수준에 도달함


- 얀 르쿤의 주장들은 현 패러다임과 조금 차이는 있지만 의미 없는 수준 (얀 르쿤의 주장: https://openreview.net/pdf?id=BZ5a1r-kVsf)


- 멀티모달은 바람직하고 좋은 방향이 맞음, 그러나 (효율을 따지지 않는다면) AGI로 가는데 있어서 필수불가결은 아님


- 텍스트는 그 데이터를 생성한 실제 과정의 압축된 표현이며 이를 통해 근본적인 현실에 대한 모든 것을 학습할 수 있음


- 언어 모델은 비지도 사전학습을 통해 이미 근본적인 현실을 배움


- 비지도 사전학습 후 이루어지는 강화학습은 언어 모델에게 예의 바르게 행동하도록 훈육하는 것


- 현재 강화학습은 인간의 감독하에 AI가 대부분의 작업을 수행하며 AI의 비중은 계속 증가하고 있음


- 현재 본인은 AI를 더 믿을 수 있고, 더 제어하기 쉽고, 더 적은 데이터와 지침으로도 더 빠르게 학습하도록 연구 중



사견


일리야 수츠케버는 현 패러다임이 AGI에 도달하는데 충분하다고 보는 듯


자신의 연구에 대해 여러 비관론이 있었지만 결국 자신이 맞았고 앞으로도 맞을 것이라는 확고한 신념이 보임