1. LLM 은 인간의 말을 입력으로 받아 다음에 올 말을 순차적으로 생성하는 모델이다.
-> 결국 LLM은 인간다운 말을 생성하는 생성기에 가깝고,
외부에서 봤을 때 지능적인 시스템이더라도 내부에서는 지능으로 부르기 어려운 확률 분포 덩어리의 계산을 하고 있다.
LLM이 이야기하는 말이 논리적 추론처럼 보이는 이유도 인간이 그러한 추론 능력을 통해 말을 하고 있기 때문이지 LLM이 진짜 추론을 하는 것은 아니라 봐야할 것이다.
2. LLM 내부의 표현을 더 '적절하게' 바꿀 수 있는 어떠한 전략은 인간에 의해 미세조정된다.
-> pretrained 모델도 마찬가지.. 결국 인간다운 말을 하는 것이 LLM의 지상 과제라는 것이고 최대 성능은 이상적인 상황에서 인간다운 말을 하는 LLM이 될 것이다.
3. 딥러닝 방법은 내삽에는 강하지만 외삽에는 취약하다.
-> LLM도 마찬가지.. 자기가 보고 배운 분포 (인간의 말)은 잘 따라하지만 새로운 지식에 창조에는 미숙할 수 밖에 없다. 데이터 기반 학습 결국 데이터 분포를 배우는 것이기 때문이다.
얀르쿤이 안좋은 소리 들으면서도 계속 LLM아니라고 하는 이유가 이런거 때문이 아닐까...
인간의 추론 능력도 사실 바탕 원리는 생성기라면? 미세 조정은 어디까지나 정렬을 위한 거라면? 내삽의 범위가 존나게 크다면?
1) 생성기지만 설명가능한 생성기임 2) policy 미세조정안하면 LLM이 창남 (말같지도 않은 말을 함) 3) 이건 모르겠음. 하지만 새로운 지식들이 인간 말뭉치라는 내삽 범위 내에 있을 것 같진 않긴함..
안트로픽에서 LLM 설명 가능성 찾은 것 같던데 봤음? 그리고 엄밀히 따지면 우리도 설명 가능한 수준은 아니지 않냐
아마 local explanation인거 같은데.. 찾아보니 뉴스에 가십거리로는 많이 보이는데 원본 논문이 안보이네.. 알고 있으면 링크 줄 수 있니?
https://transformer-circuits.pub/2024/scaling-monosemanticity/
pdf 형태의 논문은 없고 이런 식으로 돼 있는 것 같네
정리)1. 어떤 언어는 여러 추상적 고차원 특징공간의 선형합으로 표현한다.2. 사전학습 사용해서 사전을 찾아보자.3. 몇 가지 사전들은 특정 의미들을 나타내는 공간으로 충분한 것 같다.내가 생각하는 문제점)1. 그런 특징이 존재하는 사전을 찾았지만 그것이 의미하는 구조화된 지식을 뽑아낼 순 없어보인다. 그런 특징을 인코딩하는 차원이 있다 정도...2. 로컬 설명가능성에 비해서는 놀랍지만 이 특징공간이 어떻게 구조화되는지 모델을 보고 설명불가능하다.3. 피상적이다.discussion에서도 이야기하는 부분인듯..
선
해당 댓글은 삭제되었습니다.
힌튼이나 알트만 같은 케이스가 사실상 그렇게 생각하고 있는거 아님?
3개다 맞는말임
다만 LLM기반의 AGI를 기대하는 사람은 더 많은 데이터, 더 많은 optimization, 더 많은 연산량으로 인간의 데이터의 확률 분포 덩어리를 학습하는 것만으로도 인간의 이성 수준까지 generalize할 수 있다고 보는거임
즉 지금의 gpt4o 레벨은 agi 레벨이 되기까지 단순히 학습이 한참 덜된 것이고, 인간의 합리적인 추론 능력이 어떻게 생겨먹은 policy인지는 모르겠지만 어쨌든 인간이 만들어낸 데이터로 미친듯이 모델을 optimize시키면 똑같이 인간의 합리적인 추론 능력을 취득할 수 있을 거라는 기대임
그래서 나는 정말 이상적인 케이스에서는 인간 수준의 추론을 수행할 수 있는 LLM이 나올지도? 라는 생각을 하긴 하는데... 결국 중국어 방 문제로 귀결되는 것 같음..
위에 댓글삭한 사람인데 트랜스포머가 아니라 LLM한계가 절ㄷ ㅐ없다고 했네 ㅈㅅ
OpenAI는 이미 3년 전에 LLM으로 AGI 도달 못한다는 거 알아냈음.. 알트만이 말한 무지의 베일을 벗겼던 4번의 혁신 중에 LLM의 대안적 돌파구가 있을 걸?
알파고 같은 AI들은 인간적인 사고없이 새로운 수를 개발해냈는데 LLM이라고 지능을 높이는데 과연 언어적인 추론이 필요할까?
당연히 RL이 외삽을 잘하긴 하는데 그것 매우 정교한 보상 설계가 있어야함.. 근데 보상설계를 언어라는 틀 내에서 할 수 있을까?
근데 지금은 이제 LLM이 아니라 LMM이라 이런 논의가 의미가 없긴 함. 단순히 언어만으로 한정지을 순 없으니까
LMM이든 멀티모달이든 옴니모달이든 학습은 다 똑같은 방식임 저 3개가 고스란히 똑같이 적용됨
LMM 이 LLM 보다 샘플링할 수 있는 범위는 늘어났지만 여전히 내삽인듯
LMM과 연결된 추론 알고리즘을 만들 수 있겠지만 그건 AI 개발자들이 할 일이니..
LLM에서 모델 크기랑 데이터 크기 키우면서 창발성이 일어났듯. 지금 4o 같은 LMM에서, 오디오, 이미지도 단일로 받듯, 더 많은 종류의 데이터를 더 큰 모델로 학습하면 다른 종류의 창발성이 생기지 않을까 싶음. 물론 창발성이 위대한 무언가가 아니라 그냥 자연스러운 현상이라 볼 수도 있겠지만, 다양한 타입의 데이터의 창발성이 어떤 모습일 지 일단 지켜보고 판단해도 될 것 같음. 기존 언어모델이, 시키지도 않은 걸 해낸 게 창발성인데, LMM도 언어외의 시키지도 않은 걸 해내면서 창조에 가까워질 수 있지 않을까나
인간 언어지능의 원리도 모르는데 무조건 다르다고 단정 지을수 있어?
부패가 예전보다는 온건해진거 같노
애초에 학습하는 목적함수가 '인간처럼 말하기'라 인간처럼 추론능력을 가지도록 보이게는 할 수 있을지언정 진짜 추론을 한다고 보긴 어려움