https://oo.pe/https://www.latent.space/p/geohot#details




요약: GPT-4는 220B 매개변수의 모델들 여러개가 서로 추론을 돌리고, 그중에서 가장 그럴듯한 답을 골라내는 방식이다.


각 모델은 서로 다른 분야에서 훈련되어 있다.

총 8가지의 서로 다른 모델들이 분야별로 전문성을 가지므로,
다른 많은 작업에 적용 가능하지만,

대신 그만큼 성능이 증가할수록, 추론비용도 기하급수로 비싸지기에 한계가 뚜렷하다.



1. 더 큰 훈련 모델을 만드는 것은 경제적으로 손실이 크다.

- 스케일링 법칙이 발견된 이래, 더 큰 매개변수의 모델을 만드는 것만으로 LLM의 지능이 향상되는 기적을 보았지만, 이제 그것도 한계에 달함.

https://www.wired.com/story/openai-ceo-sam-altman-the-age-of-giant-ai-models-is-already-over/

OpenAI’s CEO Says the Age of Giant AI Models Is Already OverSam Altman says the research strategy that birthed ChatGPT is played out and future strides in artificial intelligence will require new ideas.www.wired.com


- 같은 모델에 더 많은 토큰을 더 오래 학습시키면 성능이 좋아진다는 것이 발견되어, 열심히 토큰을 더 때려박았지만 그것도 한계가 있음.

- 결국 성능을 높이는 방법을, 각각의 모델을 학습을 시키는 쪽으로 틀었음.

- 우리가 GPT-4에게서 신기루를 느꼈던, 가장 흥미로운 능력 중 하나가 바로 '추론력'.

자신이 만든 결과물에 대해, 자기 자신이 문제점을 자각하고, 개선점을 제안할 수 있다는 것인데...


- 알고보니, 이 '자기 자신'이란게 하나가 아니었음.

A1 모델이 뽑은 결과물에 대해, 다음에는 A2 모델이 비판을 한다던가 하는 식으로 말임.




2. 이것의 의미하는 바와 나의 개인적인 견해.

- 오픈ai 핵심인사들의 발언과는 반대로, 오히려 GPT-4와 오픈소스 모델의 격차는 훨씬 더 줄어들 것으로 보임.

- 예를 들어, 비쿠냐 65B + 피그말리온 13B + 달리 33B + ... 같은 식으로 꾸려놓고,

거기에 MOE 추론을 시키고, RLHF로 돌리는 식으로 시도해보면,

괴물같아 보였던 GPT-4의 단단한 성벽을 뚫을 수 있는, 오픈소스 병기가 탄생할지도 모르겠음.


- LLM은 사람보다 뛰어난 지능을 가질 수 있을 것처럼 보였는데, 어떤 면에서는 맞고, 어떤 면에서는 틀림.

- 일정 이상 깊은 수준의 전문가가 되려면, 결국 특화의 길을 걸어야 함.
다방면에서 전문가가 된다는게, 인간의 능력으로는 사실상 불가능하기 때문.

- 인간이 불가능한 일을 GPT-4는 해냈다!
GPT는 위험하다! AGI의 시대가 오고 있다!
인줄 알았는데... 그건 아직 멀었음.

https://n.news.naver.com/mnews/article/366/0000889228?sid=105

“챗GPT의 환각에서 벗어나라” AI 최고 석학 얀 르쿤 교수 ‘38쪽 PPT’로 비판메타 AI 연구 총 책임자 맡고 있는 얀 르쿤 뉴욕대 교수 최근 세미나에서 챗GPT 기반인 AR-LLM 기술 비판 전문가들 “기술적 한계는 분명하지만, 활용 가능성도 뚜렷” 얀 르쿤 미 뉴욕대 교수는 앤드류 응 스탠n.news.naver.com


- LLM도 하나로는 인간 이상의 능력을 발휘하기 어려움.
대신 서로 협력하게 만들면 됨.

- 근데 사실 협력이라고 하기도 뭐한게,
각자 그럴듯한 답변을 뽑은 후, 다음 사람이 선택을 해주는 뽑기작업을 반복한 것 뿐임.

- 마치 6각형인줄 알았던 모델이 있었는데,
알고보니, 꼭지가 6개 달린 별인 모델이었다는 것.



3. 얀르쿤 센세께선 이런 이유로 LLM의 AutoRegressive 모델만으로는 한계가 올 것을 예감하고, 다양한 모달리티의 다른 모델들을 개발하여, 큰 그림을 준비하고 계셨음. ㄷㄷ

https://m.dcinside.com/board/thesingularity/163569

메타 얀르쿤 '인간형 이미지 생성‘ 인공지능 모델https://www.aitimes.kr/news/articleView.html?idxno=28251&fbclid=IwAR0w-qD8wf9OiTYU3ytvptKS2HHTAT62VIxeraBoU1UNFiRLhCGm.dcinside.com


- 최근에 메타가 엄청난 모델들 - 이미지 쪼개기, 조각 나눈 이미지의 의미 파악하기, 음악 작곡하기, 음성합성 등등을 풀어내고 있는 데에는 다 이런 이유가 있는 것임.

- LLM은 여러가지 앙상블의 일부로서 사용되고, 나머지 정보들을 더욱 풍성하게 받아서 혼합시키는 것이, 추론의 단계를 한차원 더 끌어올릴 방법이 될 수 있어 보임.

https://m.dcinside.com/board/thesingularity/138519

얀르쿤이 확률 알고리즘 관련해서 한 소리 했네최근 네이처에 LLM의 작동 방식과 사람의 뇌가 작동하는 방식을 비교하는 글이 올라왔는데 어제 얀르쿤이 이거랑 관련해서 발표를 했음대충 현재 LLM의 '확률'에 기반한 예측 알고리즘은 5년 내에 사라질거라고 단언했다함m.dcinside.com


- 그리고 메타의 '퀘스트' 같은 디바이스는 텍스트 외의 더욱 풍성한 감각 정보를 빨아들일 수 있는, 하나의 멀티모달로 이어질 수 있는 좋은 도구임.

- 우리가 퀘스트를 끼고, 가상공간 안에서 팔을 휘젓고, 손으로 뭔가를 잡는 듯한 액션을 하고, 그런 정보들 전부, 지금 이 순간에도 메타가 빨아들이고 있음.



결론: 환상이나 지나친 낙관을 버리고, 유용한 도구로서 LLM을 바라보는게, 개인으로서의 정신건강에도 도움이 되고, 경제적으로도 의미있는 다음 단계를 향해갈 수 있을 것임.

함께 참고하면 좋은글: https://m.dcinside.com/mini/linear/6976