[🏆베스트] [장문] o3는 LLM의 알파고 2단계를 알렸다

[익명(121.178)]

1. 레오폴드 아셴브레너 (상황 인식 中)

바둑 세계 챔피언을 이긴 최초의 AI 시스템인 알파고(AlphaGo)를 돌아보는 것도 여기서 유용합니다.

알파고는 수십 년 전, 바둑이 가능하다고 생각되기 전에 바둑에서 세계 챔피언을 이긴 최초의 AI 시스템입니다.

• 1단계에서 AlphaGo는 전문가 인간 바둑 게임에서 모방 학습을 통해 훈련되었습니다. 이것이 AlphaGo에 기초를 제공했습니다.

• 2단계에서 AlphaGo는 자신과 수백만 번의 게임을 했습니다. 이를 통해 AlphaGo는 바둑에서 초인이 되었습니다. 이세돌과의 게임에서 유명한 수 37을 기억하세요. 인간이 결코 하지 않았을 매우 특이하지만 뛰어난 수였습니다.

LLM을 위한 2단계에 해당하는 과정을 개발하는 것은 데이터 장벽을 극복하기 위한 핵심적인 연구 문제이며, 나아가 궁극적으로는 인간 수준의 지능을 뛰어넘는 열쇠가 될 것입니다.

2. 데이비드 실버(구글 딥마인드팀 강화학습 전문가, 2달 전 강연)

-알파고와 같은 RL은 LLM에 물론 적용 가능하다.

-수학, 추론, 코딩, 도구 사용 등에 대해

-‘무한한’ 개선을 제공하며, 결국 초인적인 능력으로 이어진다.

(위 강연은 前 OAI 정책팀장인 Miles가 o3에 대해 말하며 추천한 영상으로,

Miles는 o3의 비밀, 원리를 알고 있는 사람이다.)

(우리는 GPT-3 이후 사전학습 확장 패러다임을 넘어서,

???에 해당하는 RL을 통한 초지능 도약의 시작을 o3로 목격하고 있다)

3. 노암 브라운(o 시리즈 핵심 연구원)

"저는 o 시리즈를 이끈 'TTC'가 초지능을 향한 '가장 어려운 연구 과제'였다고 생각합니다.

저는 다른 해결되지 않은 연구 과제들이 아직 있다고 생각하지만,

제 생각에 그 중 어느 것들도 저희가 이미 해결한 문제들에 비해 어렵다고 생각하지 않습니다."

"제가 OpenAI에 입사했을 때, 그들은 '데이터 장벽'에 더 많은 관심을 두고 있었습니다.

하지만 o1은 추론과 데이터 장벽 두 가지에 모두 적용되는 기술로 밝혀졌습니다."

"저는 10년 안에 AGI가 올 수 없다고 말하던 회의론자였습니다.

하지만 이제 o1으로 모든 조건이 갖춰졌으며, AGI가 곧 온다고 말하는 사람이 됐습니다."

"알파고 제로는 ELO 레이팅이 5200에 달하며 확실히 초인수준입니다.

하지만 알파고 제로는 단순한 신경망이 아니라 신경망 + 몬테카를로 트리 탐색 알고리즘이 결합된 것입니다.

알파고제로의 '순수 신경망' Elo 레이팅은 약 3000정도로, 인간 최고선수보다도 성능이 낮습니다.

(*제일 왼쪽의 회색바, Raw Network)

이 점을 정말 강조하고 싶습니다. 알파고 제로는 테스트시점에 몬테카를로 트리 서치 없이 신경망만으로 실행하면 성능이 인간 최고 선수보다도 낮습니다. 알파고는 2016년에 개발되었는데 8년이 지난 지금, 2024년에도 순수 신경망만으로 바둑에서 슈퍼휴먼 수준을 달성한 모델은 "없습니다".

제가 이것을 많은 사람들에게 말하면 사람들은 보통 "그럼 스케일링하면 되는 거잖아?"라고 합니다. 물론 이론적으론 그렇습니다. 하지만 알파고제로 수준이 되려면 얼마나 그 규모를 키워야할까요?

경험적으로 얻어낸 지식이 있습니다. elo 레이팅을 120점 올리려면 모델 크기, 훈련시간을 2배로 늘리거나 / 테스트 시점의 컴퓨팅을 2배로 늘려야 합니다. 따라서 순수 신경망이 3000이라고 할 때 5200이 되려면 모델 크기와 훈련을 10만배 확장해야 합니다."

(OpenAI는 Test Time Computation + 강화학습을 통해 LLM의 사전학습 제약을 돌파하는데 성공했다.

그리고 이 궤적으로, LLM은 최소한 수학, 코딩과 같은 분야에서 곧 초인적 능력을 얻을 것이다.)

4. 밥 맥그루(前 OpenAI 최고 연구책임자)

Q : (OpenAI를 떠나신 이유는?)

A : "저는 8년 동안 OpenAI에 몸담았고,

제가 입사했을 때 이루고자 했던 많은 것을 이제 실제로 이루었다고 느꼈습니다.

o1-preview가 출시된 후에 사임을 발표한 것은 우연이 아닙니다.

저희가 개발하고자 했던 특정 프로그램 연구 계획들이 있었습니다.

거기에는 사전 훈련(pretraining), 멀티 모달(multi-modal) 그리고 추론(reasoning)이 있었습니다.

그리고 이 조각들이 이제 모두 해결되었습니다.

솔직히 말해서 이는 어려운 일이었고, 제가 해야 할 일을 다 했다고 느꼈습니다.

그래서 이제 다음 세대에게 넘겨줄 좋은 시기였다고 생각했습니다."

(밥 맥그루는 OAI에 8년 동안 몸담은 인물이다.

OpenAI의 AGI를 향한 여정의 과정 중, '사전 훈련', '멀티 모달' 그리고 '추론'이라는 모든 마일스톤이 해결됐다.

이제 앞으로 남은 것은 지금의 패러다임을 확장하는 것에 불과하다.)

5. 마일즈 브런디지(前 OpenAI 정책팀장)

조금 더 멀리(다시 말하지만, 몇 달에서 기껏해야 몇 년) 언어 모델에 대한 강화 학습의 진정한 확장, 이 패러다임을 "컴퓨터 사용 에이전트"와 통합, 훨씬 더 큰 데이터 센터, 그리고 AI를 통한 AI 연구 및 엔지니어링 자체의 자동화 증가를 보게 될 것입니다.

다시 말하지만, 여기에는 주요한 새로운 패러다임이 필요하지 않으며, 시간이 지남에 따라 수천 명의 사람들이 열심히 일하고, 그 과정에서 수많은 실험, 버그 수정 등이 필요합니다. 컴퓨팅 파워를 지능으로 전환하기 위한 아이디어는 부족하지 않습니다.

(다른 아이디어가 필요하지 않다. 이미 초인적 지능을 향한 아이디어와 조각들은 모두 갖춰졌다.

AI는 몇 달~몇 년 사이에 전문적인 분야에서 초인적 능력을 발휘하게 될 것이다.)

6. 샘 알트만

"o1은 정말로 강화 학습에 관한 모델입니다.

그것이 o1의 비밀입니다.

아시다시피, 강화학습을 언어 모델에 적용하는 것은 꿈같은 일이었으며,

마침내 정말 잘 작동합니다."

"저는 역사상 처음으로 '지금 우리가 무엇을 해야할지 알고있다'고 느끼고 있어요.

저는 여기서부터 AGI를 구축하려면 여전히 엄청난 양의 작업이 필요하며,

알려지거나 알려지지 않은 문제들이 있지만,

기본적으로 우리가 무엇을 해야하는지 알고 있다고 생각합니다."

7. 오리올 비냘스(구글 딥마인드의 최고 수준 연구원)

"우리가 알파고, 알파스타와 같은 시스템에서 일정하게 유지되어 온 두가지 기본 단계가 있습니다.

첫 번째는 사전 학습 또는 모방 학습이라고 부를 수 있습니다.

즉, 무작위 가중치로 시작하여 인터넷, 모든 지식을 알기 위해 인간이 만든 수 많은 데이터를 모방하려는 알고리즘입니다.

그리고 두 번째 단계가 있습니다.

이제 모방 단계가 끝났습니다. 알파고나 알파제로였다면, 이제 그것이 스스로 플레이하도록 합니다.

이 두 단계는 알파고, 알파스타에서 현재의 LLM까지 거의 동일합니다."

8. 마무리하며

우리는 어제 수학, 코딩, 과학, 퍼즐 추론에서 LLM의 알파고 2단계의 시작을 목격했으며,

곧 AI는 이러한 분야들에서 초인적 성능에 도달할 것이다.

일반적인 다른 도메인, 예를 들어 시 쓰기와 같은 분야는 어떨까?

아직 모른다.

명확한 보상을 주는게 어렵기 때문이다.

하지만, AI가 수학, 코딩에서 초인적이 된다면 무슨 상관일까?

초인적 수준으로 AI 연구가 자동화된다면, 재귀개선이 일어날 수 있다.

이는 곧 지능의 폭발로 이어질 것이며, 돌파구 또한 AI가 찾아낼 것이다.

[sama(prince2317)]

와 이거 퍼온거 아니고 님이 쓴거임? 대단하노

[익명(121.178)]

ㅅㅅㅅ

[익명(114.200)]

존나 맛있다

[익명(222.99)]

뽕 존나차네 개추

[콜라조무사(tkatjdrhdghkrnr123)]

난 아직도 llm에 강화학습이 어케 적용된건지 잘 이해가 안됨... 대체 어케한거지

[냥쓰(kalstein)]

그러게요... 자연어에서 목적성을 무엇으로 설정한걸까요;; 바둑이야 뭐 이기는걸 목표로하면 그만이긴하니까요.

[익명(121.178)]

결국 점수를 줄 수 있는 도메인이면 LLM에서도 가능함. 내가 인용한 전문가들의 말을 보면 알 수 있겠지만... 그래서 o 시리즈도 창의적인 글쓰기 같은 분야에서는 4o보다 별로 진전이 없지만 확실한 답이 정해져있는 수학/코딩쪽에서는 엄청나게 도약을 하고 있는 것임. 여기서 사용된건 정확히는 알 수 없지만 Let's verify step by step 논문에 나온 것 같은 기술 등등이 활용됐을거고

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

llm이 출력하는 아웃풋을 보고 인간 라벨러가 점수를 매기면 아웃풋+점수를 학습한 리워드 모델이 아웃풋을 기반으로 점수를 내놓는데 그게 llm의 학습에 반영되는 거임(모든 ai는 loss를 줄이는 방식으로 학습하는데 낮은 점수는 loss를 증가시키는 식으로 높은 점수는 loss를 확 낮추는 식으로 보상을 주는거)

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

이러면 llm이 높은 점수를 가진 출력을 내도록 학습하게 되는데 이걸 RLHF라고 부르고 학습 과정이 아닌 출력이 대해서 높은 점수가 나오도록 출력을 여러번 반복해서 가장 높은 점수를 내놓은 답변을 제출하는게 TTC(테스트 타임 컴퓨트)

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

TTC도 가장 품질이 높은 답변을 내놓는 방식과 모든 답변을 종합해서 새로 답변을 생성하는 방식. 추론 과정에서 하나하나 TTC를 적용해서 올바른 추론을 하는 방식. 여러 탐색 방식이 존재함

[익명(118.223)]

시발 나 죽어

[익명(110.10)]

[Joyful(approve1515)]

[익명(landofooo)]

[MoonChild(aowlr2001)]

[낭만적특이점(next1842)]

[익명(broad6196)]

[천사다천사(jjtheman999)]

[익명(hyeongim264)]

[익명(merge3772)]

[점심밥(yield0917)]

[천사다천사(jjtheman999)]

o3 다음 버전부터는 스스로 개선된 버전이면 좋겠다

[HMX-13(multizzang)]

[필경사비틀즈(mission1187)]

[익명(sofa3407)]

[이세이미야케(jkwarawara)]

이건 다시봐도 레전드네 ㄷㄷ

[디시콘발사대(fcbjsjmu1t9f)]

[익명(creature4191)]

[익명(58.230)]

마치 19세기 과학자가 이제 남은건 수치를 정교화하는것밖에 없다고 할때랑 비슷한 상황이 아니길

[익명(creature4191)]

[익명(rechido)]

[아스트라텐더(abandonedsoul6)]

[익명(211.213)]

이궈궈던

[GPT4-o3(nagosuragosibal)]

[익명(180.224)]

알파고 제로가 알고리즘빨인건 처음알았노

[occsss(boot3342)]

리스펙