[🏆베스트] OpenAI IMO 금메달팀(노암 브라운 등) 250730

[익명(121.178)]

Alex Wei, Sheryl Hsu and Noam Brown

3명의 OpenAI IMO 금메달 팀 팟캐스트

1. IMO 금메달 프로젝트의 시작

(Alex) IMO 금메달은 제가 오랫동안 생각해온 것인데, 제가 OpenAI 입사한 첫 주에 노암이 "모델이 언제 IMO 금메달을 딸 것 같냐"라고 물었을 때, 저는 2025년에도 불가능할 것이라고 생각했었습니다.

하지만 이번 IMO를 목표로 한 구체적인 노력은 불과 두어달 정도의 짧은 기간이었습니다.

(Noam) 아이디어들이 구체화되기 시작한건 6개월 전이지만, "올해 IMO에 도전해보자"라는 마지막 전력질주는 정말 짧은 기간이었습니다.

2. 팀 규모

(Alex) 핵심 팀은 사실 저희 세 명 뿐이었습니다. 정말 작고 기민한 팀이었죠. 물론 다른 OpenAI 많은 분들의 도움이 없었다면 불가능했겠지만요.

(Noam) 사실 대부분 Alex가 주도했습니다. 그는 이 기술을 오랫동안 연구해왔고, 저와 Sheryl은 IMO가 가까워졌을 때 이를 현실로 만드는데 도움을 줬습니다.

3. 성공의 초기 징후

(Alex) 검증하기 어려운 과제 (hard-to-verify-tasks)에서 진전이 보이기 시작한 것입니다. 이전에는 강화학습이 주로 검증 가능한 보상에 초점을 맞췄는데, 이런 더 어려운 문제들에서 개선이 나타나자 흥분되기 시작했습니다.

4. 모델의 출력물 가독성

(Alex) 맞습니다. 현재 저희가 공개한 해답의 글 스타일은 좀 끔찍합니다. 외계어 같기도 하고요. 이번에는 작고 기민하게 움직이느라 거기까지 최적화하지는 않았습니다. 하지만 ChatGPT처럼 가독성을 높이는 방법은 물론 알고 있고, 기술적으로 가능합니다.

(Noam) 증명을 깃허브에 올릴 때 ChatGPT를 통해 가독성을 높인 버전을 올릴지 고민했었지만, 결국 완전한 투명성을 위해 원본을 게시하기로 결정했습니다.

5. 채점 과정

(Alex) 테스트 과정에서는 저희가 많은 샘플을 직접 읽었습니다. 하지만 최종 채점을 위해서는 외부의 전 IMO 메달리스트를 고용했고, 3명이 채점하여 만장일치로 정답이라는 결론을 도출했습니다.

(Noam) 솔직히 말해, 저도 수학을 전공했지만 이 모델이 작성한 증명은 제 이해 능력을 넘어섭니다. 제가 채점할 수 있는 수준이 아니에요.

6. 6번 문제의 어려움과 모델의 자기 인식

(Alex) 올해 6번 문제는 정말 정말 어려운 문제였습니다. 저에게 몇 달의 시간과 핵심 아이디어에 대한 힌트를 준다고 해도 풀 수 없을 겁니다.

(Sheryl) 저희는 6번 문제에 정말 많은 컴퓨팅 자원을 투입했습니다. 결국 풀지는 못했지만, 제 생각에 중요한 것은 모델이 환각을 일으키거나 가짜 해답을 꾸며내지 않고, '답 없음(no answer)'같은 결과를 출력했다는 점입니다.

(Noam) 저는 o1 출시 당시 여러 수학과, 컴퓨터과학과 교수님들과 컨택했었는데, 그들에게 o1이 정말 유용하냐고 물으면 대부분 괜찮지만, 그들이 모르는 문제에 대해 환각을 너무 자주 일으킨다는 점을 단점으로 꼽았습니다. 적어도 모델들이 답을 모를 때 장황하게 지어내지 않고 더 자주 모른다는 것을 인정하는 것을 보는 것은 좋은 일입니다.

7. 다음 목표는 밀레니엄 문제?

(Alex) 아직 그 문제들은 매우 멀리 있습니다.

이를 '사고 시간(thinking time)'의 관점에서 봐야합니다.

저희는 몇 초가 걸리는 초등 수학 문제(GSM8K)에서 매우 똑똑한 고등학생들이 문제당 평균 1.5 시간이 걸리는 문제 (IMO)까지 왔습니다.

하지만 실제 연구 수학은 뛰어난 학자들이 1500시간을 쏟아부어야 하고, 밀레니엄 문제는 여러 분야 학자들이 평생을 바쳐도 진전이 거의 없습니다.

즉 1.5 시간에서 수만 시간으로 넘어가야 하는, 1000배 이상의 사고 시간이 필요한 셈입니다.

이룬 발전도 크지만, 가야 할 길이 얼마나 먼지 겸허하게 만듭니다.

(Noam) 가장 큰 걸림돌은 모델의 사고 시간을 1500시간으로 늘리면 모델을 평가하는데도 1500시간이 걸리게 된다는 점입니다. 평가 시간이 길어지면 연구 개발의 속도가 더뎌지는 병목 현상이 발생합니다.

8. IMO에서 멀티 에이전트 시스템의 역할

(Noam) 이는 병렬 컴퓨팅을 확장하는 것과 관련이 있으며, 자세한 기술을 설명드릴 수는 없지만 테스트 시간 컴퓨팅을 확장하는 한 가지 방법으로 사용되었습니다.

9. 다음 단계와 미래 전망

(Alex) (퍼트넘 시험에 대한 질문을 받은 후) 사실 퍼트넘 문제의 경우, 문제당 시간이 걸리는 짧고 지식 기반이라 우리 모델이 IMO 문제보다 오히려 더 잘 푼다는 것을 발견했습니다.

따라서 이제 진짜 미개척 분야는 시간제한이 있는 대회가 아니라, 더 길고 깊은 사고를 요구하는 문제들입니다.

하지만 다시 말하지만, 1.5 시간의 제한이 있는 문제와 1500시간이 걸리는 진짜 연구 혁신 사이에는 여전히 엄청난 격차가 있다고 생각합니다.

(Noam) (데미스 하사비스의 흥미로운 문제를 '만들어내는 것'이 가장 어려운 부분이라는 말에 동의하시나요?라는 질문)

일리 있는 말입니다.

지금 이런 문제들을 해결하는 데는 정말 능숙하지만, 그걸 생각해내는 건 여전히 어려운 부분이 있습니다.

하지만 저희가 보고 있는 믿을 수 없는 속도의 발전 속도도 주목해야한다고 생각합니다.

언어 모델이 나온 이후, 항상 다음 난관이 있었습니다.

'어떻게 하면 모델이 추론을 하게할까?' 생각했지만, 저희는 모델들이 추론하게 만들었습니다.

그 다음은 '어떻게 하면 검증하기 어려운 분야에서 모델을 학습시킬 수 있을까?'라고 생각했지만 저희는 이제 거기에 대해서도 추론할 수 있습니다.

그리고 제 생각에 다음 허들은 '좋아요. 그럼 어떻게하면 모델이 새로운 질문을 생각해 낼 수 있을까요?'가 될 것 같습니다.

하지만 저는 그 목표에 도달하는 것을 막는 어떤 근본적인 장벽도 보이지 않습니다.

10. 수학에서의 성과와 일반화

(Alex) 우리의 접근 방식은 '수학을 잘하는 것'이 아니라 '범용 기술을 개발하는 것'에 초점을 맞췄습니다.

(Noam)이번에 사용된 기술은 꽤 최근에 개발된 새로운 기술입니다.

솔직히 이는 OpenAI 사람들에게도 놀라운 일이었습니다.

이 새로운 강화학습 기술을 OpenAI의 다른 모델에 광범위하게 통합하여 전반적인 추론 능력을 향상시키는 것이 다음 단계입니다.

하지만 여러 과정을 거쳐야하므로 개발하고 전 세계에 배포하려면 약간 시간이 걸릴겁니다.

11. 모델 공개 계획

(Noam) 수학자들이 이 모델을 사용하게 만들고 싶고, 구체적인 방법을 논의 중이며 컨택 중입니다.

이미 스탠포드 한 수학 교수와 이메일을 주고받고 있습니다.

그는 매번 저희가 새로운 모델을 출시할 때마다 어려운 문제를 보내 주는데, 항상 모델의 출력을 보내주면 '아, 역시 틀렸네요'라고 이야기 했습니다.

이번에도 풀지 못했지만, 이번에는 적어도 모델이 자신이 풀 수 없다는 것을 '인식'했습니다. 이것만으로도 큰 진전입니다. 

OpenAI’s IMO Team on Why Models Are Finally Solving Elite-Level Math

https://youtu.be/EEIPtofVe2Q?si=p-aev2cGpU3YCpZY

[ㅇㅇ 1(221.166)]

저 풀지 못한다는 걸 여러번 돌렸을 때도 환각 없이 같은 결과가 나왔나? 그럼 대박인데 - dc App

[익명(novel1295)]

2개월만에 3명으로 이룬 성과라니

[혼음천(loud7468)]

[노암브라운(contend3854)]

시팔 개추실시!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

[익명(shore1232)]

역시 아직 제대로 수학 하는건 좀 멀었네

[익명(hyeongim264)]

뭐가 멀었어 지금 알파고때 판후이2단이랑 붙어서 이긴 그런때인데

[익명(shore1232)]

@ㅇㅇ "이룬 발전도 크지만, 가야 할 길이 얼마나 먼지 겸허하게 만듭니다." 인터뷰에 나와있는데?

[익명(hyeongim264)]

@ㅇㅇ 걍 겸손떠는거지 IMO 금메달부터가 수학에서 말도안되는 성과 이룬건데 좀 후려치지마라 ㅋㅋㅋ 뭔 멀었다니 헛소리쳐하노 쳐맞을라고

[ㅇㅇ 5(180.224)]

@ㅇㅇ 노암브라운이 멀었다는데 니 뭐 됨? ㅋㅋㅋㅋ

[asi2026(dart5404)]

[초존도초(htr3c654r6ft)]

뭐냐 ㄷㄷㄷ 아래에 걍 아무 생각 없이 IMO 금메달 모델 관련 똥글 올렸는데 타이밍 무엇 ㄷㄷ

[이세이미야케(jkwarawara)]

[ㅇㅇ 2(211.105)]

세명이 두달만에 한 건 미쳤네

[ㅇㅇ 2(211.105)]

저 동양 여자가 번뜩이는 아이디어를 제시했다 그랬나?

[Asi(worship5388)]

메타인지 ㄷㄷㄷ

[와랄라케로로(decade3335)]

미쳤다...

[ㅁㄱㅌㅊ(antym)]

그래...! 이맛이야......!!!

[초존도초(htr3c654r6ft)]

AGI.. AGI가 느껴진다....

[ㅇㅇ 3(175.118)]

씨ㅣㅣ발 수고했다고생했다 ’1000배‘ 가속 시켜

[ㅇㅇ 3(175.118)]

환각은 끝났구나 수고했다

[かみ(thank3468)]

[멘토스(gblzvhbddpj2)]

[익명(provoke3696)]

[익명(121.132)]

putnam 쪽에서 특화모델들 벤치딸 치는 거 보면 그냥 여유있게 풀게 해도 될 거 같은데 계속 인간하고 같은 조건으로 맞춰주려는 게 인상적이네

[익명(wanted7407)]

노암 센세 ㅠㅠ - dc App

[낭만적특이점(next1842)]

[익명(amazonia)]

밀레니어 문제는 내년쯤? 아니면 내후년?

[ㅇㅇ 4(39.123)]

AGI... AGI가 온다...

[익명(account9429)]

노암은 어떻게 매번 저런 성과를 내는거임 ㄷ ㄷ ㄷ

[점심밥(yield0917)]

[익명(myth4961)]

[산시야(logical6358)]