[📪정보] Sparks vs Embers 토론내용 정리

[익명(121.178)]

* 간단한 배경지식

-이 토론은 "현재 LLM 스케일링 방법론은 p!=np같은 수학 난제를 해결하는데 충분한가"를 주제로 함

-Sebastien Bubeck은 MS AI에서 존경받던 AI 연구자로, Sparks of AGI (GPT-4)의 제1저자, 현재는 OpenAI

-Pavel Izmailov는 OpenAI에서 o1 연구를 수행했던 연구원으로, 현재는 Anthropic

-o3 발표 이전인 24년 12월 5일에 진행하고 공개는 오늘된 영상임

Q: LLM의 최근 발전 속도와 성과에 대해 어떻게 평가하나요?

A: (Sebastien Bubeck) 최근 몇 년간의 발전은 기적적입니다. MMLU 벤치마크에서 GPT-3는 50%였지만, GPT-4는 86%, o1은 92-95%까지 도달했습니다. 의학적 진단에서도 인간 의사가 75%를 기록하던 벤치마크에서 GPT-4는 90%를, 인간 의사가 50%를 기록하던 벤치마크에서 o1은 90%에 도달했습니다.

Q: AGI 발전 단계를 어떻게 구분하고 있나요?

A: (Sebastien Bubeck) AGI 초(seconds), AGI 분(minutes), AGI 시간(hours), AGI 일(days), AGI 주(weeks) 단위로 구분할 수 있습니다. GPT-4는 AGI 초/분 수준이었고, o1은 이미 AGI 분/시간 수준에 도달했습니다. 수학 문제 해결에서도 일반 대중 기준으로는 이미 AGI 시간 수준입니다.

Q: AI가 수학적 통찰이나 증명에 도움을 줄 수 있나요?

A: (Sebastien Bubeck) o1을 사용해 본 개인적 경험으로는, 연구 문제에서 3일이 걸렸던 연결고리를 AI가 즉시 찾아냈습니다. 이미 최고 수준의 연구자들도 특정 보조정리(lemma)에서 막혔을 때 o1의 도움을 받아 문제를 해결하고 있습니다.

Q: AI의 학습과 이해 방식은 어떻게 발전하고 있나요?

A: (Sebastien Bubeck) 현재 o1 패러다임은 단순한 다음 단어 예측을 넘어, 주어진 내용에 대해 깊이 있게 생각하고 실험하며 지식을 조작하는 방식으로 발전하고 있습니다. 모든 것이 자연스럽게 출현(emergent)하는 방식으로 발전하고 있으며, 이는 매우 확장 가능한(scalable) 접근법입니다.

Q: AI의 성장 속도가 얼마나 빠른가요?

A: (Sebastien Bubeck) 불과 1년 전만 해도 이런 토론 자체가 불가능했을 것입니다. 리만 가설이나 P vs NP 문제를 AI가 풀 수 있을지 진지하게 토론하는 것 자체가 놀라운 발전입니다.

Q: AI가 인간과 다른 방식으로 문제를 해결할 수 있나요?

A: (Amin의 질문에 대한 Pavel의 답변) 체스에서 이미 보았듯이, AI는 인간과 완전히 다른 방식으로 생각하고 해결할 수 있습니다. 수학도 마찬가지로 인간의 방식을 따를 필요가 없을 수 있습니다.

Q: 현재 AI는 어느 정도의 시간 단위로 생각할 수 있나요?

A: (Sebastien Bubeck) GPT-4는 인간이 몇 초 동안 생각할 수 있는 수준, o1은 몇 분에서 몇 시간 생각할 수 있는 수준입니다. 내년에는 하루, 2년 후에는 며칠, 3년 후에는 몇 주 단위로 생각할 수 있을 것입니다.

Q: AI의 학습 방식이 어떻게 진./화하고 있나요?

A: (Sebastien Bubeck) 초기에는 웹 데이터로 고등학교/대학 수준까지 배우고, 이제는 대학원생처럼 한 논문을 한 달간 깊이 있게 생각하는 방식으로 발전했습니다. 이는 인간의 학습 과정과 유사합니다.

Q: AI가 인간을 능가할 수 있는 이유는?

A: (Pavel Izmailov) AI는 단순한 텍스트가 아닌 실험 결과와 같은 초인적 데이터도 학습합니다. 예를 들어 GPT-4는 텍스트만으로 SVG 파일을 이해하고 조작할 수 있는데, 이는 인간이 보통 할 수 없는 능력입니다.

Q: 현재 AI의 발전 속도는 어떠한가요?

A: (Sebastien Bubeck) 수학 경시대회 AIME에서 GPT-4는 0~10% 정도였지만, o1-preview는 이미 50%에 도달했고, 다음달 안에 90%까지 도달할 것입니다.(몇일 뒤 o3로 96.7% 도달) IMO 금메달 수준은 내년이면 달성할 것이 확실합니다.

Q: AI의 미래 잠재력은 어떻게 되나요?

A: (Sebastien Bubeck) 모든 능력이 자연스럽게 출현(emergent)하는 방식으로 발전하고 있어서 한계를 정하기 어렵습니다. 이는 정말 "미친" 일이며, 우리가 상상하는 것 이상으로 발전할 수 있습니다.

Q: 인공지능의 대화 능력은 어떻게 발전했나요?

A: (Sebastien Bubeck) GPT-3는 기본적인 시 정도만 쓸 수 있었지만, GPT-3.5는 post-training을 통해 대화 능력이 크게 향상되었습니다. 이는 언어 모델에 내재된 지능을 추출하고 활용하는 중요한 발전이었습니다.

Q: AI의 수학적 능력은 어떻게 발전할까요?

A: (Pavel Izmailov) 체스처럼 특정 분야에서는 이미 초인적 수준에 도달했습니다. 수학도 마찬가지로 특화된 모델을 통해 훨씬 더 높은 수준에 도달할 수 있을 것입니다.

Q: 수학 분야에서 AI의 장점은?

A: (Pavel Izmailov) 수학은 Lean과 같은 증명 검증기를 통해 객관적인 평가가 가능하고, 합성 데이터도 생성할 수 있어 AI 발전에 매우 적합한 분야입니다.

Q: AI의 자기 개선 가능성은 어떤가요?

A: (Pavel Izmailov) AI들이 서로의 증명을 검증하고 개선하는 자기 개선(self-improvement) 방식의 강화학습이 가능합니다. 증명을 검증하는 것이 생성하는 것보다 쉽다면, 이는 매우 효과적인 발전 방법이 될 수 있습니다.

Q: 현재 AI 발전의 한계는 무엇인가요?

A: (Sebastien Bubeck) 현재로서는 한계가 어디까지일지 말하기가 매우 어렵습니다. 현재 o1 패러다임조차 매우 단순한 수준이며, 아직 10가지 이상의 새로운 방향으로 발전할 수 있습니다. 합성 데이터 활용이나 AI 커리큘럼 작성 등 시도해볼 수 있는 방법이 무궁무진합니다.

링크

[익명(spoiler6984)]

발전 방향이 10개나 되는 것도 신기하네

[익명(landofooo)]

본인들부터가 천재들인데다 모델한테도 도움을 얻었을테니

[익명(spoiler6984)]

저정도 고급 도구면 자기도 모르게 기능의탁 하다가 뭔가 매몰될 수도 있어보이는데 오히려 거기서 더 영감을 얻나봄 ㅋㅋㅋㅋ 대단한 사람들임

[익명(landofooo)]

유동게이 정보글 유익

[익명(121.161)]

토론결과는 어느쪽으로 유리하게 흘러갔음?

[익명(121.161)]

인간의 하루 작업량은 ai가 길면 몇십분에서 몇분이면 끝내버릴테니 day agi나오면 진짜 지식노동자 반절은 사라질수도 ㅁㅊ

[익명(121.178)]

말은 토론이었는데 실제로 딱히 토론 느낌까진 아니었음. 그냥 각자 자기 생각 말하는 느낌? 근데 그냥 Bubeck이 뭐라고 하면 다들 '그런갑다'하는 분위기

[익명(121.178)]

bubeck은 o1 원리같은거 말하고싶어서 입 근질근질한데 못 말해서 답답하다 본인이 얘기하기도하고, 빅테크 직원이다보니 사내 기밀정보를 얘기하는데 한계가 있어서 본인도 좀 답답해하는 것 같긴했음. 실제로 저 때 내부에는 최소 o3는 있었을텐데 o1-preview 기준으로 설명하고 했으니...

[익명(amazonia)]

ㅎㄷㄷ