https://www.youtube.com/watch?v=jPluSXJpdrA

OpenAI's Noam Brown, Ilge Akkaya and Hunter Lightman on o1 and Teaching LLMs to Reason BetterCombining LLMs with AlphaGo-style deep reinforcement learning has been a holy grail for many leading AI labs, and with o1 (aka Strawberry) we are seeing the ...www.youtube.com




2caed422abc236a14e81d2b628f1776de57378


2caed422e19c28a8699fe8b115ef046ecb965259


2caed422e1d676b660b8f68b12d21a1daaeadf4af4


2caed468f5dc3f8650bbd58b36847569a3a83b



1. OpenAI의 연구원들이 새로운 AI 모델인 '01'에 대해 논의했습니다. 이 모델은 '추론 능력'을 향상시키는 데 초점을 맞췄습니다.

2. 01 모델은 더 오래 '생각'할 수 있도록 설계되었으며, 이는 수학, 과학, 기술 분야에서 특히 뛰어난 성능을 보입니다.

3. 연구원들은 01이 기존 언어 모델과 달리 '되돌아가기(backtracking)' 능력을 보여주는 것을 발견했고, 이를 중요한 진전으로 여깁니다.

4. 01은 추론 시간을 늘리면 성능이 향상되는 '추론 시간 스케일링 법칙'을 따르는 것으로 나타났습니다. 이는 AI 발전에 새로운 가능성을 제시합니다.

5. 연구팀은 01이 현재 수준보다 훨씬 더 발전할 수 있을 것으로 기대하며, 이를 통해 AGI(인공일반지능)에 한 걸음 더 가까워질 수 있다고 믿습니다.

6. 01 Mini라는 작은 버전의 모델도 개발되었으며, 이는 빠른 반복과 실험에 유용할 것으로 예상됩니다.

7. OpenAI는 01을 공개함으로써 다양한 사용 사례와 피드백을 수집하고, 이를 바탕으로 향후 개선 방향을 결정할 계획입니다.

8. 연구팀은 01의 '사고 과정(Chain of Thought)'을 공개하지 않기로 결정했으며, 이는 경쟁적 이유 때문이라고 설명했습니다.

o2, o3 언급

1. 미래 모델에 대한 기대: 연구원들은 O1 이후의 모델인 O2, O3 등에 대해 높은 기대감을 표현했습니다.

2. 지속적인 연구: 팀은 아직 아이디어가 고갈되지 않았다고 말하며, 계속해서 연구를 진행할 것이라고 밝혔습니다.

3. 사용자 피드백의 중요성: O2, O3 개발에 있어 O1의 사용자 피드백이 중요한 역할을 할 것이라고 강조했습니다. 연구팀이 예상하지 못한 새로운 사용 사례나 개선 방향이 사용자들로부터 나올 수 있다고 봅니다.

4. 성능 향상 기대: 연구팀은 O1에서 발견된 성능 향상 추세가 O2, O3에서도 계속될 것으로 기대하고 있습니다.

5. 다양한 분야로의 확장: O2, O3에서는 O1보다 더 다양한 분야에서 성능 향상이 있을 것으로 예상하고 있습니다.

6. 구체적인 계획 비공개: 구체적인 O2, O3의 특징이나 출시 일정에 대해서는 언급하지 않았습니다.

7. 지속적인 발전: "O3.5"와 같은 언급을 통해 모델이 계속해서 진화하고 발전할 것임을 시사했습니다.

기타

1. 스케일링 법칙: O1의 "추론 시간 스케일링 법칙"을 매우 중요한 발견으로 언급했습니다. 이는 사전 학습(pre-training) 스케일링 법칙만큼 중요할 수 있다고 평가했습니다.

2. 수학 연구 보조: 연구원들은 O1이 수학 연구에서 실제로 도움이 될 수 있는 수준에 근접했다고 언급했습니다. 인간 수학자들이 해결했지만 AI가 아직 해결하지 못한 증명을 O1이 해결했다는 사례를 언급했습니다.

3. IQ 비유: O1의 능력을 IQ에 비유하여 설명했습니다. 일부 테스트에서 120 IQ 수준이지만, 다른 영역에서는 40 IQ 미만일 수 있다고 언급하며 AI 능력의 불균형을 설명했습니다.

4. 공학적 도전: AI 발전에 있어 연구적 도전만큼 공학적 도전이 중요하다는 점을 강조했습니다. 대규모 시스템 구축과 운영의 어려움을 언급했습니다.

5. '스트로베리' 이름의 유래: 프로젝트 코드명 '스트로베리'가 단순히 회의 중 누군가가 딸기를 먹고 있어서 지어진 이름이라고 언급했습니다. 이는 온라인에서 떠돌던 추측들과 무관함을 밝혔습니다.

6. 인간 수준 초월 가능성: 무한한 계산 시간이 주어진다면 AI가 모든 수학 정리를 해결할 수 있을지에 대한 논의가 있었습니다. 이는 AI가 특정 영역에서 인간의 능력을 초월할 가능성을 시사합니다.

7. 오픈AI의 AGI 집중: 연구원 중 한 명이 오픈AI에 합류한 후 회사가 AGI 개발에 진지하게 집중하고 있다는 것을 알게 되었다고 언급했습니다.

수학 정리 언급

1. 이론적 가능성: 연구원들은 무한한 계산 시간이 주어진다면 이론적으로 모든 수학 정리를 해결할 수 있다고 언급했습니다.

2. 형식화 과정: 이를 위해서는 모든 수학을 Lean과 같은 정형 증명 시스템으로 형식화해야 한다고 설명했습니다.

3. 완전 탐색 접근: 형식화된 후에는 모든 가능한 Lean 증명을 순차적으로 탐색할 수 있다고 언급했습니다.

4. 시간의 문제: 그러나 이 과정이 실제로 얼마나 오래 걸릴지는 불확실하다고 말했습니다. 일부 어려운 수학 문제를 해결하기 위해서는 모델이 "천 년" 동안 생각해야 할 수도 있다고 언급했습니다.

5. 아시모프의 이야기 참조: 이 논의 중 아이작 아시모프의 "마지막 질문"이라는 단편 소설이 언급되었습니다. 이 이야기에서 컴퓨터는 엔트로피 역전에 대한 질문에 대답하기 위해 수천, 수만 년을 생각합니다.

6. 현실적 한계: 연구원들은 이론적 가능성과 실제적 구현 사이의 간극을 인정했습니다. 무한한 시간이 주어진다면 많은 것을 할 수 있지만, 실제로는 시간에 따른 성능 향상의 수확 체감 법칙이 적용될 것이라고 언급했습니다.

7. 미해결 문제: 특히 수학의 핵심적인 미해결 문제들에 대해서는 실제로 해결하는 데 매우 긴 시간이 필요할 수 있다고 말했습니다.