https://www.youtube.com/watch?v=jPluSXJpdrA
OpenAI's Noam Brown, Ilge Akkaya and Hunter Lightman on o1 and Teaching LLMs to Reason BetterCombining LLMs with AlphaGo-style deep reinforcement learning has been a holy grail for many leading AI labs, and with o1 (aka Strawberry) we are seeing the ...www.youtube.com1. OpenAI의 연구원들이 새로운 AI 모델인 '01'에 대해 논의했습니다. 이 모델은 '추론 능력'을 향상시키는 데 초점을 맞췄습니다.
2. 01 모델은 더 오래 '생각'할 수 있도록 설계되었으며, 이는 수학, 과학, 기술 분야에서 특히 뛰어난 성능을 보입니다.
3. 연구원들은 01이 기존 언어 모델과 달리 '되돌아가기(backtracking)' 능력을 보여주는 것을 발견했고, 이를 중요한 진전으로 여깁니다.
4. 01은 추론 시간을 늘리면 성능이 향상되는 '추론 시간 스케일링 법칙'을 따르는 것으로 나타났습니다. 이는 AI 발전에 새로운 가능성을 제시합니다.
5. 연구팀은 01이 현재 수준보다 훨씬 더 발전할 수 있을 것으로 기대하며, 이를 통해 AGI(인공일반지능)에 한 걸음 더 가까워질 수 있다고 믿습니다.
6. 01 Mini라는 작은 버전의 모델도 개발되었으며, 이는 빠른 반복과 실험에 유용할 것으로 예상됩니다.
7. OpenAI는 01을 공개함으로써 다양한 사용 사례와 피드백을 수집하고, 이를 바탕으로 향후 개선 방향을 결정할 계획입니다.
8. 연구팀은 01의 '사고 과정(Chain of Thought)'을 공개하지 않기로 결정했으며, 이는 경쟁적 이유 때문이라고 설명했습니다.
o2, o3 언급
1. 미래 모델에 대한 기대: 연구원들은 O1 이후의 모델인 O2, O3 등에 대해 높은 기대감을 표현했습니다.
2. 지속적인 연구: 팀은 아직 아이디어가 고갈되지 않았다고 말하며, 계속해서 연구를 진행할 것이라고 밝혔습니다.
3. 사용자 피드백의 중요성: O2, O3 개발에 있어 O1의 사용자 피드백이 중요한 역할을 할 것이라고 강조했습니다. 연구팀이 예상하지 못한 새로운 사용 사례나 개선 방향이 사용자들로부터 나올 수 있다고 봅니다.
4. 성능 향상 기대: 연구팀은 O1에서 발견된 성능 향상 추세가 O2, O3에서도 계속될 것으로 기대하고 있습니다.
5. 다양한 분야로의 확장: O2, O3에서는 O1보다 더 다양한 분야에서 성능 향상이 있을 것으로 예상하고 있습니다.
6. 구체적인 계획 비공개: 구체적인 O2, O3의 특징이나 출시 일정에 대해서는 언급하지 않았습니다.
7. 지속적인 발전: "O3.5"와 같은 언급을 통해 모델이 계속해서 진화하고 발전할 것임을 시사했습니다.
기타
1. 스케일링 법칙: O1의 "추론 시간 스케일링 법칙"을 매우 중요한 발견으로 언급했습니다. 이는 사전 학습(pre-training) 스케일링 법칙만큼 중요할 수 있다고 평가했습니다.
2. 수학 연구 보조: 연구원들은 O1이 수학 연구에서 실제로 도움이 될 수 있는 수준에 근접했다고 언급했습니다. 인간 수학자들이 해결했지만 AI가 아직 해결하지 못한 증명을 O1이 해결했다는 사례를 언급했습니다.
3. IQ 비유: O1의 능력을 IQ에 비유하여 설명했습니다. 일부 테스트에서 120 IQ 수준이지만, 다른 영역에서는 40 IQ 미만일 수 있다고 언급하며 AI 능력의 불균형을 설명했습니다.
4. 공학적 도전: AI 발전에 있어 연구적 도전만큼 공학적 도전이 중요하다는 점을 강조했습니다. 대규모 시스템 구축과 운영의 어려움을 언급했습니다.
5. '스트로베리' 이름의 유래: 프로젝트 코드명 '스트로베리'가 단순히 회의 중 누군가가 딸기를 먹고 있어서 지어진 이름이라고 언급했습니다. 이는 온라인에서 떠돌던 추측들과 무관함을 밝혔습니다.
6. 인간 수준 초월 가능성: 무한한 계산 시간이 주어진다면 AI가 모든 수학 정리를 해결할 수 있을지에 대한 논의가 있었습니다. 이는 AI가 특정 영역에서 인간의 능력을 초월할 가능성을 시사합니다.
7. 오픈AI의 AGI 집중: 연구원 중 한 명이 오픈AI에 합류한 후 회사가 AGI 개발에 진지하게 집중하고 있다는 것을 알게 되었다고 언급했습니다.
수학 정리 언급
1. 이론적 가능성: 연구원들은 무한한 계산 시간이 주어진다면 이론적으로 모든 수학 정리를 해결할 수 있다고 언급했습니다.
2. 형식화 과정: 이를 위해서는 모든 수학을 Lean과 같은 정형 증명 시스템으로 형식화해야 한다고 설명했습니다.
3. 완전 탐색 접근: 형식화된 후에는 모든 가능한 Lean 증명을 순차적으로 탐색할 수 있다고 언급했습니다.
4. 시간의 문제: 그러나 이 과정이 실제로 얼마나 오래 걸릴지는 불확실하다고 말했습니다. 일부 어려운 수학 문제를 해결하기 위해서는 모델이 "천 년" 동안 생각해야 할 수도 있다고 언급했습니다.
5. 아시모프의 이야기 참조: 이 논의 중 아이작 아시모프의 "마지막 질문"이라는 단편 소설이 언급되었습니다. 이 이야기에서 컴퓨터는 엔트로피 역전에 대한 질문에 대답하기 위해 수천, 수만 년을 생각합니다.
6. 현실적 한계: 연구원들은 이론적 가능성과 실제적 구현 사이의 간극을 인정했습니다. 무한한 시간이 주어진다면 많은 것을 할 수 있지만, 실제로는 시간에 따른 성능 향상의 수확 체감 법칙이 적용될 것이라고 언급했습니다.
7. 미해결 문제: 특히 수학의 핵심적인 미해결 문제들에 대해서는 실제로 해결하는 데 매우 긴 시간이 필요할 수 있다고 말했습니다.
노동오바 전부 게임시켜
무한한 시간이면 사람도 수학문제 다 풀겠다
사람은 언젠가 죽잖아. 계승하는데도 만만찮은 시간이 걸리고. 사람 50명쯤 200년간 집대성해야 만들어질 논문은 절대 못뽑지
애초에 지금 수학에 자신 없단 소릴 하는거임 보면 증명보조기로 형식화하고 완전탐색 돌리면 이론상 모든 정리 증명 가능이라는데 이건 LLM 존재와 무관한 얘기야 - dc App
OpenAI: 이론상 가능해요. <- 이건 논란의 여지없는 팩트임 추론시간-스케일링이라고 부르는 저게 중요한데, '1초 더 생각하면 1초 더 생각한 티가 나는거로 보여요' 라고 말하는거고, 이게 향상되길 기대하는듯 - dc App
딸각하고싶은데 파일 못집어넣어서 뭘 하질 못함
무한한 시간이라는 말이 애매한 것이 무작위로 타자기의 자판을 치는 기계를 만들고 무한한 시간 동안 작동시키면 안 될 것은 없음 언젠가는(유한한 시간 내에) 어제 내가 똥 같이 작성한 소스도 나오겠지 무한한 시간이라는 전제가 붙으면 LLM도 필요 없음 여기에서 중요한 문제는 필요 없는 연산을 최대한 회피하는 것인데(알파고가 이세돌을 브루트포스로 이긴 것은 아니잖아) 무한한 시간이라는 말이 나온 것이 좀 의문이긴 함 그리고 아시모프 소설의 AC는 충분한 자료가 없어서 답할 수 없다고 하지 지금처럼 짜 맞추지는 않음
LLM이 많은 시간동안 많은 타자기를 돌려서 나온게 아니잖아 분명히 인간이 만들어낸 단어와 문장, 문단 등의 자료가 주어진 상태에서 나온 결과지. 이건 너가 말하는 것처럼 모든 가능성을 브루트 포스로 탐색하는 거랑 다른거지 브루트 포스로 탐색한 결과가 어떤지 누가 확인할건데?
니가 말한 것처럼 AI의 증명을 지금의 AI가 검증할 수 있을까
저 소설에서 나오는 AC는 이게 가능함 (
https://namu.wiki/w/%EC%B5%9C%ED%9B%84%EC%9D%98%20%EC%A7%88%EB%AC%B8
)
시뮬레이션이 불가능한 것은 얼마 없고 인간보다 훨씬 뛰어난 지성도 당연히 시뮬레이션이 가능하다고 생각함
그런데 아직은 저 정도는 아니지
자기 말이 뭔 뜻인지 충분히 알고 있을 사람이 화제성(투자를 받아야 하니까)을 위해서 마케팅 부서에서나 사용할만할 용어를 남발하는 것이 안타까워 보여서 쓴 댓글임
단순한 한페이지짜리 스크립을 만들어오라고 하면 잘함... 근데 엄청 복잡한 시스템은 못만든다. 디씨 같은 싸이트 만들어줘.. 이런다고 못만들어줌