(o3 발표전 썼던 글인데 재탕 한번 할게)


o1은 여러모로

처음 ChatGPT에 소개된 GPT-3.5와 비슷한 면이 있음


1. GPT-3.5로 첫 출시했지만 내부에선 한참 전에 GPT-4 개발이 완료됨

->o1 시리즈의 첫 출발이고, o1은 한참 전부터 개발이 진행됐던 프로젝트였음


2. GPT-3.5로 출시하려했을 때 회사 내에서 많은 우려와 반대가 있었음

->노암 브라운의 인터뷰를 보면 o1 또한 사람들의 기대감을 만족시킬지에 대해 회사 내에서 격렬한 토론이 있었음

그리고 뉴스 기사들에서도 o1 출시를 둘러싸고 OAI 내에서 갈등이 있었다고 말함


3. GPT-3.5는 '맛보기' 버전이었음. OAI 사람들은 진짜는 GPT-4라고 이미 생각했었음

->o1도 마찬가지일 수 있음. 추론 시리즈의 서막을 알리고 세상 사람들의 반응을 보려함.

노암 브라운을 비롯해서 o1 개발진들은 생각보다 o1의 중요성에 대해 사람들이 잘 인식하지 못했다고 느꼈음

그래서 o3를 예상보다 빨리 풀어서 업데이트할 수 있음


4. GPT-3.5 -> GPT-4는 사전학습 패러다임을 입증해야하는 중요한 순간이었음(실제 GPT-3 이후 더 스케일업 한다고 해서 유의미한 성능 향상이 없을거라는 회의론이 꽤 있었기 때문에)

->o1도 현재 같은 처지임. TTC 패러다임이 정말 엄청나게 효과가 있다는걸 다음 모델에서 증명해야함



대충 이런 생각들로, o1 출시후 예상보다 매우 빠르게 o3가 나오는게 이런 맥락일 수 있겠다고 보임


ChatGPT 출시 후 4달도 안돼서 출시된 GPT-4와

o1 출시 후 3달 좀 넘어서 출시된 o3의 평행이론