[...]

딥 러닝이 실제로 벽에 부딪힐 수도 있다

업계는 GPT-4보다 큰 모델을 출시하는 데 어려움을 겪고 있습니다. 

2023년 11월에 저는 2023년 12월까지 GPT-4.5가 출시될 것이라고 생각했습니다. 

1년 후인 2024년 11월 현재, 저는 GPT-4.5를 언젠가 볼 수 있을지 확신하지 못합니다.

솔직히 예상치 못했습니다.

저를 Twitter에서 팔로우한다면, 제가 모델 확장에 대해 매우 낙관적이었다는 것을 알 것입니다. 성능 추세는 명확해 보였고 (데이터 벽이 없는 경우) 매개변수/데이터를 더 추가하고 예측 가능하게 더 나은 결과를 보는 것이 쉬워 보였습니다. 

하지만 gpt-4-0314 이후로 더 큰 모델을 본 적이 있는지 불분명합니다. (claude-3-opus는 예외일 수 있습니다).

Sam Altman, Dario Amodei, Demis Hassabis는 지난 18개월 동안 더 큰 모델을 만드는 것에 대해 이야기했지만, 

기적적인 1년에도 불구하고 더 큰 모델은 우리가 보지 못한 유일한 것입니다.

왜 그럴까요? 몇 가지 이유가 있을 것이라고 생각합니다.

세계관을 발전시킨 모델에 대한 훈련 후 처리가 점점 더 어려워지고 있습니다.

여러분이 보는 모든 모델에는 실패 사례의 무덤이 있습니다. 더 큰 모델은 훈련 속도가 느리고 비용이 더 많이 들기 때문에 적중률이 낮고 적중하지 못하는 경우도 있습니다.

큰 모델은 더 작은 모델에 비해 배포 비용이 많이 들기 때문에 벤치마크 성능이 비슷할 때 정당화하기 어렵습니다.

실험실의 수사법도 바뀌었습니다.

더 큰 모델을 만드는 데 "끝이 보이지 않는다"는 대신 

이제 "남아 있는 확장 방향이 많다"는 말을 듣습니다.

"GPT-5가 GPT-4보다 나을 것이라는 높은 수준의 과학적 확신을 가지고 있다"는 대신 

GPT-5에 대한 논의는 기본적으로 중단되었습니다.


[...]

대규모 모델 겨울이 오지 않기를 바라지만, 상황이 좋아 보이지 않습니다. 

OpenAI 외부의 모든 사람들은 o1을 복제하기 위해 수사법, 연구 인력, 사고방식을 바꿨습니다. 

OpenAI의 모든 노력은 o2 훈련으로 돌아섰습니다. 

물론 o1의 후속 모델은 밀레니엄 문제를 해결할 수 있지만, 모델 크기를 확장하지 않으면 그게 전부일 수 있습니다.


이 에세이 전반에서 저는 o1과 같은 추론 모델이 쉽게 검증할 수 있는 도메인에 갇혀 있기 때문에 비관적인 전망을 제시했습니다. 

o1에 대해 거의 무제한의 연습 예제를 수집할 수 없다면 추론 성능이 확장되는 것을 볼 수 없습니다.


수학자나 Leetcode 마스터가 아니라면 아마 쉽게 검증할 수 없는 도메인을 훨씬 더 신경 쓸 것입니다. 

더 큰 모델이 아니라 더 나은 추론 모델만 만든다면 AI는 영원히 GPT-4 수준에 머물 것입니다.



코딩과 수학의 경우에도 추론 모델이 그렇게 유용할지는 불확실합니다. 


훌륭한 프로그래머는 빠르게 실행되는 버그 없는 코드만 작성하는 것이 아니라 회사를 설립하고 미적 및 개념적 취향을 발휘합니다. 

유명한 수학자들은 단순히 증명을 만들어내는 것이 아니라 세상에 대해 궁금해하고 설명력을 부여하는 새로운 수학을 발명합니다.

추론 시간 연산 확장이 사기이며 AI가 막혔다고 생각할 수도 있지만, 인간이 열린 질문에 대해 오랫동안 생각한다는 점에 유의할 가치가 있습니다. 


아인슈타인은 천장을 바라보며 빛 광선을 따라 달리는 것을 상상하며 상대성 이론을 만들었습니다. 

수필가들은 우아한 아이디어가 떠오를 때까지 몇 달 동안 고민합니다. 

학생들은 시작할 때보다 더 나은 결과를 얻을 때까지 프레젠테이션을 반복적으로 수정합니다. 

시인들은 몇 줄의 글에 대해 몇 년 동안 집착합니다.


아인슈타인이 수많은 수십 년짜리 추론 사슬로 훈련받았다고 생각하십니까? 

에세이를 쓸 때 수학의 기술을 전이하여 더 나은 글을 쓸 수 있습니까? 

친구에게 답변하는 것을 심각하게 고민할 때 프로그램 실행 시간을 최소화하는 광범위한 연습을 활용합니까?



결론

이 글을 읽으면서 제가 AI 회의론자인 것 같다고 생각할 수도 있습니다.

그렇지 않습니다.

저는 놀라울 정도로 곧 변혁적인 AI가 등장할 것으로 예상합니다. 

연구소에서 모델 크기 확장의 문제점을 해결하기를 바랍니다. 

하지만 이러한 변화를 해결하기 위해 모델 크기를 확장한다면 추론 연산 확장의 의미는 무엇일까요?

추론 확장은 오늘날의 모델에 내일의 기능을 부여한다는 것을 기억하십시오. 

기다리는 것을 건너뛸 수 있습니다. 

더 빠른 AI 발전을 원한다면 추론이 훈련을 1:1로 대체해야 합니다.



o1은 우리가 원하는 추론 시간 연산 해제가 아닙니다.

AI 업계 전체가 추론 모델로 이동한다면

우리의 미래는 제가 생각했던 것보다 더 지루할 수 있습니다.

(초고에 대한 피드백을 제공해 주신 Emil, Neel, Nicole에게 감사드립니다.)