CoT 기법으로 4o의 성능을 향상시킨 모델이 각각 o1과 o3인데
o1은 대부분 벤치에서 4o 대비 6배 성능 향상을 보이고
o3은 4o 대비 12배 성능 향상을 보였고
이제 새로운 추론모델을 4o로 만들기에는 한계가 와서
새로운 베이스모델을 만들고, 그걸로 새로운 추론모델을 만들어야 하는데
이런 베이스모델의 성능을 향상시키려면 많은 학습데이터가 필요하고
지금은 그 데이터가 거의 고갈된 상황이라서
o1, o3 같은 추론모델로 다시 합성데이터를 만들고 그걸로 새로운 베이스모델을 다시 만들려 하는 거고
그렇기 때문에 합성데이터를 학습한 새로운 베이스모델의 성능이 극적으로 향상되어야만
이러한 개선 루프가 제대로 작동할 수 있다는 뜻이기 때문에
새로 나올 베이스모델인 4.5의 성능이 중요한 지표가 될 거란 거지?
댓글 0