[일반] 첫 단추와 왜 OpenAI는 AtCoder 도전을 하는가

[일본에간대학원..(math4457)]

OpenAI 모델들은 생각보다 오토리서치, 또는 Goal을 잡고 진행하는 작업 등에서 문제가 있어요

한 솔루션이 단단하게 굳혀졌다 믿기 시작하면, 절대 거기서 안 벗어나려 해요

이를 해결해주는 방법이 외부 모델이나 하네스를 두거나 사람이 개입해서 강제하거나 해야 하는 수준일 정도로

지식이 부족한 것과 합쳐지면 금상첨화로 개판이 벌어지죠

좋게 말하면 일단 어느 시점 이후부터는 계속 무조건 작동하는 코드가 나오고요

나쁘게 말하면 그 시점 후부터는 계속 돌려도 못벗어나요

Fable이 처음 나왔을 때, 이에 대해 분석한 내용이 있어요

https://htihle.github.io/code_length_analysis.html

Why does GPT write 5x more code than Claude?

GPT는 5배 긴 코드를 작성하지만, 모든 것이 "모든 테스트 케이스를 가정하고 통과시킨다"에 집중되어 있어요

성능? 그런거 모르겠고 일단 안정성이 중요하지(...)라고 해요

반면 Opus는 "실패할수도 있지, 일단 구축해"에 가깝고요

그 결과, GPT 5.5가 사후학습을 한 모델은 테스트 문제 셋의 99.3%를 푸는 기묘한 학습을 해내기도 했어요

이게 지금까지의 GPT였어요

좋게 말하면 안정적인 코드에 집중하고, 나쁘게 말하면 최적화나, 솔루션에서 Suboptimal한 해를 고르더라도 절대 거기에서 벗어나려 하지 않고, 위험을 겪고자 하지 않아요

아마, 지금 GPT 5.5가 참여하면, 0점을 중간에 겪는 일 없이, 다만 1등은 하지 못하고 상위권 언저리에 있거나 할거에요

사람이 직접 개입해서 다시해 해야 그나마 오르는 방식이 되겠죠

사실 바로 그 점이 이번 참여 목적이 아닐까 싶어요

최적화 과제 등에서, 모델이 어떤 때에는 과감하게 비최적 해를 버리고 결단을 내릴 수 있는가

단순히 우리 모델 성능 엄청나요!!! 를 보여주려 한다기에는 관심도 다들 크게 없고, 하이 리스크 로우 리턴이에요

[이세이미야케(jkwarawara)]