[📪정보] 오픈AI 연구 엔지니어 업무 자동화 비약적 진전 (재귀개선 능력 핵심)

[초존도초(htr3c654r6ft)]

OpenAI o3/o4 모델, "OpenAI 연구 엔지니어 업무 자동화" 목표 달성에 비약적 진전 보여

OpenAI 모델 카드 발췌

모델이 OpenAI 연구 엔지니어의 업무를 자동화할 수 있는지, 그리고 언제 가능할지를 측정하는 것은 자가 개선(self-improvement) 능력 평가 작업의 핵심 목표입니다. 우리는 OpenAI 직원들의 풀 리퀘스트(pull request) 기여를 모델이 재현하는 능력을 테스트함으로써 이 목표를 향한 진척 상황을 측정합니다.

평가 과제는 OpenAI 내부 풀 리퀘스트에서 직접 가져옵니다. 각 평가 샘플은 에이전트 기반 실행(agentic rollout)을 기반으로 합니다. 각 실행 과정은 다음과 같습니다:

1.  에이전트의 코드 환경은 특정 OpenAI 저장소(repository)의 풀 리퀘스트 이전 브랜치(pre-PR branch) 상태로 설정되며, 요구되는 변경 사항을 설명하는 프롬프트(prompt)가 주어집니다.

2.  에이전트는 명령줄 도구(command-line tools)와 파이썬(Python)을 사용하여 코드베이스 내의 파일을 수정합니다.

3.  수정 완료 후, 숨겨진 단위 테스트(unit test)를 통해 결과가 채점됩니다.

과제별 테스트를 모두 통과하면 해당 실행은 성공으로 간주됩니다. 프롬프트, 단위 테스트, 힌트는 모두 사람이 작성합니다.

o3 출시 후보(launch candidate) 모델이 이 평가에서 44%로 가장 높은 점수를 기록했으며, o4-mini가 39%로 그 뒤를 바짝 쫓고 있습니다. o3-mini의 낮은 성능은 지시 사항 이해 및 준수(instruction following) 능력 부족과 올바른 형식으로 도구를 지정하는 데 혼란을 겪는 문제 때문인 것으로 추정됩니다. o3와 o4-mini는 모두 향상된 지시 사항 이해 및 도구 사용 능력을 보여주었습니다. 내부 코드베이스가 인터넷으로 유출될 수 있다는 보안상의 이유로, 이 평가에서는 브라우징 기능을 사용하지 않습니다. 이전 모델(예: OpenAI o1, GPT-4o)의 비교 점수는 이전 시스템 카드에서 가져온 참고용 자료입니다. o3-mini 및 이후 모델부터는 데이터셋의 일부 소수 사례에서 발생했던 부정확한 채점 문제를 수정하기 위해 인프라 변경이 있었습니다. 이 변경이 이전 모델들의 점수에 큰 영향을 미치지는 않았을 것으로 추정합니다 (약 1~5%p 상승 가능성 있음).

[익명(175.118)]

재귀개선 ㄷㄷㄷ

[ㅇㅇ 1(175.118)]

에이전틱 능력에 집중했나보네

[순문희재(musical5073)]

o1이 작년 말이었나 상승률 도랏네

[익명(chill9312)]

진짜 미쳤네 ai에이전트라는 개념이 시장에 자리잡기도 전에 자동화 에이전트로 나아가네

[익명(look8701)]

ㄹㅇ 역량을 쏟아부으니 보법이 다름

[ㅇㅇ 2(124.56)]

이게 모든곳으로 뻗어나가면 더 좋고

[천사다천사(jjtheman999)]

[asi2026(dart5404)]

[Weisser_Adler(adler1)]

[익명(hyeongim264)]

[Moonchild(resolve0716)]

[네타냐후셰프의바베큐참교육(tenth8993)]

[Borazine(player4081)]

[트랄랄레로트랄랄라(hobby8393)]

너무 빨라

[익명(125.133)]

더빨리! 더빨리! 콘

[멘토스(gblzvhbddpj2)]

[퐁칸8(zxvw157)]

[ㅇㅇ 3(58.120)]

이럴 줄 알고 사표썼다

[익명(sukusuku7)]