[🏆베스트] [OpenAI] 방금 역사상 가장 똑똑한 AI가 탄생하였음

[초존도초(htr3c654r6ft)]

어제부터 시작된 심상치 않은 분위기

그리고 갑자기 The Information 기사가 하나 올라오는데...

그리고 약속의, 새벽 3시.

담담하게 발표하는 그들...

"O3 모델은 아주 아주 똑똑한 모델입니다. 그리고 O3 Mini 모델도 믿을 수 없을 정도로 똑똑한 모델이에요."

----------

SWE-bench Verified (Software Engineering):

실제 GitHub 이슈를 바탕으로 하여, 코드베이스를 수정하여 문제를 해결할 수 있는지를 평가. 소프트웨어 개발자로서 충분히 생산적인지를 확인.

Codeforces (Competition Code):

프로그래밍 경쟁 대회. 다양한 난이도의 알고리즘 문제를 해결하는 능력을 평가. 다양한 알고리즘 문제를 효과적으로 해결할 수 있는지를 확인.

모두 0-shots

Github 이슈, 실제 프로덕트에 대한 실질적인 해결 능력이 71%까지 올라갔다는 것을 의미함과 동시에,

전세계 상위 0.2% 국제적인 그랜드마스터급 실력(정확히는 전세계 175위)의 알고리즘 문제 해결 능력을 보유했다는 것을 의미.

AIME 2024 (Competition Math):

중고등학생 수학 경시 대회. 기하학, 조합론, 정수론, 대수학 등 다양한 분야에서 창의적이고도 고도의 논리력과 사고력을 요구하는 문제들로 구성되며, 여기서 만점을 받는다는 것은 영재 중의 영재이자 추후 수학의 신계가 될 자들만이 가능함. 애초에 응시하는 것부터가 AMC라는 대회에서 상위 5% 미만이어야지만 응시 가능.

Questions (GPQA Diamond) (Phd-level Science):

박사 수준의 생물학, 물리학, 화학 문제를 해결하는 능력을 평가. 해당 분야의 박사들조차 평균 65%의 정답률밖에 달성하지 못함.

해당 부문들에 있어서 대략적으로 인간 전문가를 한참 뛰어넘었다고 볼 수 있겠다.

EpochAI Frontier Math (Research Math):

60명 이상의 최고급 수학자들이 참여하여 만든 역대급 수학 문제들. 14명의 국제수학올림피아드 금메달리스트와 필즈상 수상자들(테렌스 타오, 티모시 고워스, 리처드 보처드)이 머리를 싸매고 만든 수학 시험. 전문 수학자도 딱 한 문제 해결에 수 시간부터 수 일이 소요. 단순한 패턴 매칭이나 기존 학습 데이터만으로는 해결할 수 없는 진정한 수학적 추론 능력을 측정.

기존의 모든 AI들은 2.0%의 수준밖에 안 되었는데, o3는 25.2%까지 끌어올렸다.

ARC-AGI:

일반인공지능(AGI)의 핵심인 추상화와 추론 능력을 측정하는 테스트. 단순한 패턴 매칭이나 통계적 학습이 아닌, 진정한 지능을 측정하고자 설계.

인간 평균 수준은 70%.

ARC Prize 창립자왈:

"OpenAI의 o3 모델은 ARC-AGI 벤치마크에서 뛰어난 성능을 보여주며, 기존 LLM의 한계를 극복하고 지식 재조합 능력을 향상시켰습니다. 이는 단순한 성능 향상을 넘어, AI가 새로운 과제에 적응하는 능력이 크게 발전했음을 보여줍니다. ARC Prize는 새로운 벤치마크를 통해 AI 연구 발전을 계속해서 추진할 것입니다."

나머지

Structured Outputs:

개발자가 제공한 스키마에 따라 출력을 정확하게 구조화하는 능력. JSON, 데이터베이스, 자동화된 처리 등에 적합한 일관된 형식의 출력을 보장.

Function Calling:

외부 도구나 API와 상호작용할 수 있게 해주는 능력. 텍스트 생성을 넘어 실제 작업을 수행하고 데이터를 검색 및 처리할 수 있음.

Function Calling with Structured Outputs:

Function Calling과 Structured Outputs을 결합한 고급 능력.

LiveBench Coding:

다양한 코딩 능력 평가 시험. 문제 이해 능력, 기존 코드 기능 파악, 누락된 부분 완성 능력 등을 다양한 문제들로부터 평가.

https://youtu.be/SKBG1sqdyIU

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[초존도초(htr3c654r6ft)]

[익명(124.53)]

이제 1년 남음

[디비휴(runny7837)]

[익명(amazonia)]

2025 가즈아~~~

[디시콘발사대(fcbjsjmu1t9f)]

[사의장(prize8382)]

[익명(58.121)]

아직 2025도 아닌데 지리네

[수직(player5319)]

[MoonChild(aowlr2001)]

[익명(121.186)]

와씨발개미쳤다 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[공부는머리(a1530gsm)]

ㅊㅊ

[59.16(oguillyuck)]

[익명(broad6196)]