[📪정보] o3 벤치마크가 가지는 의미

[AMI(menu0307)]

Codeforces, FrontierMath, GPQA 하나같이 다 인간 최상위권들 수준의 문제들임

어느 정도일까?

Codeforces : 코딩 고인물들만 참가하는 대회

여기서 99832명 중 50위 내, 즉 상위 0.05% 달성

보통 Candidate Master만 되도 인간 최상위권인데, 그 중에서만 따져도 0.7% 내에 들음

ELO 2500점만 되도 국제올림피아드 진출권이라는 걸 생각하면, 보통 인생 살면서 이 정도로 코딩 잘하는 사람은 보기도 힘듬

AIME(미국 수학 올림피아드) 96.7%, GPQA (박사 수준 추론 질문) 87.7%

웬만한 사람은 아무리 공부해도 이 정도에 도달하는 건 불가능

참고로 GPQA는 해당 분야 박사 학위도 평균 65%의 정답률을 보임

FrontierMath : 대놓고 현존하는(했던) 인공지능들 엿먹이려고 만든 수학 벤치마크

수학 평생 공부하면서 박사까지 전공한 사람들도 자기 분야랑 딱 맞는 거 아니면 못 푸는 문제들만 있음

공식 사이트(https://epoch.ai/frontiermath)에 있는 언급 :

Terence Tao : 이 문제들 ㅈㄴ 어려움. AI가 이거 풀려면 적어도 몇 년 걸릴 듯

Timothy Gowers(필즈 메달 수상자) : 이거 다 푸는 건 고사하고, 한 문제 제대로 푸는 것도 우리가 지금 할 수 있는 걸 넘어선다

Evan Chen (국제수학올림피아드 코치) : 정말로 어려운 문제들이고, 대부분 내 능력을 뛰어넘는다

ARC-AGI (일반 추론 평가) : 진짜 인간다운 추론을 하는지 테스트하기 위해 만든 데이터셋

일반적인 사람이 풀었을 때 85% 정도의 정답률을 보임

o3는 여기서 생각 시간에 따라 76%-87%의 정답률을 보임

걍 기존 벤치딸들과는 차원이 다른 수준임

GPQA, FrontierMath, ARC-AGI 얘네들은 전체 문제는 비공개고 예시를 위한 일부 문제만 공개돼있기 때문에,

벤치 미리 학습했네 이 ㅈㄹ도 못함

[익명(14.35)]

풀가속 드가자 ㅋㅋㅋㅋㅋ

[점심밥(yield0917)]

[HMX-13(multizzang)]

[수직(player5319)]

[한가운데(centerofworld)]

캬

[DNA(hexase1)]

ㅅㄱ ㅋㅋㅋㅋㅋ

[익명(amazonia)]

ㅎㄷㄷ

[디시콘발사대(fcbjsjmu1t9f)]

[에이아이(plan7682)]

ㅅㄱ요 ㅋㅋㅋ

[MoonChild(aowlr2001)]

[익명(boxing8245)]

아아. Just Feel the AGI.

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(broad6196)]

근데 o1도 코드포스 1890점으로 벤치상으로는 이미 코딩 전문가 레벨임.