[📪정보] IMO 2025 평가 과정과 시사점

[익명(175.215)]

평가 방법

• 5개 모델(Gemini 2.5 Pro, Grok-4, DeepSeek-R1, o3, o4-mini)을 선정해, 각 문제마다 32개의 답변을 생성(best-of-32).
• 각 답변은 LLM이 직접 토너먼트 방식으로 비교·선택해 최종 1개를 뽑고, IMO 수준의 수학 전문가 4명이 익명으로 채점.
• 채점 기준은 정확성, 논리적 완결성, 설명의 명확성 등이며, 각 문제는 7점 만점.

주요 결과

• Gemini 2.5 Pro가 최고점(13점, 31%)을 기록했으나, 이는 동메달 기준에도 못 미칠 가능성이 높음.
• Grok-4와 DeepSeek-R1 등 다른 모델들은 더 낮은 점수를 기록.

질적 분석

• Grok-4는 답변이 매우 짧고, 설명 없이 최종 답변만 제시하는 경우가 많았음. MathArena의 다른 벤치마크에서도 유사한 문제가 나타남. 
• Gemini 2.5 Pro는 유효한 증명을 찾지 못하면 존재하지 않는 정리를 인용함. USAMO때도 그랬는데, 이는 거짓 권위를 제시하여 사용자를 오도하고 추론 신뢰를 훼손하므로 특히 우려스러운 부분임. 다만 이전 평가(USAMO)보다는 개선된 모습을 보임.
• 사람과 달리 LLM들은 부분 점수를 자주 받았는데, 특히 4번·5번 문제에서 인간과 유사한 접근을 보였으나 논리적 비약이나 증명 미흡으로 점수를 잃음. 
• 특히 문제5는 올바른 전략을 수립했음에도 증명에 실패했는데 이는 역설적으로 IMO 참가자에겐 더 쉬운 부분임. 이러한 비교적 사소한 논리적 문제가 해결되면 모델이 가까운 미래에 크게 개선될 수 있을 것.
• Best-of-n 방법이 성적 향상에 매우 중요했음.

MathArena.ai

[익명(8pbw5yfa5kmd)]

걍 최초답변으로 평가하면 몇점이려나

[익명(219.241)]

모델별 점수랑 답점수 알려주면 좋겠다

[글쓴 ㅇㅇ(175.215)]

문제, 풀이과정, 부분점수, 평가자 코멘트 다 사이트에 공개돼있음

[익명(219.241)]

@글쓴 ㅇㅇ(175.215) 뭐야 o3는 맞춘 개수가 그록4보다 적네