[📪정보] Apex 수학 벤치마크

MathArena Apex는 최신 AI 모델도 거의 풀지 못하는 12개의 매우 어려운 수학 문제를 모은 벤치마크입니다.

MathArena Apex는 2025년 수학 경진대회에서 출제된 문제 중, 최신 대형 언어 모델(LLM)들이 여러 번 시도해도 거의 풀지 못하는 문제 12개를 엄선해 만든 새로운 벤치마크입니다. 주요 내용은 다음과 같습니다:

배경 및 목적

• 최근 LLM의 성능이 크게 향상되어, 기존의 자동 채점 방식 수학 문제는 대부분 풀 수 있게 됨.

• GPT-5 등 최신 모델은 거의 모든 기존 문제를 90% 이상 정답률로 해결.

• 이에 따라, 모델의 한계를 평가할 수 있는 “진짜 어려운” 문제를 찾는 것이 점점 더 어려워짐.

Apex 문제 선정 방법

• 2025년 각종 수학 경진대회(AoPS, IMO, SMT 등)에서 문제를 수집.

• 각 문제를 대표 모델(Grok 4, GPT-5, Gemini 2.5 Pro 등)로 4번씩 시도해 모두 오답이면 Apex 후보로 선정.

• 최종적으로 12개 문제만 살아남음(6개는 기존 대회 문제, 6개는 증명형 문제를 변형).

평가 및 결과

• 9개 모델을 대상으로 각 문제를 16번씩 시도.

• 가장 성능이 좋은 모델(Qwen3)도 정답률이 5%에 불과.

• 12개 중 9~12번 문제는 어떤 모델도 한 번도 풀지 못함.

• 모델들은 비슷한 실수를 반복하며, 대체로 직관적 추측에 머무르거나 불완전한 증명을 제시함.

주요 문제 예시

• 연속함수의 그래프에 나타나는 정수 길이의 코드 개수(Problem 1)

• 체스판 위의 다각형 경계와 관련된 부등식(Problem 2)

• 직사각형을 자르고 재조합하는 경우의 수(Problem 5)

• 타일을 배치해 행과 열마다 한 칸씩만 남기는 최소 타일 개수(Problem 12)

결론 및 전망

• 기존 자동 채점 문제는 대부분 모델이 풀 수 있어, 앞으로는 증명형 문제나 새로운 유형의 문제로 평가가 필요.

• Apex 벤치마크는 모델의 한계를 분석하고, 커뮤니티가 더 어려운 문제를 제안할 수 있도록 공개됨.

댓글 5