[📪정보] MathArena: 오염되지 않은 수학 경시대회에서의 LLM 평가

[초존도초(htr3c654r6ft)]

MathArena: 오염되지 않은 수학 경시대회에서의 LLM 평가

⚠+ <- 이 표시는 해당 모델이 대회 일자 이후에 공개되어 데이터 오염이 발생했을 가능성이 있다는 뜻입니다.

*Gemini-2.5-Pro의 비용은 원래 추론 기록(thought trace)을 반영하지 않고 계산되었습니다. 이제 해당 내용을 반영하여 비용을 업데이트했습니다.

사이트 바로가기

[디시콘발사대(fcbjsjmu1t9f)]

[야하이잇(dignity123)]

usamo2025 는 아직 다 테스트 안됐구나

[사람(quantity2165)]

USAMO나와 봐야 알겠지만, 수학 분야 SOTA는 고점은 o4mh고 가성비는 grok3mh로 넘어갔음.

[사람(quantity2165)]

flash도 grok3mh한테 성능도 가격도 다 안되네.

[Protactinium(comic9287)]

그록이 저정도였냐