[📪정보] 딥띵크 IMO는 pass@1 결과이다

[익명(121.178)]

기존 2.5 pro 31.6%는 matharena에서 best of 32로 계산됐던건데

이번 60.7% 동메달 성적은 pass@1이라고 함

matharena에서 사용했던 방식은 

모델별로 문제 1개당 32개 증명을 생성하고

32개 응답을 1:1로 짝지어서 서로 비교한 뒤

다른 LLM(보통 같은 모델)을 사용하여

각 쌍에서 더 나은 응답을 선택하고

반복적으로 진행해서 최종 1개 베스트 응답을 뽑는 방식

pass@1은 말 그대로 그냥 하나 제출하고 그거로만 채점한거

위는 matharena 결과 (best of 32)

[ㅇㅇ 1(210.222)]

pass@0 은 뭐임?

[글쓴 ㅇㅇ(121.178)]

...

[익명(180.66)]

진짜 압도적이긴 하네

[익명(121.132)]

딥띵크도 노가다 물량공세 아니었네 ㅅㅅㅅ

[ㅇㅇ 2(210.97)]

공식참가한 imo금메달모델 추론절약형이라 pass1이 당연하긴함

[ㅇㅇ 2(210.97)]

기존모델 pass1으로 떨구면 비교도 못하겠네

[익명(180.66)]

ㄹㅇ

[바다기린(hancomputer)]

와... 뚫었네 진짜

[Weisser_Adler(adler1)]

[점심밥(yield0917)]

[츠루히메.(tkdwjd96337d)]

특피티야 초등학생도 알아들을 수 있게 설명해줘 - dc App

[ㅇㅇ 3(115.138)]

60.7% (pass@1)라는 수치는 impressive하지만, MathArena의 31.6% (best of 32) 방식과는 직접 비교 불가능 추론 가능성: Gemini 2.5 Deep Think의 단일 응답 품질이 매우 높을 수 있음 또는 일시적으로 잘 맞은 샘플의 결과일 수 있음 공정 비교를 위해서는 동일한 설정 (e.g., MathArena 방식의 best-of-32) 하에 재평가가 필요