AIME 2024 기준으론 동일 조건이 맞지만...





MMMU에선 o1은 pass@1, grok은 cons@64임.


물론 진한 선이 pass@1 같고 수치도 나오니까, 완전 속인건 아니긴 한데... 너무 비직관적임


제미니도 확인해봤는데 거긴 측정 방식이 안나오더라