[일반] o3은 mmlu 몇임?

[익명(jvzm7b7k922x)]

gpt-4o가 88.7이고

agi '달성 조건'이 90이상인데

이미 달성 조건은 한참 넘은듯 한데 그래도 점수가 몇인지 궁금하네

[sama(prince2317)]

이미 o1에 MMLU-PRO로 92인가 찍음

[익명(175.199)]

o1이 이미 92.3점이였음 구조상 100은 불가능하다고 들었는데 뭐 95 이쯤 이겠지 근데 이제 mmlu는 오염도 많이 된 데이터셋이라 잘 안써먹더라 어차피 벤치 자체가 포화되기도 했고

[익명(jvzm7b7k922x)]

ㅇㅎ

[익명(121.124)]

mmlu는 이제 의미없다

[익명(121.124)]

지금은 프론티어매쓰가 트렌드다. 시대 뒤쳐지지 말도록