[일반] 13일에 구글 신모델 나오는거 mmlu

[익명(downward0698)]

5shot 기준 mmlu 90.0 정도면 만족? gpt4o랑 소넷이 88.7인데

[익명(orangestar1122)]

어떤종류냐에따라서

[익명(175.206)]

이제 mmlu 1점 2점 이런 건 체감도 잘 안 되고.... 언어모델의 수많은 벤치마크가 체감 문제랑, 오염 문제 때문에....써보기 전에는 만족이라는 말은 안 쓸 듯.

[익명(villager0555)]

구글은 정렬이 딸려서 것보다 훨씬 높아야 쓸만할듯

[익명(121.178)]

GPQA 70이상

[익명(110.145)]

90이 마의 벽이 되어버린 지금 90 깨는 모델 하나쯤 나와줬으면 함