[일반] MMLU-Pro 벤치마크 공개

[익명(59.17)]

TIGER-Lab/MMLU-Pro · Datasets at Hugging Face

12K 질문을 가진 테스트셋으로, 원래의 MMLU가 가진 4가지 옵션 대신 10가지 옵션을 사용하여 무작위로 추측해 맞출 확률을 낮췄음

또한 다양한 분야에 걸쳐 더 많은 대학 수준의 문제를 추가함으로써 복잡성 수준을 크게 증가시켜 견고하며 다른 프롬프트에 덜 민감해짐

그리고 최근에 만들어진 벤치마크라 데이터셋에 포함되지않았기떄문에 오염의 여지도 적음 

https://huggingface.co/datasets/TIGER-Lab/MMLU-Pro

[익명(110.145)]

이 데이타셋도 그냥 지들끼리 만든거임

[익명(222.120)]

처음 나왔을 땐 오푸스 없었는데 생겼네

[디붕이(121.190)]

갓 옴니

[익명(115.139)]

잼민이 1.5pro도 추가되면 나중에 보고싶노

[익명(shore1232)]

이렇게보니 gpt4O가 다른 모델들이랑 차이가 좀 있구나