[일반] palm2도 mmlu 80점 돌파한 애라 성능은 상당할텐데

[익명(218.154)]

일반인들에게 평가는 바닥인 이유가 뭐냐

[익명(221.140)]

인간의 평가요소는 mmlu만이 아니기 때문?

[익명(221.144)]

AI의 평가 지표가 아직 명확하지 않다는 이야기도 있듯. mmlu 만으론 부족한 듯. 더군다나 일반인이라면, 박사수준의 전문적인 내용은 설사 틀려도 모르고, 맞춰도 그런갑다 하겠지만, 일상적인 질문이나 대화에서 헛소리하면 완전 깡통 취급하기 때문에...