mmlu 점수보면 방식에 따라 90점도 넘을 정도인데
아직 수학은 많이 부족함
지금 체감 성능이 확 올라가려면 수학에서 더 많은 진보를 보여야 하는데
4보다 점수가 더 올라갔다 해도 솔직히 여전히 초중등 수학에 머물러 있을거란 말이지
아마 mmlu 점수가 95? 이정도로 올라갔다고 해도
어차피 mmlu 점수는 이미 전문가급이니까
일반 사용자가 한방에 팍 못 느낄 수도 있음
mmlu 점수보면 방식에 따라 90점도 넘을 정도인데
아직 수학은 많이 부족함
지금 체감 성능이 확 올라가려면 수학에서 더 많은 진보를 보여야 하는데
4보다 점수가 더 올라갔다 해도 솔직히 여전히 초중등 수학에 머물러 있을거란 말이지
아마 mmlu 점수가 95? 이정도로 올라갔다고 해도
어차피 mmlu 점수는 이미 전문가급이니까
일반 사용자가 한방에 팍 못 느낄 수도 있음
솔직히 더 많이 아는거는 중요하지 않음 데이터량이 성능과 직결되니 그런차원에서 중요하긴한데.. 진짜 중요한건 추론능력임