[📪정보] 이거 본 사람 있냐? SmartGPT가 MMLU 89% 찍었대

[ramune(jin073131)]

https://youtu.be/hVade_8H8mE

뒷북이 아니었으면 좋겠는데 smartGPT는 내가 이해하기론 재귀개선과 외부저장을 활성화한 GPT4기반 프로그램임.

지금 구글이 하는 것처럼 스케일 늘리는 것보다 이렇게 다양한 방법을 쓰는 것도 중요한 듯.

[익명(rty1x21s8nhq)]

But scale is all you need

[익명(rty1x21s8nhq)]

[익명(1.217)]

mmlu이 먼디?

[ramune(jin073131)]

언어모델을 평가하는 지표인데 GPT-4가 86.4고 오픈소스 모델들은 70대 초중반에 머물고 있음.

[익명(1.217)]

오..

[익명(58.127)]

조코딩에서 얼핏 본거 같은데 더 자연스러운 반응이 가능하다는거?

[ramune(jin073131)]

평범한 의사수준의 의학지식, 평범한 변호사 수준의 법학지식, 평범한 수학자 수준의 수학지식등 모든 직업의 평균치를 가지고 있다는 뜻임 - dc App

[익명(rechido)]

[인스타맨(fapawjkejmp4)]

유입인데 mmlu 관련글 볼만한거 있음?