[📪정보] Google, Gemma 2 공개 (벤치마크 포함)

[익명(121.178)]

*참고

(기본모델 기준 MMLU)

llama3 8b 66.6 (5shot)

llama3 70b 79.5 (5shot)

전체적으로 벤치마크만 봤을 때

코딩능력은 라마3보다 별로 같고

상식이나 언어적인 능력은 괜찮아보이는데

써봐야 알듯

9B 짜리 성능 좀 좋으면 좋겠네.

[익명(121.178)]

https://www.kaggle.com/models/google/gemma-2

[익명(shore1232)]

요즘 소형 모델들도 벤치 70은 다 뽑네

[람냥(qorwhddlrz)]

27b만으로 llama3 70b랑 비슷한 급이면 괜찮은데? 로컬llm 빠른 속도로 발전하는구만

[익명(112.156)]

27b 저정도면 갠찬네

[디시콘발사대(fcbjsjmu1t9f)]