[일반] 미스트랄 라지2 이거 한국어 엄청 잘하네

[익명(110.145)]

영어는 mmlu 84임 (이러면 라마3.1 70b보다 떨어지는데)

다국어 능력은 발군이네 한국어 60점밖에 안되는데 답변 퀄러티 오짐

일본어나 중국어는 엄청날듯

시발 한국어도 80점 만들어 달라고!

80점이면 엄청날거 같은데

그런데 4비트 양자화인데도 llama.cpp로 cpu로 돌려서 1.2 t/s 나옴 ㅋ

[익명(1.247)]

점수상으론 개판인데 실질적으론 좋음 클로드 오푸스나 커맨드알 플러스처럼 갑자기 일본어나 한국어 갑툭튀안함. 그런데 속어나 방언은 못알아먹더라 그래서 60%인듯 - dc App

[익명(1.247)]

한국어래 중국어 - dc App

[익명(115.138)]

60점인데 저거랑 소넷3.5, 잼민이랑 비교하면 어떰? 아직까지 이 둘 한국어 이길만한게 있나

[익명(110.145)]

소넷3.5 잼민이 4o 한국어는 아직 오픈소스들이라 로컬들이 못넘어 라마3.1도 성능 엄청 좋은데 한국어 공식지원 아니어서 구리고