미스트랄에서 무료로 공개한 Mixtral 8x7B 

ChatGPT 4처럼 MoE 아키텍처를 사용(여러개의 LLM 모델) 거대 오픈소스 언어모델



각각 70억 매개변수를 가진 8개 전문모델로 구성해서 각종 AI 벤치마크에서 ChatGPT 3.5와 비슷한 성능을 냄



AI 업계에서도 여태 나온 오픈소스 모델 중 최고라는 평을 듣는 중

이 모델을 공개한 Mistral AI는 5500억 투자를 받음


GPU에서 구동하려면 권장 사양이 VRAM 80기가 그래픽카드 2장

3천만원짜리 엔비디아 A100 80GB 버전 2장 필요한 수준




애플 실리콘은 통합 메모리 아키텍처라 GPU도 거대한 메인메모리에 그대로 접근이 가능한 구조

빠른 속도로 로컬에서 ChatGPT 3.5 성능의 언어모델 구동이 가능

M2 Ultra의 경우 최대 192GB 메모리
M3 Max의 경우 최대 128GB 메모리

구성이 가능




M2 Ultra 에서 구동 (Q4)




ChatGPT 공개 1년만에 공개 당시와 비슷한 성능의 LLM을 단 140W(M3 Max)로 집에서 구동하는 시대가 옴