얼마 전 미스트랄에서 무료로 공개한 Mixtral 8x7B
ChatGPT 4 처럼 MoE아키텍쳐를 사용한 거대 오픈소스 언어모델임
여러개의 LLM 모델을 사용한다는 뜻
각각 70억 매개변수를 가진 8개 전문모델로 구성해서 각종 AI 벤치마크에서 챗 GPT 3.5와 비비는 성능을 냄
AI 업계에서도 여태것 나온 오픈소스 모델 중 최고라는 평을 듣는 중
참고로 이 모델을 공개한 Mistral AI는 얼마전 5500억 투자를 받음
문제는 GPU에서 구동하려면
권장 사양이 VRAM 80기가 그래픽카드 2장
3천만원짜리 엔비디아 A100 80GB 버전 2장 필요함
아님 걍 CPU로 느리게 굴리던지
근데 애플 실리콘 맥은 통합 메모리 아키텍쳐라 GPU도 거대한 메인메모리에 그대로 접근이 가능한 구조라서
엄청난 속도로 로컬에서 챗GPT 3.5급 언어모델 구동이 가능해짐
M3 Max 에서 구동 (Q5)
M2 Ultra 에서 구동 (Q4)
챗GPT 공개 1년만에 비슷한 성능의 LLM을 50W짜리 저전력 노트북에서 돌리는 시대가 왔네
1년 후엔 얼마나 발전할지 기대가 된다
나 너무 무섭다
미스트랄이 ㄹㅇ 호감임
울트라가 50와트나먹어?
울트라는 100와트 넘게 먹음 데탑 500와트 넘게 먹는거 생각하면 선녀지
엔비디아 빠는게 ㅂㅅ이라니까. 10번대 마지막으로 기술 한계 와서 무식하게 때려박는데 그게 대단해보임?
엔디비아를 ㅈ으로보네 ㅋㅋㅋㅋ
4090 성능이랑 전성비 개떡상했는데? 엔트리 모델이야 성능 향상이 별로지만 그건 3000번대가 너무 전기 많이 퍼먹는 돼지라서 그렇고
추론이면 몰라도 학습은 아직 병신일걸 그래도 공유 메모리는 존나 강점이긴함
ㅇㅇ AI가 메모리 엄청 잡아먹는데 맥북이 공유메모리 덕분에 가성비 취급받음
50w면 맥북에선 돌리기힘들고 맥스튜디오 가야됨
본문 트윗이 맥북에서 돌린거임
1회성은 몰라도 실사용으론 힘들어
맥북이 무슨 리전프처럼 방열구조 빵빵한것도 아니고
맥북은 전력소모 낮아서 애초에 쓰로틀링이 없어 배터리 상태에서도 벤치마크 최고성능 그대로 유지됨
자 속도가 처음부터 끝까지 계속 나옴
리전프로 같은걸론 당연히 못돌리지