[일반] 오픈소스도 나름 OAI 잘 따라가고 있음

[isui(everyday4623)]

GPT 4.0가 MoE 방식인 거 아니냐는

썰들이 이전부터 있었는데 공개는 안 했었음

근데 미스트랄에서 7B 모델 8개로 MoE 만들었더니

GPT 3.5는 그냥 구닥다리로 보일 정도로

성능이 눈에 띄게 좋아짐

이번에 라마3에 100B 모델도 MoE 방식이라는데

기대 해볼만 한 듯

[디시콘발사대(fcbjsjmu1t9f)]

[익명(fbjhc9a7z8wr)]

라마3보다 라마3가 오픈소스로 풀리고 나서 나올 모델들이 진짜지 ㅋㅋ 이미 ollama는 무검열에 3.5 정도 성능 나온다는 얘기도 있으니

[익명(110.145)]

100b면 암만 양자화 한다 해도 최소 36기가 에서 48기가는 필요할텐데 이게 가장 큰 걸림돌임 황가새끼 나쁜놈