20B가 그냥 로컬에서 맘대로 가져놀기 좋은 수준 한계인듯 (양자화, MoE 기준 16gb vram 가능)
vram 선에서 작동해야 가볍게 쓸만한거같은데 쉽지가 않네
몇달째 계속 gpt-oss 20B가 sota급인데.. 분명 성능은 훨씬개선됬는데 나오질 않노
20B가 그냥 로컬에서 맘대로 가져놀기 좋은 수준 한계인듯 (양자화, MoE 기준 16gb vram 가능)
vram 선에서 작동해야 가볍게 쓸만한거같은데 쉽지가 않네
몇달째 계속 gpt-oss 20B가 sota급인데.. 분명 성능은 훨씬개선됬는데 나오질 않노
MoE로 20B 정도 + Gemma 3n이나 GPT oss처럼 최신 기법으로 경량화 이렇게 해서 성능은 제미니 3 플래시급 그런거 나왔으면 좋겠네 ㅋㅋ
맞음 지금 gpt-oss가 7개월지났는데 어째 변화가 없다 qwen 3.5~4가 경량모델로 나와야할텐데
제미니 3 플래시급...이 개인 컴에서 될라나 ㄷㄷ 되면좋겠다.
@개발용더미 희망사항이긴 하지만, 2.5 플래시 급 정도라면 가능할지도...?
minitral 3
내 기준인 기준미달이던데.. 14B기준