gpt-oss 20B보다 나은거같은데.
우선 웹환경에서 텍스트 테스트는 합격,
(대충 gpt-oss 20B 수준은 나옴)
뭐 문체가 어쩌구 그런건 상관없이 그냥 AI자체로만은 괜찮음.
밴치테스트에서 툴활용이나 다른것들이 상당히 뛰어나게 나와서
이제 본격적으로 툴콜링 + mcp 테스트 해볼껀데 잘되면 진짜 맥미니 로컬에서도 괜찮을듯? 4bit 기준 16.9gb 임
gpt-oss 20B보다 나은거같은데.
우선 웹환경에서 텍스트 테스트는 합격,
(대충 gpt-oss 20B 수준은 나옴)
뭐 문체가 어쩌구 그런건 상관없이 그냥 AI자체로만은 괜찮음.
밴치테스트에서 툴활용이나 다른것들이 상당히 뛰어나게 나와서
이제 본격적으로 툴콜링 + mcp 테스트 해볼껀데 잘되면 진짜 맥미니 로컬에서도 괜찮을듯? 4bit 기준 16.9gb 임
맥미니 뭘로돌림?
개느림... flash가 아니더라 api로 써봤는데
MoE모델 치고 느리긴 느리더라, 3090에서 왠지 모르겠는데 13tok/s정도 나오긴함. 맥은 아직 안왔는데 어느정도 될지 모르겠음. 예상은 10~15tok/s 나올텐데 아닐수도 있을거같음
한글 깨짐 심하나? 그럼 제대로 쓰기는 어려울텐데 흠
오픈라우터에 공짜 LLM중에 1개로 서비스중이니 테스트해봐 괜찮음
5090+4090 128ram 환경에서 초당 110토큰 나오던데 Q8 기준