[일반] gemma 2 9b 진짜 괜찮네

[익명(dlsjftldk)]

3070에서 로컬로 돌리는데 진짜 한국어 성능 괜찮네 속도도 빠르고

체감상 gpt3.5보다 살짝 상위호환인듯??

로컬 모델중에 이 사이즈 중에 한국어 제일 잘함

[천사다천사(jjtheman999)]

혹시 3060으로도 돌아갈까 - dc App

[익명(dlsjftldk)]

3060도 vram 만 있음 돌아가지 3060 12gb 면 q8으로 양자화 훨 적게하고 쓸수있음

[천사다천사(jjtheman999)]

마침 vram 12gb인데 잘됐네 정보 감사합니다 - dc App

[익명(dlsjftldk)]

함 돌려보고 보여죠 인증고다

[익명(dlsjftldk)]

나는 참고로 ollama 에다가 Open WebUI Version 물려서 씀

[천사다천사(jjtheman999)]

https://gall.dcinside.com/mgallery/board/view/?id=thesingularity&no=498915&page=1

[익명(121.124)]

싸가지 없던데 제마2

[익명(dlsjftldk)]

흠 한국어로 물어보면 대체로 착하던데

[디시콘발사대(fcbjsjmu1t9f)]

[익명(115.21)]

이거 프로그램 뭘로 돌리는 중임?

[익명(dlsjftldk)]

백엔드는 ollama 프론트 유아이는 open web ui

[익명(115.21)]

감사합니당