9.8기가(9.2B) 짜리 q8_0 모델 쓰고 있는데


rtx3060 12gb로도 속도감 있게 돌아감


물론 gpu 메모리가 간당간강하긴 한데


작동은 잘됨


아래는 gpt3.5랑 비교해본 짤임






질문이 워낙 간단해서 별 차이는 없는거 같지만 그래도 로컬인걸 감안하면 좋은것 같음


이번에 로컬 LLM 처음 써보는건데 앞으로 계속 발전하길. 언젠가 이미지 생성하는 로컬AI랑 연동되면 좋겠네.