[일반] 로컬 llm 딥식이 어마어마하게 좋아졌다는데

[익명(211.196)]

32b 는 5090 아니면 포기고

14b 모델은 q8 16기가 비램이면 작동함?

q8도 좀 높나 q6라도..

[TS망상(jbo8797)]

Q8이면 14GB 먹는 거고 Q4면 7GB 먹는 거임

[익명(211.196)]

14b 가 q8에서 14gb 비램이면 시도할만하내 땡규

[ailover(photo7512)]

그렇게 해도 성능이 진짜 쓰레기니까 걍 챗봇쓰셈...