32b 는 5090 아니면 포기고
14b 모델은 q8 16기가 비램이면 작동함?
q8도 좀 높나 q6라도..
Q8이면 14GB 먹는 거고 Q4면 7GB 먹는 거임
14b 가 q8에서 14gb 비램이면 시도할만하내 땡규
그렇게 해도 성능이 진짜 쓰레기니까 걍 챗봇쓰셈...
Q8이면 14GB 먹는 거고 Q4면 7GB 먹는 거임
14b 가 q8에서 14gb 비램이면 시도할만하내 땡규
그렇게 해도 성능이 진짜 쓰레기니까 걍 챗봇쓰셈...