[📪정보] 젬마2 27B 로컬 돌리기 성공

[익명(121.178)]

int4 기준 VRAM 18GB 정도 먹고

생성 속도도 생각보다는 빠르네

로컬 LLM 굿이노

*딥마인드에서 양자화시 성능 저하 좀 있다고 말했어서 능지 저하 약간은 감안해야함*

[젤시러(position4791)]

24 브램으로 돼???? 27b가 24브램으로 돌아가?? 그럼 진짜 혁신인데 ㄷㄷㄷㄷ

[익명(121.178)]

ㅇㅇ 잘됨

[젤시러(position4791)]

와 씹 개혁신이다 구글 역시 갓 나도 다운받으러 간다

[익명(121.178)]

근데 해보니까 int4라 좀 능지저하 심해서 아쉽긴하네 AI Studio에서 쓰던거보다 훨 못하노. 저자들이 성능 저하 꽤 있을거라더니 진짜넴.

[젤시러(position4791)]

아 역시 양자화되면 깡 스케일보다 안되나...

[천사다천사(jjtheman999)]

4090 하나로 된다고? 대단하네

[익명(helmet5559)]

역시 치타

[디시콘발사대(fcbjsjmu1t9f)]

[익명(211.185)]

와 16기가에 다 들어가네 어느 양자화 모델인감?

[익명(121.178)]

https://huggingface.co/google/gemma-2-27b-it
여기 참고해서 int4로 하면댐

[익명(211.185)]

감사요

[익명(175.206)]

4빝이면...좀 아쉽기는 하겠지만 그래도 돌아가는 게 어디야!

[익명(dlsjftldk)]

ollama로 q5_k_m 으로 해봐바 이게 제일 가성비 좋음. 거의 오리지널이랑 성능 비슷

[익명(14.32)]

치타가 간다

[MoonChild(aowlr2001)]