[일반] 로컬 LLM은 진짜 앵간한 사양에선 의미없는거 같음

[익명(parrot0303)]

CPU로 돌리거나 호스트 D램도 써서 돌리는건 개느려서 의미가 없고

5090처럼 브램 32GB에 담을 수 있는 모델은 Qwen3/Qwen3-VL 32B 같은게 지금 가장 좋자나? 써보면 뭐 못 쓸 수준은 아닌데

제미나이 1년씩 무료로 주고 이러는 상황에 쓸 이유가 있나 싶음

그렇다고 그거보다 똑똑한건 이제 RTX PRO 6000 한개로도 브램 부족한 것들이고 

[정신안차려?(proceed3119)]

로컬 LLM은 채팅으로 뭔가 하는 용도로 쓰기는 사실상 불가능한 수준

[익명(39.125)]

굳이 비램 16기가 살필요가 없겠네요 게이밍으로 상급 필요하다면 모를까 그렇군요 - dc App

[익명(parrot0303)]

@ㅇㅇ(39.125) 생성형 AI 돌리는데는 쓸수있지

[익명(39.125)]

사실상 제한적이라는거네요 음.. 생성형 ai도 최적화되면 램할당량도 줄어들테니까요 - dc App

[정신안차려?(proceed3119)]

@ㅇㅇ(39.125) 그렇다고 해도 생성형 모델이면 16기가는 써야

[익명(parrot0303)]

@정신안차려? 모델마다 다르긴함 뭐 그리고 생성형 모델들 대부분 다 4비트 양자화까진 내려서 써도 별 문제없어서

[익명(t552tadwpnua)]

ㅇㅇ 어차피 대기업 유료모델에 못이김

[익명(parrot0303)]

정확히는 이길 수 있는 모델들을 돌리는 컴터면 대기업 유료모델 평생 돌리고도 남을 요금이란거

[익명(t552tadwpnua)]

오픈소스중에 제미나이 클로드보다 성능 좋은게 있어?

[익명(parrot0303)]

@ㅇㅇ kimi k2? 물론 돌릴 엄두도 못냄 1T 파라미터라 ㅋㅋ