[일반] 로컬ai 5070가지고안됨?

[익명(closely5878)]

ㅈㄱㄴ

[메론맛콜라가먹고싶어(victim4811)]

12GB면 힘들지

[익명(closely5878)]

ㅠ

[ㅇㅇ 1(219.248)]

14b까진 될거고 oss120b는 튜닝하면 쓸수있음

[익명(closely5878)]

걍 npu하나살까

[ㅇㅇ 1(219.248)]

@ㅇㅇ 지금은 npu 쓰기 어려우니까 4060 16긱 이런거 사서써

[익명(closely5878)]

@ㅇㅇ1(219.248) 4070보다 4060더좋음? ai한정

[ㅇㅇ 1(219.248)]

@ㅇㅇ 아무거나 브램큰거사

[ㅇㅇ 2(219.251)]

로컬 llm 쓴다는데 16긱 추천하면 어캄 최소 24기가고 그것도 부족함

[익명(string0870)]

그림은 그래도 꾸역꾸역 돌려볼만 할거고 텍스트는 더 상위 그래픽카드로도 굳이인 듯

[세라(compact7451)]

양자화된거면 가능할듯 젬마 돌려

[ㅇㅇ 2(219.251)]

llm 로컬 쓸려면 최소 qwen3 30b 성능인데 32기가도 부족해 컨텍스트 조금주면 좀

[약팔이아님(vital7966)]

나한테 주면 해줌

[냥쓰(kalstein)]

로컬 쓸만한거는 24GB 2개 사서 48GB는 써야 좀 이것저것 해볼수있어요. 근데 뭘해도 프런티어 모델 쓰는게 퀄리티가 좋습니다. 엄청 많이 정해진 workflow 내에서 돌릴꺼 (번역이라던가... TTS, 그림생성 등) 아니면 일반적인 서비스 사용하는게 좋긴합니다.