[일반] 로컬llm은 할게 없어

[피씨(220.86)]

제미니 2.5 플래시 정도 되어야

A와 B를 비교해서 C를 만들어줘 한줄이면 끝날 것을

A를 분석해서 목차와 내용을 요약해

목차의 1번을 분석해.

 .

.

.

C를 만들어줘

까지 세세하게 하나씩 해야하거든.

아직 개인용 24gb vram에서 돌아가는 모델들은 이 정도야

[ㅇㅇ 1(211.201)]

젬마3 24b int4 버전쓰라 다른거 쓰니까 징징대지

[피씨(220.86)]

그건 괜찮음? 짐 해보러간다

[냥쓰(kalstein)]

24기가 한장이면 gemma3나, mistral쪽꺼 괜찮고요. 좀 본격적인 llm이라면 보통 48gb 부터 제대로...라고 하더군요. 근데 요샌 뭐 어지간하면 ais쌀먹 되어서 ㅡㅡ;;;