[%] 로컬 llm 돌리는 사람 있나

[nostr(beggar5922)]

공개된 모델 중에 웬만큼 좋은 사양 돌리려면 메모리 어느 정도 여야 하는지 아는 사람 

회사 맥북 메모리 64기가 짜리로 40기가 모델 돌리면 비행기 소리 나던데.

프라이버시 포기하고 그냥 빅테크한테 내 모든 걸 다 드러내야 하는가 아니면 미친 척 하고 128기가 메모리 맞춰야 하나 

[익명(183.102)]

64정도로는 7b~13b 선에서밖에 못돌려 mac의 unified mem은 특히 대역폭 때문에 추론속도도 낮아서 diffusionLLM같은 똥꼬쇼를 해야할거야
나도 m2 192gb 맞추려다 포기했어 대략적인 계산법은 여기
https://www.substratus.ai/blog/calculating-gpu-memory-for-llm
이건
재밌는 글
https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/

[nostr(beggar5922)]

내 본컴으론 시도도 못 해보겠네. 확실히 llm 전용 오프라인 머신 하나 구비하는 게 맞겠다. 링크 ㄳ

[sha256(titanium456)]

요즘 맥미니 가장 싼거 가성비 모델로 뜬다더라

[익명(125.184)]

나. 3090 128gb로 두개 50기가 네트워크 구축해서 연결하고 nccl로 돌림.. 추론말고 학습은 저 두대로 13b도 벅참. 맥북??? 그걸로 구축??? 오잉~~~!!!!! 하고 간다