[일반] 로컬LLM 돌리려는데 견적 확인 부탁드려요...

[익명(203.243)]

제미나이 통해서 확인은 대략 했는데 

견적좀 한번 봐주시면 감사하겠습니다..

[단빗둘이(beast4652)]

메인보드 급이 좀 낮은 거 같기도? - dc App

[글쓴 ㅇㅇ(203.243)]

PCIe 5.0 슬롯만 있으면 충분한줄 알았는데 다시 보겠습니닷

[ㅁㄱㅌㅊ(39.122)]

순수하게 gpu로 llm만 굴릴거면 cpu 5600에 램 16긱으로 내려도 됨

[ㅁㄱㅌㅊ(39.122)]

파워는 leadex vii 쓰샘

[글쓴 ㅇㅇ(203.243)]

넵 이 브랜드로 다시 보겠습니닷

[ㅁㄱㅌㅊ(39.122)]

@글쓴 ㅇㅇ(203.243) 게임이나 기타 작업이나 영상생성ai 돌릴 거 아니고 llm 구동용이면 진짜 낭비 심한 견적이니까 파워 제외하곤 전부 쫙 내려도 됨 pcie도 처음에 모델 vram에 올릴때나 영향주고 dram에 큰 모델들 오프로드해서 굴릴 생각이면 포기하는 게 좋을 거임

[ㅁㄱㅌㅊ(39.122)]

@글쓴 ㅇㅇ(203.243) 아니면 좀 기다렸다가 rtx pro 5000 72gb 나오면 그거 함 봐보샘 pro 6000은 5090 견적에서 넘어가기엔 너무 비싸니까 논외고

[글쓴 ㅇㅇ(203.243)]

@ㅁㄱㅌㅊ(39.122) 아 음성대화랑 화면인식같은것도 고려중이었습니다! rtx pro 5000 72gb 이것도 알아보겠습니다 컴터 쪽은 하나도 몰랐어서 어렵네요;; 감사합니다

[ㅁㄱㅌㅊ(39.122)]

@글쓴 ㅇㅇ(203.243) 사실 런팟으로 어떤 모델을 굴릴지 먼저 정하고 거기에 맞춰서 실제 하드웨어를 사는 게 가장 좋음 저 밑에 괜히 32기가로 로컬 돌릴거냐는 덧글이 달린 게 아님 그래도 음성생성이나 화면인식정도면 어지간한 건 다 되긴 할 거임 다만 llm은 30b정도로 한계가 명확함

[익명(sguyff)]

파워 높이고 메인보드도 650말고 더 높은거로

[글쓴 ㅇㅇ(203.243)]

파워는 어느정도 더 높이면 될까요? 메인보드 확인하겠습니당

[강남백수(barn9008)]

7950을 라이젠 최신 세대로. 빌드할일 있으면 쓰레드와 램은 다다익선

[글쓴 ㅇㅇ(203.243)]

최신이면 9950x 말씀이신거죠? 확인해보겠습니다 감사합니다

[ㅇㅇ 1(1.241)]

vram 32기가로 로컬 llm을 돌리겠다고? ㅋㅋ

[글쓴 ㅇㅇ(203.243)]

아 그냥 개인 가정용으로 돌리려하는데... 혹시 뭐 문제있는 부분이 있을까요?? ;;;

[폼폼_(cheat7794)]

@글쓴 ㅇㅇ(203.243) 저거 맞출 돈으로 SOTA모델 구독으로 10년은 쓸 수 있다는 게 문제지

[ㅇㅇ 2(1.241)]

로컬환경으로 돌리는거 검열 우회하는거 아니면 상용 ai 쓰는게 쌈 ㅋㅋ - dc App

[ㅇㅇ 2(1.241)]

진짜 24시간 풀가동 아니면 상용 쓰셈 - dc App

[ㅁㄱㅌㅊ(39.122)]

글킨 한데 이런 견적 들고오는 거 보면 돈은 딱히 큰 문제가 아닐 것 같애...

[ㅇㅇ 2(1.241)]

그림 생성은 생각보다 지원 덜먿어서 돌아가긴 할틴디 대화하는 모델은 vram ㅈㄴ커서 돌리기 힘듬 다만 사이즈만 되면 5090이라 ㅈㄴ 빠를거임 - dc App

[ㅇㅇ 3(222.237)]

로컬 llm은 맥이 가성비아님?