[📪정보] 5090 한대 가격으로 딥식R1 671B 로컬실행한 양덕햄ㄷㄷ

[익명(landofooo)]

2000달러 AMD EPYC 서버로 초대형 AI 모델 Deepseek R1 671B 로컬 실행 성공

엔비디아 GPU 없이 CPU 기반 추론 시스템 구축

최근 2,000달러 예산으로 AMD EPYC 서버를 활용해 671B 파라미터 규모의 Deepseek R1 모델을 로컬에서 구동하는 방법이 공개됐다. 이 시스템은 64코어 EPYC 7702 CPU와 512GB DDR4 ECC RAM을 기반으로 Ollama 프레임워크와 OpenWebUI 인터페이스를 결합해 4.25 TPS(초당 토큰 처리량)의 성능을 달성했다.

핵심 하드웨어 구성

- CPU: 64코어 AMD EPYC 7702(3.35GHz 부스트 클럭)

- 메모리: 512GB DDR4-2400 ECC RAM(16x32GB)

- 스토리지: 1TB 삼성 980 Pro NVMe SSD

- 전원: 850W 80PLUS 골드(CPU 전용 구성 시)

서버 조립 비용은 메모리 속도와 CPU 선택에 따라 2,000~2,750달러 사이로 책정됐으며, RAM 쿨링을 위해 80mm 팬 4개로 구성된 커스텀 냉각 시스템을 추가로 설치했다.

소프트웨어 설정 프로세스

    1.    우분투 24.04 LTS 베어메탈 설치 후 BIOS 설정 최적화(NPS=1, SMT=OFF)

    2.    Ollama 설치 및 시스템 환경 변수 설정(OLLAMA_NUM_PARALLEL=62)

    3.    도커 기반 OpenWebUI 구축을 통해 웹 인터페이스 연동

    4.    400GB 용량의 Deepseek-R1:671b 모델 다운로드 및 추론 테스트

성능 및 활용 방안

24K 컨텍스트 윈도우 환경에서 안정적인 3.5~4.25 TPS 성능을 보였으며, GPU 없이 순수 CPU 연산만으로도 비전 모델 병행 실행이 가능한 것으로 확인됐다. 작성자는 향후 llama.cpp와 vLLM 연동 가이드를 추가로 공개할 예정이라고 밝혔다.

“분류 모델과 달리 완전한 사이즈의 LLM을 로컬에서 구동하는 것은 실제 사용 경험에 있어 결정적 차이를 만듭니다” - 시스템 개발자

 

3줄 요약

 1.2000달러 AMD EPYC 서버로 671B 규모 AI 모델 로컬 실행 성공

 2.Ollama+OpenWebUI 조합으로 CPU 기반 4.25 TPS 성능 구현

 3.대용량 메모리와 맞춤형 BIOS 설정이 성공 핵심 요소로 작용  

https://digitalspaceport.com/how-to-run-deepseek-r1-671b-fully-locally-on-2000-epyc-rig/

황가놈 이 미친새끼. 싹다 구속시켜.

[ㅇㅇㅇㅇㅇ(lsh0320jpgpw)]

근데 r1 제로는 파라미터 얼마지

[아스타리온(attempt1316)]

[천사다천사(jjtheman999)]

개고수 ㄷㄷ - dc App

[익명(stroke0694)]

심지어 ddr4네 ddr5도 아니고

[A.I.(sugary6707)]

와 저게 가능함? - dc App

[익명(landofooo)]

집에 랙 마련해둔 사람이긴 하더라 보통사람은 아님 ㅋㅋ

[익명(sushi6522)]

아파트에 두면 집 무너지겠노 ㄷㄷ 애초에 냉각팬 소음때문에 쫓겨날 것 같지만

[익명(landofooo)]

한국에선 불가능할듯 미국이니까 아파트형태 아닐ㄸ여야 가능한거 같음

[익명(175.118)]

미국인들 보통 단독주택이잖아

[익명(landofooo)]

ㅇㅇ 그러니까 가능한듯 전력도 공짜면 돈도 덜들테고

[ASI교총대주교좌석좌주교(7i3eogmeun4l7)]

몇 tik/s 내옴

[익명(landofooo)]

4.25 tps

[ㅁㄴㅇ(121.162)]

시발 전기세 얼마나오려나

[아리스(type6409)]

조온나게 느리더리

[보추사랑꾼(dodomaen)]

실행력이 돌았네 ㅋㅋ

[익명(121.143)]

메모리 512GB ㅋㅋ

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(121.190)]

초당 4토큰이 그렇게 답답할정도로 느림? 물론 토큰이랑 단어가 일대일 대응되진 않지만 사람이 읽는 단어수가 초당 4개정도라 영어 기준으론 나름 쓸만한거아닌가

[익명(121.179)]

2000달러면 해볼만한거 아냐? - dc App

[냥쓰(kalstein)]

20 밑으로내려가면 갑갑함이 느껴집니다. lm studio로 오픈모델돌려보시면 속도나와요. cpu로딩이면 10b모델만해도 한자리수 속도나올듯 - dc App

[익명(conceive2774)]

H100 200 맥 빼고 선택지가 또 나왔네 - dc App

[익명(220.65)]

실행 되기야 하겟지