[일반] 딥시크는 로컬 AI계의 신이였지

[익명(brave2088)]

근데 그 타이틀마저도 gpt-oss 120b에게 따잇당함

[익명(winning7349)]

4090 한개로는 못굴리나

[익명(211.195)]

오픈소스 풀사이즈 모델을 한개로 굴리고 싶으면 rtx 6000사야함

[익명(explore7668)]

@ㅇㅇ(211.195) vram으로는 4090 4개가 rtx 6000 pro랑 같긴 한데, 96기가 vram으로 120b 제대로 구동은 어려움

[익명(winning7349)]

@ㅇㅇ 맥 스튜디오 128GB 램 같은게 가격대비 최선이겟내 맥은 시스템램 VRAM 통합이라 ㅋㅋ 속도는 존나 느리겠지만

[익명(explore7668)]

@ㅇㅇ 맥 스튜디오 사면 토큰 생성속도 좆망이고 따로 설정하기도 개인이 하긴 귀찮아보이던데 3090 중고라도 잘 알아보는게 그나마 개인 장난감 수준에서는 해볼만한데 램값이 터졌네?

[익명(211.195)]

@ㅇㅇ 어케 양자화 해서 돌리긴 하던데 개인한테 풀사이즈 llm 로컬은 너무 비효율적

[아부하자르(leak0655)]

괜찮은 로컬 돌리려면 최소 DGX는 있어야 하는거 아닌가

[익명(brave2088)]

그건 글킨함