[일반] o3 미니 수준의 오픈웨이트라고 해도 가정용 그래픽카드론 못 돌리는거지?

[A.I.(sugary6707)]

돌릴수만 있다면 5090 두대까진 투자할 생각 있는데

- dc official App

[익명(211.49)]

비램 64기가면 될지도?

[데미스하사비스(power2345)]

그돈이면 pro 6000이 더 좋을지도

[ㅇㅇ 1(119.70)]

쿼드로 96기가짜리가 1200만원하지 않나

[ㅇㅇ 2(121.158)]

요즘 경량화도 잘 되고 있긴해서, 발표하는 거 보긴 해야할 듯. 물론 추론모델을 양자화없이 로컬에서 돌릴 수 있을 것 같진 않지만