제 책상에서 Kimi K2.5를 실행 중입니다.
@exolabs
/ MLX 백엔드를 사용하여 Thunderbolt 5 (RDMA)로 연결된 2 x 512GB M3 Ultra Mac Studios에서 24 tok/sec의 속도로 실행됩니다.
네, 클로드봇을 실행할 수 있습니다.
무식해서 모르겠는데 로컬로 구축했다 이거여?
제 책상에서 Kimi K2.5를 실행 중입니다.
@exolabs
/ MLX 백엔드를 사용하여 Thunderbolt 5 (RDMA)로 연결된 2 x 512GB M3 Ultra Mac Studios에서 24 tok/sec의 속도로 실행됩니다.
네, 클로드봇을 실행할 수 있습니다.
무식해서 모르겠는데 로컬로 구축했다 이거여?
ㅇㅇ 로컬로 키미2.5 쓴다는거고 맥스튜디오 두대를 썬더볼트5로 연결해서 사용가능하다 이거임 - dc App
ㅇㅇ 대충 3천만원으로 돌린다는뜻
로컬인데 3천만원은 무슨뜻임? - dc App
@ㅇㅇ 512gb m3 울트라는 조상님이 줌?