[일반] 연구실 컴퓨터 사양 봐주세요 형들

[익명(223.195)]

현재 Titan XP 4장 서버컴 한대, RTX 6000A 3장 서버컴 한대, 이번에 새로 들여오는게 h100 한장 서버컴퓨터인데
로컬로 120b-oss 구동하려고하면 어느정도 사양에서 구동해야할까요? 전부 우분투 기반입니다.
저장공간은 10T, 메모리는 512G 로 동일합니다

[강남백수(barn9008)]

h100

[강남백수(barn9008)]

ada 3장도 당연히 됨

[6ixGod(billion6666)]

H100 80GB 한 장이면 120B-OSS를 단일 GPU로 안정적으로 구동 가능하며, RTX 6000 Ada 3장은 샤딩으로 구동 가능하지만 NVLink가 없어 속도가 떨어집니다. Titan Xp 4장은 VRAM이 부족해 사실상 불가능하고, 취미 실험 수준만 가능합니다.