[일반] 근데 맥 통합메모리랑 ram 오프로딩이랑 차이 많이남?

[댕댕충(nyannyanchung)]

lmstudio 같은거 쓰면 큰 모델도 일부 램으로 오프로딩해서 쓸수있던데 속도 차이많이나나

[ㅇㅇ 1(59.6)]

윈도우기준 너가원하는 크기의 모델을 램로딩하면 1tok/s 나오면 잘나오는거, 맥은 통합이라 상대적으로 잘나오는데 이것도 일반 워크스테이션용 gpu대비 메모리 대역폭이 낮아서 m2ultra 이상 쓰지않을꺼면 100B+ 돌리면 5tok/s 나오고 그럼 맥미니에서 30B이상 쓰기 어려운 이유임 대역폭이 낮음

[ㅇㅇ 2(183.107)]

통합메모리 구조(맥, AI Max 395+ 같은)는 메모리 대역폭을 그대로 iGPU에서 활용할 수 있음 (대략 200-250gb/s)근데 그런 통합구조가 아닌 경우는 메모리 대역폭이 높아도 GPU는 Pcie로 연결된 구조기때문에 pcie 대역폭에 묶임 (4.0 16배속 기준 대략 31.5gb/s) 따라서 대역폭이 중요한 작업 (prefill 같은)에서는 차이가 큼

[댕댕충(nyannyanchung)]

생각보다 차이많이나나보넹