[일반] 70b q8 돌리려면 램얼마나 먹음?

[익명(125.131)]

Therefore, to comfortably run LLaMA 70B with 8-bit quantization, a system with around 

70-96 GB of VRAM is recommended. 

70b  성능 올라오면 맥스튜디오 하나 사고싶네 ,

[익명(221.141)]

자문자답 뭐냐

[익명(125.131)]

gpt가 답한건데 맞냐?

[익명(1.247)]

당장 필요한거 아니면 맥 스튜디오 m4 나오면 사셈

[익명(125.131)]

거먼피셜 내년중반에 나온다던데

[익명(211.185)]

다음세대 글카 보고 대충 사면 될거 같은데? 4090에서도 대충 양자화 해서 잘 돌림

[익명(125.130)]

H100 2대 구매 ㄱㄱ - dc App

[TS망상(jbo8797)]

4비트로 양자화 하면 저기에 절반

[익명(110.145)]

70+@(컨텍스트 크기에 따라 달라짐)