[일반] 라마3 70b는 돌리기 엄청힘드네

[익명(1.242)]

양자화없이는 택도없고 양자화하면
VRAM 48GB이상이면 올릴수있는데

그래도 초당 10토큰언저리나오노 3090 2장끼워도

황회장 언제 5000번대출시하냐

[익명(115.138)]

양자화 안하고 그대로 돌릴려면 140gb vram 정도는 있어야 잘 돌아간데 즉 일반 셋팅으로는 어림도 없음 - dc App