[일반] 라마돌릴때는 맥북이가성비라던데

[익명(175.209)]

8B야 4비트양자화하면 적당한글카로도 돌아가지만

70B는 생으로돌리려면 vram 100gb넘고 ㅈㄴ느리고

4비트양자화하면 글카2장끼워서 vram 48gb로 올리는것도되는데
ㅈㄴ느리다더라

근데 맥북쓰면 메모리가통합되있기때문에
70b를 전부 올릴수있어서 개빠르다고함

A100 80GB껴도 느린걸
맥북은 ㅈㄴ빠르다더라

단다른사람에게 api로제공하려면 a100여러장껴야함
그게아닌이상 혼자쓰려면 현재 맥북이 가성비

[익명(218.50)]

ai 개발 라이브러리는 맥에서 돌아가는지부터 고민해야되 엌ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

[익명(218.147)]

맥은 메모리가 cpu안에 들어있어서 ddr5대비 메모리 속도가 5배 이상이던데

[Tnk(a1778untethered)]

라마3 phi3처럼 계속 경량화되면 애플 날먹 가속시키는거임