https://www.reddit.com/r/MachineLearning/comments/1cb3ge1/d_how_to_and_deploy_llama_3_into_production_and/디스크 16GBVRAM 20GB내가 컴알못이라 그런데 어떤 글카가 필요해?그리고 저런 컴터면 얼마면 돼? (본체만)
V램 20기가짜리 글카가 있나?ㄷㄷ
4090
ㄴ 대충 글카만 300만원이네
ㄴ 외장형은 310만원
7900xt가 비램 20기가네 근데 암드여도 됨??
그건 8b 버전이고 70b는 160gb vram 필요하다 함 ㅋㅋㅋ 현실적으로 거의 불가능
양자화 하면 35gb정도라서 4090 2대 정도면 돌린다는 카더라는 보긴 했는데, 당연히 넘겨버림 ^오^
젤 꾸진라마면 4090하나고 더 좋은 라마면 못돌림
뭘 할건데? 그냥 가지고 놀 거면 굳이 FP16으로 돌릴 필요가 있나?