[일반] ai용 컴 맞추고싶은데

[익명(222.108)]

글카기준으로 최소 어느정도 라인으로 가야하나여?
4060-4060ti봤는데 그걸론 안된다길래ㅠ

[익명(115.138)]

4090으로도 하나 가지고는 부족함 나중에 50 시리즈를 기다려라

[익명(115.138)]

보통 다들 3090 같은거 중고로 두개 업어와서 연결해서 쓰던가 한데 지금 사기엔 돈 아깝지.. 앞으로 나올 것들은 ai 최적화될텐데 기다리는게 답임 다음 애플 칩도 ai 최적화될거고

[익명(222.108)]

4090으로도 부족하다는게 어떤 작업할 때 부족한건지 알 수 있을까연 뭐 라마3 70b 돌링 때라던가 그럴 때 말하는건지 궁금

[익명(115.138)]

이게 vram이 중요한데 아마 4090이 보통 24인걸로 아는데 이걸론 양자화 버전이 아닌 이상 8b 사이즈 정도나 수월하게 돌리고 그 이상급은 존나 느릴거임

[익명(222.108)]

8b돌리는 것도 90라인이라니 ㄷㄷ 감사합니다

[익명(115.138)]

8b는 그 아래도 할수 있는데 4090 사도 그 다음 체급은 무리라는거... 앞으로 나올 모든 기기들은 이런거 다 노리고 최적화될테니 기다리는게 좋아

[익명(222.108)]

넴 ㅠ

[익명(175.206)]

4090으로 70B 라마3 못 돌린다고 들음. 35gb 필요하다던데. 그리고, 입문이라면 훨씬 작은 모델들 써보고, 튜닝도 해보고 이것저것 해도 전혀 문제 없다고 봄. 윗댓 말처럼 앞으로 경량화도 되면 더 작은 GPU로도 돌릴 수 있을 '수도' 있고