[일반] 3080 2대로 llm 테스트해봄

[콜라조무사(tkatjdrhdghkrnr123)]

이제 2대를 라이저카드로 해서 v램 20기가 됨. 그래서 젬마3 27b q3짜리 돌렸더니 글카 2대로 돌아감.

디퓨전같은건 모르겠지만 일단 llm은 라이저카드여도 v램에 업로드되기만 하면 토큰은 걍 존나빠름.

이제 4대 연결해서 v램 40기가 확보할 예정ㅋㅋ

[ㅇㅇ 1(121.140)]

그냥 맥미니 사는게 더 싸지 않아?

[콜라조무사(tkatjdrhdghkrnr123)]

저는 이 장비가 이미 있으니 일케 쓰는거긴한데 가격은 아마 비슷할거같지만 성능은 이 구성이 넘사죠

[썬갤(tjsrof1324)]

양자화 몇으로

[콜라조무사(tkatjdrhdghkrnr123)]

q3 얘 용량이 15기가라 간당간당 했음