글카 기준으로 나머지도 맙춘다고 하면 어느정도로 맞춰야함??
sd나 라마3나 자막 생성같은거 한다치면
4060급으로는 모자라려나
베스트는 3090ti
4천번대는 특정버전 파이토치 호환이 안되는 버그가 있음
헉..
무조건 램이 중요함
글카에 달려있는 램
vram 많은게 좋음. 4090 아니면 4070ti super
4090
vram 24기가짜리 아니면 언젠간 후회한다
일단 70B 라마3 돌리려면 램이 36gb인가가 필요하다고 들음. 즉 4090 하나로는 안 됨. 근데 굳이 최신 모델 쓸 거 아니고, 경량화도 쓰고, 앞으로 경량화 될 모델들 쓸 겸. 4090 하나 껴보고 나중에 진짜 욕심 나면 더 끼고 이럼 될 것 같음.
4090 아니면 컴 살필요없음
4090으로 할 거 아니면 허깅페이스에서 챗 사용하는 게 나을지도...
ㅇㅇ - dc App
존나 큰 llm 을 돌리고 싶다 = epyc9654 하나에 메모리 12채널 꽉 넣으면 모델 구동은 그럭저럭 다 됨
엔비디아가 개인용 ai칩 박은 카드 출시한다고 하더라. 급하면 지금 그래픽카드 사는거고.
베스트는 3090ti
4천번대는 특정버전 파이토치 호환이 안되는 버그가 있음
헉..
무조건 램이 중요함
글카에 달려있는 램
vram 많은게 좋음. 4090 아니면 4070ti super
4090
vram 24기가짜리 아니면 언젠간 후회한다
일단 70B 라마3 돌리려면 램이 36gb인가가 필요하다고 들음. 즉 4090 하나로는 안 됨. 근데 굳이 최신 모델 쓸 거 아니고, 경량화도 쓰고, 앞으로 경량화 될 모델들 쓸 겸. 4090 하나 껴보고 나중에 진짜 욕심 나면 더 끼고 이럼 될 것 같음.
4090 아니면 컴 살필요없음
4090으로 할 거 아니면 허깅페이스에서 챗 사용하는 게 나을지도...
ㅇㅇ - dc App
존나 큰 llm 을 돌리고 싶다 = epyc9654 하나에 메모리 12채널 꽉 넣으면 모델 구동은 그럭저럭 다 됨
엔비디아가 개인용 ai칩 박은 카드 출시한다고 하더라. 급하면 지금 그래픽카드 사는거고.