[일반] 3060 12gb정도면 로컬 llm 돌릴 용으로 가성비 있을까?

[익명(27.117)]

훈련용으로 말이야

고민인 게 rtx3060 12gb를 살지 rtx3060ti 8gb를 살지가 망설여지는데

vRAM이 중요할까 아님 성능이 더 좋은 게 LLM 훈련할 때 더 좋을까?

가격은 거기서 거기인데 고민이야, gpt4는 vram 많은 게 더 좋다는데 어떻게 생각해? 

디시인사이드에 글 써음 써봐 이런 곳이 있네

[클립맨드(clubmad)]

gpt4 개인단위 훈련이 가능해?

[익명(27.117)]

llama2나 mixtral같은 오픈소스 llm을 쓸거야! gpt4는 파인튜닝만 할 수 있을거야

[또바킨(xmrqndtla)]

난 VRAM이 중요하다고 봄 근데 뉴스들 보면 비램 대체하는 기술 나온다던데

[Bqbq(bumkyu00)]

무조건 vram이고... 겨우 12gb로 훈련할 생각은 안 하는게 좋음. 이런건 아카라이브 로컬모델 채널에 정보 더 많음 - dc App

[익명(27.117)]

알려줘서 고마워!

[익명(119.207)]

4090조차도 훈련은 커녕 추론만으로도 허덕이는데 3060이라니 그건 아니지

[천사다천사(jjtheman999)]

3060으로는 로컬 그림도 겨우 돌린다 ㅠㅠ