[일반] 로컬에서 9b llm 돌려보거나 fine-tuning 해본 놈 있냐

[익명(59.26)]

아직까지는 9b면 클라우드 모델에 비해 병신같기는 함

[할랄라루와이(overlap4546)]

로컬에서 돌려본 경험은 있는데 파인튜닝은 데이터셋 만들기 귗낳아서 패스함

[글쓴 ㅇㅇ(59.26)]

근데 클라우드 모델에 비하면 병신같기는 함

[익명(118.42)]

3b까진 파인튜닝해봤는데 이것도 48기가 gpu 2개 필요하드라

[글쓴 ㅇㅇ(59.26)]

9b 이상 부터는 threadripper로도 추론까지가 한계고 학습은 무조건 소형 hpc로 넘어가냐