[일반] 그럼 노오력하면 48긱 모델이 로컬에서 된다는 소리인데

[ㅁㄹ(clflush)]

문문...

근데 이쪽으로 아는게 1도 없어서 손 댈 엄두가 안 나네요

콤피타로 할줄아는건 갤질말고 업는

[볼빨간사상기(redflavor7)]

저 성능이면 짤뽑기에는 넘 아까운 레벨이고 LLM도 젤 작은거 말고도 되긴 할텐데

[ㅁㄹ(clflush)]

팔콘 7b로 로컬에서 해보긴 했는데 학습이나 튜닝은 손 놓은데스

[볼빨간사상기(redflavor7)]

학습은 너무 자원이 많이 필요한데스

[ㅁㄹ(clflush)]

근데 튜닝이라도 어케 해야 어디 써먹을 수 있지 않을까요 음

[볼빨간사상기(redflavor7)]

QLoRA로 하면 걍 적당한 GPU 한장으로도 파인튜닝 어느정도 되긴 하던데, 아직 한국어로는 영 아니라서

[ㅁㄹ(clflush)]

머 환경 생긴 김에 쪼끔 찍먹이라도 해봐야겠다 싶은데 아는게 넘 없네요 쩝

[토오오오오카(hhhmmm98)]

https://arca.live/b/alpaca

[ㅁㄹ(clflush)]