gemma4ㅇㅇ
gemma3도 다국어 성능은 로컬 중에 제일 좋아서 아예 번역용으로 파인튜닝한 버전(translategemma) 쓰면 27b 기준 잼민이 플래시 라이트 ~ 플래시 급은 나온다는 말이 있음.
물론 로컬 llm 모델의 마지노선인 27b 모델도 쌩으로 돌리려면 램 넉넉한 맥미니에 올려서 초당 5토큰씩 뱉거나, 최소 3090급 gpu에 저비트 양자화한 qat 모델 올려서 써야 함...
gemma4ㅇㅇ
gemma3도 다국어 성능은 로컬 중에 제일 좋아서 아예 번역용으로 파인튜닝한 버전(translategemma) 쓰면 27b 기준 잼민이 플래시 라이트 ~ 플래시 급은 나온다는 말이 있음.
물론 로컬 llm 모델의 마지노선인 27b 모델도 쌩으로 돌리려면 램 넉넉한 맥미니에 올려서 초당 5토큰씩 뱉거나, 최소 3090급 gpu에 저비트 양자화한 qat 모델 올려서 써야 함...
지금 qwen으로 학습 돌리던거 끄고 이거 대기중