[일반] 근데 모델이 싸지는 원리가 뭐임?

[익명(disturb9787)]

새로운 아키텍처를 계발해서 모델이 싸지는것도 아니고 데이터센터 늘린다고 싸지는것도 아닌데
저렴하게만드는것도 어려운거 아님?

[익명(39.124)]

경량화

[익명(resident5556)]

그래서 gpt3.5같은건 아예 없애버리고 기존모델 경량화 해서 쓰잖어 - dc App

[익명(resident5556)]

gpu도 계속 전성비 좋아지고 - dc App

[익명(175.206)]

뭐...양자화 같은 기술도 있고, 모델 증류화도 있고... 예전엔 일단 많이 때려넣고 크게 만들어! 였는데, 슬슬 제대로 된 데이터만 집어넣어도 괜찮은데? 로 가는 것 같음. 그럼 엄선된 데이터 있으면 되니까 상대적으로 모델은 작아져도 성능은 비슷하고.