[📪정보] scaling만큼 성장하고 있는 분야

[익명(219.249)]

distillation

mmlu 60퍼를 달성할수있는 모델 크기가 2년동안 97.5퍼센트 압축됨

- dc official App

[익명(118.220)]

로컬붐은온다

[은바다(nmra3fmzhxmg)]

[익명(14.38)]

이거거든

[포스트휴먼.(ysoo75430)]

[익명(59.9)]

[YorushiKanyewest(yorushika12)]

97.5퍼 압축이면 40분의 1 크기네 ㅋㅋㅋㅋㅋㅋ

[부패하는유전자!!!(sansss2015)]

싹 다 압축시켜

[익명(180.230)]

지수곡선 너무 아름답다

[익명(118.221)]

저게 뭔지 설명해줄 특붕이있노..

[익명(182.230)]

https://velog.io/@qtly_u/%EB%AA%A8%EB%8D%B8-%EA%B2%BD%EB%9F%89%ED%99%94-%EA%B8%B0%EB%B2%95-Knowledge-Distillation

[익명(175.193)]

큰 모델의 결과물을 거의 손실 없이 작은 모델로 압축하는걸 지식 증류 (knowledge distillation)라고 함. 스케일링이 지금까지 잘 먹혔지만, 꼭 좋은 성능을 내는데에 스케일이 필요한건 아니라는 반증임.

[익명(222.111)]

스케일로 길을 뚫고 그걸 최적화하고 이게 계속적으로 반복될듯