[📪정보] FP4 훈련도 곧 공개예정ㄷㄷ

[핑크게이(tldls1031)]

FP8 학습 논문 저자인데

FP4도 출시할거네ㄷㄷ

스케일업 어마어마할 듯

- dc official App

[익명(211.59)]

저게 마소 논문이었나 엄청나네

[MoonChild(aowlr2001)]

[ㅇㅊ(cleep00001)]

[익명(ohoh1216)]

이 디시콘 ㅈㄴ 맘에 안 드네

[익명(175.206)]

최근에 공부하면서 mixed precision이랑 양자화랑 대충 보면서...사람들 머리 참 좋네. 그래도 16까진 줄였구나. 했는데 무슨 8을 다 하고 4를......

[디시콘발사대(fcbjsjmu1t9f)]

[부패하는유전자!!!(sansss2015)]

남은 시간을 즐기세요

[익명(58.231)]

이거 모델크기 늘리는거랑 관계 없음 그냥 압축시켜서 사이즈 작게 만드는거임 그만큼 정확도도 떨어짐 - dc App

[익명(222.108)]

그건 학습된 모델에 양자화 적용하는거고 이 논문은 mixed precision training 논문임 학습 효율 ,메모리 효율성이 올라가서 스케일에 직결됨

[익명(58.231)]

손실을 최소화하는거지 성능을 온전히하면서 모델을 키우진 않음 - dc App

[익명(222.108)]

논문 저자들부터가 스케일 높이려고 고안했다고 말하는 테크닉임 mixed precision training fp16, bf16으로 쓸 때 성능하락 거의 없다는건 이미 밝혀져서 안쓰는 모델들이 없고 그걸 fp8까지 가능하게 확장시킨 것 뿐임

[익명(hangulnick0)]