fp16기준이면 둔화되고있지만
현재 llm훈련,추론 트렌드가
fp16에서 fp8로 넘어가는추세고(성능저하없이)
fp4논문도 나왔고..(그랬으니 엔당도 fp4코어탑재한거고)
실질적으로는 엔당이 제시한 표대로 성능체감이 있을거임
(물론 fp4훈련,추론방식이 제대로 적용된다는 가정하에)
fp16기준이면 둔화되고있지만
현재 llm훈련,추론 트렌드가
fp16에서 fp8로 넘어가는추세고(성능저하없이)
fp4논문도 나왔고..(그랬으니 엔당도 fp4코어탑재한거고)
실질적으로는 엔당이 제시한 표대로 성능체감이 있을거임
(물론 fp4훈련,추론방식이 제대로 적용된다는 가정하에)
그거라도 됬으면함 ㅜ