[📪정보] FP8 논문 이 그래프 주목할만할듯

[익명(222.108)]

An analysis of comparing the maximum model sizes attainable through the utilization of either the prevalent BF16 or our FP8 mixed-precision training approach on a cluster of Nvidia H100 GPUs with 80G memory. (원문)

 

80G 메모리가 장착된 엔비디아 H100 GPU 클러스터에서 널리 사용되는

BF16 또는 유니티의 FP8 혼합 정밀도 훈련 방식을 사용하여 얻을 수 있는 최대 모델 크기를 비교한 분석 결과입니다. (번역)

H100 80G 사용할 때 GPU 갯수별 최대 모델 크기를 분석한거라고 마이크로소프트 논문에 나온건데

눈대중으로 봤을 때

8개 - 50B

16개 - 110B

32개 - 280B

64개 - 600B

128개 - 1050B = 1.05T (1조 이상)

이렇게 최대 모델 크기를 가질 수 있다는건데

그럼 H100 1만개면 진짜 파라미터 100조개 비비겠는데?

저게 자체적으로 진짜 실험을 한건지 이론적인 수치인지는 제대로 안나와있는데

마소에서 저런 표를 괜히 만들었을리는 없고

GPT-5 진짜 100조개 될 수도 있을듯?

[익명(211.59)]

다리오가 파라미터 100조개는 가능해도 천조개는 안될거라 했는데 기대되네

[익명(873dvejis77)]

오

[익명(14.6)]

근데 양자화 성능저하문제는 어떻게 해결한다는 방법이없네 4비트양자화만해도 성능저하체감좆되긴하는데

[익명(222.108)]

이 논문은 mixed precision training 논문이라서 기존 양자화랑 좀 다름 그리고 성능 저하 최소화할 수 있는 방법도 논문에서 고안한거고

[디시콘발사대(fcbjsjmu1t9f)]

[부패하는유전자!!!(sansss2015)]

끼얏호우!

[익명(landofooo)]

siuuuu