[📪정보] MS Tutel, MoE 언어모델 학습속도 개선

[익명(125.191)]

https://www.microsoft.com/en-us/research/blog/tutel-an-efficient-mixture-of-experts-implementation-for-large-dnn-model-training/

언어모델 학습 시 A100 x512 GPU에서 40% 성능개선

[익명(211.192)]

오

[익명(211.36)]

학습속도 계선