[📪정보] FP8로 GPT, 멀티모달 학습 예정

결론:

이 연구에서는 LLM을 위한 8비트 교육을 살펴봅니다.

8비트 집단 통신, 옵티마이저 및 분산 병렬 훈련을 점진적으로 통합하는 새로운 FP8 혼합 정밀도 훈련 프레임워크를 소개합니다.

우리가 아는 한, 이는 FP8 컴퓨팅, 스토리지 및 통신을 대규모 언어모델 훈련의 전체 진행 과정에 침투시키는 첫 번째 작업입니다.

광범위한 실험을 통해 제안된 방법이 다양한 규모의 GPT 모델 훈련 맥락에서 통신 오버헤드를 효과적으로 줄이고 메모리 활용도를 줄이는 것으로 나타났습니다.

향후 작업에서는 FP8 GPT 모델의 크기와 교육 단계를 확장(scale up)하고 8비트 혼합 정밀도 체계를 사용하여 추가로 교육할 계획입니다.

또한 제안된 FP8 방식을 사용하여 다중 모드 대형 모델(multi-modal large models)을 훈련하고

스마트폰과 같은 다양한 에지 장치에서 LLM의 낮은 비트 배포를 탐색합니다 .

(원문)

In this work, we explore 8-bit training for LLMs. We introduce a new FP8 mixed-precision training framework, which incorporates 8-bit collective communication, optimizer, and distributed parallel training in an incremental manner. To our best knowledge, this is the first work infiltrating FP8 compute, storage and communication into the whole progress of large language model training. Extensive experiments demonstrate the proposed method effectively diminishes communication overhead and curtails memory utilization in the context of GPT model training at various scales. In future work, we plan to scale up the size and training steps of the FP8 GPT models and further train them with our 8-bit mixed-precision scheme. Moreover, we will also use the proposed FP8 scheme to train multi-modal large models, and explore low-bit deployment of LLMs on various edge devices, such as smart phones.

[📪정보] FP8로 GPT, 멀티모달 학습 예정

댓글 5

다른 게시글