[📪정보] 그저께 나온 논문 대박이네

[익명(222.108)]

1. 간략하게 설명하면

기존에 혼합정밀도 훈련이라고 학습할 때

FP32가 아니라 좀 더 저정밀도 FP16, BF16 형식으로 학습하면 메모리 효율성이랑 학습 속도가 많이 개선됐었는데

이번에 H100 나오면서 FP8 학습이 가능해졌고 마소에서 처음으로 LLM에 FP8을 적용해본 결과 논문임

*기존 모델들은 대부분 fp32 or fp16 or bf16으로 학습됨

그래프 보면 알 수 있듯 같은 128개 GPU로 모델 사이즈를 2.5배 이상 스케일을 높일 수 있음

여러 가지 기법들도 새로 도입해서 BF16 대비 성능 저하 전혀 없음

2. Introduction 보고 잘 못 읽은 줄 알았는데 갑자기 초지능 얘기가 나옴

"This motivates the needs of reducing the training costs of LLMs, especially for the scaling of next-generation super-intelligent models."

"이는 특히 차세대 초지능 모델의 확장을 위해 LLM의 교육 비용을 절감해야 할 필요성을 불러일으킵니다."

내 눈이 잘못 된 줄 알았네; 대기업 논문에서 초지능 언급이 나온걸 보는건 처음임

3. BF16, FP16 -> FP8 로 바꿨을 때 얻는 이점들 :

이론적으로 FP8 은 현재의 16비트 및 32비트 부동 소수점 혼합 정밀도 훈련에 비해 2배 속도 향상,

50% - 75% 메모리 비용 절감,

50% - 75% 통신 절감을 달성할 수 있으며 이는 확장에 매우 유망합니다.

4. 그리고 나도 읽으면서 '어... 이 원리면 비트수 더 낮춰서도 가능한거 아닌가?' 생각했는데

실제 논문에서도

"우리는 이 작업이 FP8에 대한 향후 연구를 촉진하고

잠재적으로 4비트 및 1비트와 같은 더 낮은 정밀도 교육을 탐색하는 데까지 확장될 수 있기를 바랍니다."

라고 언급함

1비트로 정확도 손실 없이 학습이 가능해지면 앞으로 스케일업 여지는 어마어마하다...

여기에 플래시 어텐션같은 기법들 얹히면 100배 큰 모델 학습시키는게 전혀 불가능해 보이지 않음

[익명(14.38)]

점점 좋아지겠네

[익명(9nqybaaxqu2y)]

이쯤되면 좋은소식이 너무 많이 쌓여서 망하는게 이상한 수준이다 - dc App

[익명(dlwo0827)]

씨발 싼다

[익명(121.135)]

이거쓰면 지피티4 요금인하가능?

[익명(222.108)]

이건 training에 대한거라서 조금 다르긴함 추론쪽도 근데 양자화나 경량화 방법들 많이 나오고 있으니 내부적으로 노력하고 있을듯

[익명(121.135)]

ㄱㅅㄱㅅ

[MoonChild(aowlr2001)]

[샤카(qkzrr8es7ejf)]

그 '여러가지 기법' 이 뭐임? f16에 비해 성능 저하 전혀 없다는게 말만 들어선 믿기 어려운데

[익명(222.108)]

FP8을 사용한 LLM 교육은 쉽지 않습니다. 문제는 데이터 언더플로우 또는 오버플로우와 같은 문제와 FP8 데이터 형식에 내재 된 더 좁은 동적 범위 및 감소된 정밀도로 인해 발생하는 양자화 오류에서 비롯 됩니다. 이러한 문제로 인해 훈련 과정 전반에 걸쳐 수치적 불안정성과 돌이킬 수 없는 차이가 발생합니다. 이를 해결하기 위해 우리는 중요한 정보의 손실을 방지하기 위한 정 밀 디커플링 과 자동 스케일링 이라는 두 가지 기술을 제안합니다.

[익명(222.108)]

전자에는 가중치, 기울기, 최적화 상태와 같은 매개변수에 대 한 데이터 정밀도의 영향을 분리하고 정밀도에 민감하지 않은 구성 요소에 감소된 정밀도를 할당하는 작업이 포함됩니다. 후자 는 텐서 스케일링 인자의 동적 조정을 통해 FP8 데이터 형식의 표현 범위 내에서 기울기 값을 보존함으로써 올리듀스 통신 중 에 언더플로우 및 오버플로우 발생을 완화하는 것입니다.

[익명(222.108)]

자세한건 직접보고

[샤카(qkzrr8es7ejf)]

읽어봤고 전혀 없다는건 아닌거같음 근데 유의미한 테크닉이긴 하네

[부패하는유전자!!!(sansss2015)]

발전너무빨라나무서워

[부패하는유전자!!!(sansss2015)]

[익명(873dvejis77)]

대기업연구들 요즘 진짜 필살기는 공개도 안한다던데, 공개되는 논문도 이정도면 내부엔 어떤 일이 일어나는 거지....

[익명(222.108)]

나도 비슷한 생각임 공개한게 이거면 내부적으로는 더 발전돼있다고 봐야될듯

[디시콘발사대(fcbjsjmu1t9f)]

[보수의거인(2000an)]

[익명(99999999999n)]

[익명(kanal)]

온다.

[익명(mims32)]

옛날에 구글 tpu가 8비트 정수만 가지고 하지 않았냐 - dc App

[익명(rechido)]

[익명(114.71)]

next generation이라한거보면 걍 현재 gpt4 palm같은 거대 모델의 다음세대를 의미하는거같긴함 - dc App

[익명(61.255)]

아님

[익명(211.58)]

싹 다

[익명(landofooo)]

플해시 어텡션글 써줘

[익명(amazonia)]

ㅎㄷㄷ