[📪정보] 1.58 비트넷 저자들 추가 발표

[익명(123.100)]

https://github.com/microsoft/unilm/tree/master/bitnet

마이크로소프트 언어모델 관련 깃허브에 오늘 추가 자료 올라옴

The Era of 1-bit LLMs: Training Tips, Code and FAQ

그리 길지는 않아서 전체적으로 보고 왔음

저자들도 회의적인 반응들이 꽤 있어서 그랬는지,

논문에 'Believing is seeing.' 이라고 박아 놓음

(직접 보면 안 믿을 수 없을 것이다.)

어떻게 학습했는지와 학습 과정에 대한 보다 구체적인 자료, 하이퍼파라미터 등 공개하고

어떻게 파이토치로 구현하는지도 공개함

이번 보고서에서 공개한 그래프

저자들은 1.58 BitNet이 S자형 손실 곡선을 보여준다고 말함

그리고 이 그래프가 이 보고서의 핵심이라고 볼 수도 있는데,

모델 크기가 커지면 커질 수록 전체 정밀도 모델과 학습 손실 차이가 줄어드는 경향을 보여줌

아래는 저자들이 써놓은 FAQ

1. 삼항 {-1, 0, 1} 말고 딴건 왜 안씀?

{-1, 1} : 원래 BitNet b1(저자들의 이전 논문)에서 구현이었는데 성능이 삼항보다 딸렸음

{0, 1} : 최적화가 매우 불안정함

{-2, -1, 0, 1} or {-2, -1, 0, 1, 2}같이 추가적인 비트 사용 : 삼항 {-1, 0, 1}하고 별 차이 없어서 안씀

2. 훈련도 빨라짐?

현재 구현은 여전히 FP16/BF16에 있어서 실험에서 실제 속도 향상은 없음

하지만 대형 모델의 경우 가속화할 수 있는 상당한 기회가 있음

3. BitNet이 더 큰 모델에도 작동함?

"The Era of 1-bit LLMs" 논문에서 공개한 것처럼 완전 정밀도 LLM과 BitNet 1.58 사이의 간격이 모델 크기가 커짐에 따라 작아지는 것을 보여주는 명확한 추세가 있음

이는 BitNet이 더 큰 모델에 더욱 효과적이라는 것을 의미함

오히려 BitNet은 더 큰 모델 크기에서 더 나은 성능을 발휘함

1.58 비트 모델은 더 나은 일반화 기능을 제공하고 과적합이 덜 발생할 수 있음

그리고 아래에 파이토치 기반 구현 코드도 공개했는데, 되게 간단해서 금방 사람들이 실험해볼 듯

이번에도 여전히 저자들의 주장이기는 하나

저자들은 믿음이 굉장히 굳건해보인다.

끗

[익명(w1bxkomq1y2o)]

이것도 빨리 대형모델하나 나와줬음 좋겠네

[MoonChild(aowlr2001)]

오

[익명(119.207)]

이거 결과가 진짜 궁금함

[핵융합발전소(ripe5343)]

[익명(hyeongim264)]

[익명(211.46)]

드디어

[익명(114.204)]

진짜왔냐

[천사다천사(jjtheman999)]

비트넷도 응원함 오픈소스 진영에서 이거 응용해보면 좋겠음 - dc App

[익명(211.212)]

[익명(hence6823)]

[ㅇㅋ(aspect3751)]

게임오바. 싹다구속시켜

[익명(175.120)]

이거로 KLUE 학습 안하려나

[익명(121.128)]

크기가 커지면 효율이 더 좋아질 거다 라고 믿는 거 이거가 걍 ㅈㄴ 키포인트 아닌가 큰 모델 안 돌려봄 ㅇㅇ 이 문제였는데 일방적 주장이긴 해도 오히려 더 좋아질 거임 ㅋㅋ 하는 거 보면

[부패하는유전자!!!(sansss2015)]

와 3떄문에 반신반의 했는데 개굳이다

[익명(59.9)]

모델 크기가 커지면 커질 수록 전체 정밀도 모델과 학습 손실 차이가 줄어드는 경향을 보여줌 쥔쫘에요?

[익명(59.9)]

[익명(1.236)]

중국인들이 쓴 논문이라 영어가 술술읽히네

[딩둘딩(59.12)]

어쩐지 영어인데 존나 잘읽히더라

[디시콘발사대(fcbjsjmu1t9f)]

[oo(119.202)]

비전 모델도 적용이 가능한지 궁금하네요. 특히 ViT 계열이나 MLPMixer 모델은 linear 연산이 대부분인 만큼 적용이 그렇게 힘들지 않을 것 같습니다.

[익명(106.102)]

근데 이렇게 간단한 방식을 지금까지 아무도 못 찾았고 너무 유리한 상황이라 ㅊ1ㅈㄷㅊ 느낌나서 좀 쎄함... 걍 스캠인듯

[익명(121.168)]

득보는인간이없는데 어떻게 스캠임

[익명(106.101)]

쟤네가 득보지 왜 득보는 인간이 없어?

[익명(121.168)]

진짜여야 득을보지 가짜인데 뭔득을봐 ㅋㅋㅋㅋ

[dd(84.170)]

짜치는 답변일수도 있는데, 원래 Transformer 대형 모델은 4bit quantization까지도 큰 손실이 없다는 리포트가 많이 있음 (QLORA에도 4-bit NormalFloat (NF4) LLaMa 실험 자료등을 좀 언급). 파라미터가 워낙 많다보니 스케일을 올릴수록 그걸 다 표현형을 다 쓴다는건 좀 낭비였다는. 근데 생각보다 훨씬 더 내려도 예상보다 손실이 많지 않은가 보네.

[디시콘발사대(fcbjsjmu1t9f)]

그러니 더욱 터무니없는 개념이 아닌 거지 애매했던 현상을 확실하게 정리해준 것이라고 볼 수 있을 듯함

[익명(landofooo)]

오

[익명(116.125)]

이런게 되야 온디바이스 AI가 빨리 성장하는 거임. 로봇에는 필수인데 다행이네

[익명(landofooo)]

ㄹㅇ

[익명(116.124)]

확정이네!

[익명(landofooo)]

[익명(landofooo)]

상당히 괜찮네

[익명(landofooo)]

training loss 말고 validation loss 그래프는 없나?

[익명(168.188)]

validation loss 그래프는 train보다 더럽게 나오긴하지. 어차피 성능은 validation으로 보는거니깐 다른 정밀도 높은 모델들하고 성능차이가 크지 않거나 더 높으면 상관업지. 모델이 커질수록 정밀도 높은 모델과의 loss 차이가 줄어드는 경향이 나오는게 신기하네.

[익명(landofooo)]

쪽똑한 유동.근데 궁금하긴 하다

[익명(220.76)]

한잔해~

[익명(220.76)]

[익명(symphony5198)]

[익명(rechido)]

[익명(119.200)]

일단 구속해

[익명(59.14)]