[📪정보] MS, BitNet을 위한 공식 추론 프레임워크 공개

[익명(121.178)]

-bitnet.cpp 공개

-1.58비트 모델을 CPU에서 최적화된 추론을 할 수 있도록 해줌 (GPU 추론은 추후 지원 예정)

-에너지 소비 절약와 큰 속도 향상 달성(더 큰 모델일 수록 효과가 더 커짐)

-100B 모델도 단일 CPU에서 인간이 읽는 속도와 비슷한 속도(초당 5-7 토큰)로 추론이 가능한 수준 (맥북 M2 Ultra 기준)

일반적인 추론 커널(llama.cpp) 대비 추론 효율 향상 (70B에서 5.07배 차이)

*위에서 나온 70B, 100B는 실제 모델은 아니고 추론 효율성을 보여주기 위한 더미 모델

(위 그래프는 애플 M2 Ultra 기준)

x86 CPU(인텔, 암드 같은 일반 CPU)의 경우

13B에서 6.17배의 추론 속도 상승 및 82.2%의 에너지 소모 절감

(위 그래프는 인텔 i7-13700H 기준)

CPU 추론임을 감안하면 GPU 버전 공개도 기대된다

https://github.com/microsoft/BitNet

GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMs

https://github.com/microsoft/BitNet

[익명(dlwo0827)]

씨발 비트넷 부활이야??

[MoonChild(aowlr2001)]

[익명(113.30)]

ㄹㅇ 다 끝났네

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(hyeongim264)]

좆전도체 시발 생각만해도 떨린다 돌둥둥단 특갤 점거한거 떠올리면;; 개새끼들

[람냥(qorwhddlrz)]

[람냥(qorwhddlrz)]

수직 발전을 위한 발판..

[Youchan(mlj85syva4dy)]

싹다 구속시켜

[익명(merge3772)]

[익명(bluewarp)]

[익명(49.246)]

비트넷 아직 살아있군

[익명(39.117)]

이정도면 걍 된다는거 아님? 미쳤다 빨리 가속하자

[TS망상(jbo8797)]

M2 울트라면 그냥 CPU가 아니잔앙.. 물론 이것도 개꿀이건 맞는데

[익명(121.178)]

일반 CPU에서 더 효율적임 (x86 cpu)

[천사다천사(jjtheman999)]

[천사다천사(jjtheman999)]

비트넷 상용화 가즈아아아아아 - dc App

[디시콘발사대(fcbjsjmu1t9f)]

[디시콘발사대(fcbjsjmu1t9f)]

꾸준히 연구하고 있었네 숭배합니다...

[익명(rechido)]

[익명(182.230)]

[익명(hyeongim264)]

[익명(14.7)]

대학원때 1비트 뉴럴넷 연구하다가 가망없어보여서 때려치고 접었는데 되는거였군

[익명(landofooo)]

특붕아고맙다