보통 저런 논문하고 소스가 공개되면 그 다음날 허깅페이스에 1비트 짜리 LLM 우루루 쏟아진다.
근데 몇일이 지났는데도 아직도 안나온다는건 지금 저걸 아무도 이해 못했다는거임.
보통 양자화하면 성능이 엄청 떨어짐. 1비트 LLM이 성능저하가 없다는건 한마디로 개 사기임.
유수의 천재들이 개발하는 LLM 오픈소스 개발자조차 이해를 못하고 있는데 이걸 사람이 1년도 안되서 만들었다는게 이해가 안됨.
애초에 LLM 양자화 개념이 나온지 1년도 안됨.
그건좀
논문을 시발 읽긴 했냐 현재 컴퓨팅 구조로는 효율이 존나 떨어지고 새로운 하드웨어가 나와야 가치가 생기는 기술이라고 그리고 양자화는 훈련이 다 된 모델에 딸깍하는거고 비트넷은 애초에 하이퍼파라미터를 완전히 수정해서 재훈련 하는건데 두개 구분도 못함?
이해를 못한다고 보기엔 이미 너무 예전부터 개같이 돌려진.. XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1 둘다 2016년 논문이고 위의 논문은 들어가서 메인 그림 하나 보면 지금 BitNet이 그냥 베꼈네 수준으로 방법이 그냥 동일함. 필요 Memory가 1GB에서 17MB로 찍혀있을 정도로 정말 놀라운 논문인데, 왜 실생활 Application에서 XNOR이니 BinaryNet이니 하는 언급이 하나도 없을까?
https://github.com/kyegomez/BitNet/issues/7
BitNet 이슈에서도 달려있듯이 1bit-tensor 연산은 현재 지원하는 하드웨어/소프트웨어 (적어도 현재 범용 torch,tensorflow)가 없다. 이러면 아예 custom cuda kernel을 써야 되는데, 분명 성능표를 냈으니 뭔가를 했겠지. 근데 현재 거기에 대한 구현이나 해설서가 전무함.