[📪정보] 1.58-bit Flux.1 dev 소개

[익명(121.178)]

*참고사항:

-1.58Bitnet은 처음부터 학습을 1.58 비트로 한 것과 달리, 해당 연구는 이미 만들어져있는 모델을 1.58 비트로 사후 최적화한 것으로 보임(다만 직접적인 영감을 받은 듯 인용 존재)

성과:

-모델 가중치 용량 7.7배 절감

-필요한 Vram 5배 이상 절감

-약간의 추론 속도 증가(최대 15%)

-벤치마크상으로 Flux.1 dev와 동일한 점수

한계점 및 미래 작업:

-원본 모델에 비해 디테일한 표현이 고해상도에서 약간 떨어짐

-추론 속도 최적화 부족(activation 양자화 및 전용 GPU 커널 최적화가 더 필요함)

두 가지 한계점 극복하기위해 미래 작업 예정

- dc official App

[익명(114.200)]

캬 비트넷이 이미지까지

[익명(210.91)]

경량화 ㄱㅈㅇ

[익명(115.143)]

난 더 좋아보이네

[익명(121.178)]

https://arxiv.org/html/2412.18653v1

[Borazine(player4081)]

[아스타리온(attempt1316)]

[천사다천사(jjtheman999)]

로컬 붐이 더 가까워진다!! - dc App

[라ㅜ(210.97)]

추론속도가 15퍼밖에 증가 안한건 좀 아쉽네 1.58 bit llm은 꽤 빠르지 않았나?

[익명(landofooo)]

경량화갑