[일반] 비트넷이 간단히 말하면 뭐임?

[익명(pardon1653)]

뭔지 찾아보려고 해도 이상한것만 주구장창 나오는데

[익명(121.144)]

비트는거

[디시콘발사대(fcbjsjmu1t9f)]

[익명(indeed0357)]

https://velog.io/@hyominsta/The-Era-of-1-bit-LLMs-All-Large-Language-Models-are-in-1.58-bits.-%EB%85%BC%EB%AC%B8-%EA%B3%B5%EB%B6%80

[익명(resident5556)]

대충은 알긴 하는데 전공자가 아니라서..말하기가 좀 그럼 gpt한테 설명해달라고해 잘 설명해줌 - dc App

[익명(175.206)]

틀릴 순 있는데 간단히 말하면 지금 딥러닝의 학습 방식은 사실 학습한 정보를 수십억개의 숫자에 일일히 조금씩 수정하면서 업데이트 하는 거임. 예를 들어서 10 -> 11.2 -> 13.2131 뭐 이런 식으로 업데이트 하는 거. 그리고 이 업데이트는 사칙연산을 통해서 할 수 있음(이게 역.전파. 그래서 제프리 힌튼 만세인거임) 추가로 이걸 효율적으로 잘 하는 컴퓨터 부품이 GPU라서 지금 엔비디아 주가가 저렇다고 보면 됨. 근데 비트넷이 말하는 건 이거임. 저런 수십억개의 숫자를 지금처럼 디테일한 숫자가 아니라 0 -1 1 이렇게만 표현하는 건 어떻냐는 거지. 그럼 가볍게 생각하면, 디테일하게 저장하던 정보가 매우 단순해지니까 성능이 떨어지겠지. 비슷한 방식으로 양자화라는 기술도 있긴 함.

[익명(175.206)]

양자화는...무식하게 말하면, 전에 100자리 숫자로 저장하던 걸 50자리로 제한하는 거랑 비슷함. 어쨌든 경량화 기술인데 성능 떨어짐. 이걸 0 -1 1 로 제한하면 어떻게 되겠음. 당연한 결과.....가 아니라 이게 왜 잘 됨???? 성능이 별로 안 떨어진다고 함. 이유는 몰름. 그리고 작은 모델은 큰 효과 없는데 모델이 클수록 효과가 컸다고 함. 자 이게 그럼 왜 중요하냐면, 기존엔 사칙연산을 해야 하니까 이걸 제일 잘 하는 GPU를 썼던건데, 0 -1 1 만으로 숫자를 쓰면 사칙연산이 아니라 덧셈(뺄셈) 만으로도 가능함. GPU 일변도에서 벗어날 수도 있고, 매우 단순하게 설계하는 것도 가능. 모델 크기도 줄어들거고. 추론 비용도 당연히 압도적으로 낮아짐. 그래서 그동안 특갤에서도 관심 가졌음.

[익명(175.206)]

근데 문제는, 앞서 말했듯 모델이 클수록 효과가 있었는데 큰 모델이면 비용도 비용이라, 대기업 아니면 도와줄 수도 없음. 그래서 한동안 뭔가 있긴한데 확인이 안 되던 거였는데, 조금 성과가 나오고 있다는 거 같음. 물론, 더욱 더 큰 모델에서 뭐 잘 안 되거나 치명적인 단점이 있거나, 최근 모델들의 기술이랑 안 맞거나 할 수 있겠지만. 일단 된다면 지금 전력난이니, 추론 비용 때문에 openAI가 적자니, 기업들이 비싸서 안 쓴다니, GPU가격이 어쩌고...이런 문제들이 많이 해소될 수 있어서 관심 가져줄만함.

[익명(resident5556)]

아니 이 특붕이 gpt보다 설명을 잘하노

[디비휴(runny7837)]

특갤 gpt 5 ㄷㄷ

[천사다천사(jjtheman999)]

다행인게 마소에서 관심갖고 연구중임 - dc App

[익명(hyeongim264)]

gpt5급 설명 개추 - dc App

[특붕1(qkrdbstkd93)]

윗댓 말이 어려우면 존나 간단하게 말해서 니가 떡볶이를 만드는데 재료비 3만원 들여서 존나 맛있게 만들었는데 이걸 재료비 천원들여서 만든 떡볶이랑 맛이 똑같은거임

[음메엥(lightboxer)]

아오 이해가 쏙쏙되잖아 특슝좍아

[천사다천사(jjtheman999)]

천재다 - dc App