[일반] llama.cpp개발자들 bitnet 1.58b 코드 기다리는중인데

[익명(220.117)]

Bitnet 개발자놈들 왜케 실제 코드 공개가 느리냐
이제 2주 넘었으니까 빨리 실제 코드 깃에 올려줬으면 좋겠다

llama.cpp개발자에 따르면

결과값의 효과를 결정짓는 몇가지 연산이 확실하지 않아서

(Bayesian 추론을 써야하는가 등등의 최적화된 추론 연산 방법)

시행착오를 하려면 시간이 많이 걸리니까

원 개발자들이 제대로된 코드를 공개할때까지 기다리는 중이라고
5일전쯤 bitnet관련 질문에 답변했음

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[익명(220.117)]

기업들 단위에선 그럴수있다 컴퓨팅 연산이 많고 연구자들이 많아서 빠르게 결과 확인이 가능하니까 llama.cpp개발자에 따르면 결과값의 효과를 결정짓는 몇가지 연산이 확실하지 않아서 (Bayesian 추론을 써야하는가 등등의 최적화된 추론 연산 방법) 시행착오를 하려면 시간이 많이 걸리니까 원 개발자들이 제대로된 코드를 공개할때까지 기다리는 중이라고 5일전 발언했음

[디시콘발사대(fcbjsjmu1t9f)]

정말 효과가 있다면 전용 칩이 나오는 것도 시간문제?

[디시콘발사대(fcbjsjmu1t9f)]

[익명(220.117)]

비트넷의 장점이 일반 gpu로도 빠르게 가능할정도의 연산 단순화 효과도 있으니까 전용칩이 나오면 더 빨라지겠지만 그거보단 안티앨리어싱 연산 더 무식하게 때려박은 거대 gpu가 더 매리트 있게 될거같음 물론 트레이닝용도나 거대 모델 돌리는 용도의 apu도 당연 그대로 잘 팔릴것

[익명(220.117)]

내 똥컴으로 Mistral Large 모델을 돌려볼 생각에 침 질질 흘리면서 기다리고있다 ㅋㅋㅋ