[일반] 오픈소스 발전속도는어떠냐

[익명(143.244)]

ㅇㅇ

[익명(61.84)]

오픈소스의 발전속도? 뭔 뜻이징 오픈소스 LLM? llama2 말곤 생각나는게 없는데

[익명(169.150)]

llama2말고 미스트랄도있는데 mmlu벤치상 3.5보다 약간더높은점수받음 한국어데이터셋도존재 4한테는 아직한참안됨

[익명(169.150)]

최근에는 성능저하거의없이 2비트양자화까지 성공해서 낮은컴퓨터성능으로 llm 구동가능하게됨

[익명(61.84)]

4비트도 부정확한데 2비트는 성능 진짜 구리지 않음?

[익명(61.84)]

난 코딩용으로 써서.. 잘 모르겠음

[익명(169.150)]

오픈소스도 발전속도빠르긴함 4비트보다 1/2감소한 2비트양자화를했음에도 성능저하가거의없다는건 낮은컴퓨터성능으로 높은 파라미터모델을 구동하게된단거

[익명(169.150)]

양자화기술이 좋아져야 오픈소스가 발전될수있음 0.5비트로 쪼갤수있다면 GPT4급규모 모델을 4090 1장으로 올리는게가능해질거임

[익명(169.150)]

VRAM 500GB먹는다치면 8비트양자화 250GB 4비트양자화 125GB 2비트양자화 67.5GB 1비트양자화 33.xGB 0.5비트양자화 16.xGB

[익명(61.84)]

VRAM 먹는건 예시지? 깜짝 놀랐네... 하 근데 4090으로도 돌릴수 있는 시대가 오면 좋겠다. 나만의 LLM 너무 원해

[익명(169.150)]

실제 GPT4급 모델을 개인이돌리려면 천만원짜리 글카 여러장을 구성해야함 A100같은거 서버클라우드로 제공하는 오픈Ai ms경우 연산력을 사용자들에게부여해야하기때문에 훨씬더많은 글카가필요하고 0.5비트가가능해지면 4090한장이면 저게가능해지는거

[나진(doom3750)]

미안한데 0.5비트는 대체 뭐임 - dc App