[📪정보] gpt3.5 turbo 대체 뭔 짓을 한거임?

[익명(222.108)]

파라미터가 175B -> 20B인데 성능 하락이 거의 없다니..;

거의 파라미터 10% 수준인데

올해 나온 파라미터 압축 방법 중에

Prunning(가지치기) 기법 LLM에 적용 가능한게

SparseGPT랑 WANDA 정도인데

얘네도 50~60% 이상 Sparsity 잡으면

성능 하락 급격하게 발생하는데

도대체 뭔 짓을 한거임 오픈ai??

이건 진짜 초격차 기술인데;

이게 SparseGPT 그래프인데

Sparsity 60% 이상부터 급격하게 성능이 꺾임

*sparsity 60% = 전체 모델 파라미터의 60% 제거

보통 큰 모델일 수록 sparsify가 더 쉽다고는 하지만

아무리 그래도 90%는 말이 안되는데...

라마2 70B 모델만 해도 SparseGPT 적용하면 Sparsity 80%면 벌써 성능 개 박살나는데

진짜 궁금하네

논문 공개좀 ...

[익명(121.158)]

지미는 웃고있다..

[익명(14.38)]

어쨋든 발전했잖아 한 잔해..

[익명(sky0204)]

지미한테 dm보내봐

[gpt교주(pomcro)]

역시 agi has been internally는 달라.. - dc App

[익명(211.228)]

??: agi 저거 sparsify 해봐

[익명(222.108)]

헉...

[익명(landofooo)]

ㅋㅋ

[부패하는유전자!!!(sansss2015)]

한잔해~