[📪정보] 펌)DenseFormer: 레이어 수 적은 모델로 뛰어난 성능 달성

[익명(landofooo)]

https://arca.live/b/alpaca/101849393

[익명(w1bxkomq1y2o)]

오... 근데 저러면 추론속도가 느려지진 않나?

[익명(w1bxkomq1y2o)]

용량대비 성능이 좋아지는건 알겠는데 속도가 빨라지는건 직관적으로 이해가 안되네

[익명(landofooo)]

지금 저것만 봣을 때는 moving avg랑 비슷해 보여서 이미 계산된 값에서 가중치반영해서 입력에 넣어주는거라 크게 계산에 부담가지 않을듯?

[익명(w1bxkomq1y2o)]

속도도 더 큰 모델 대비 빠르다는 소리면 이해된다

[익명(w1bxkomq1y2o)]

내가 이해한대로면 새로 학습할필요없이 추론방법만 바꾼다는거같은데 Llama.cpp에 금방 추가될지도 모르겠네

[익명(w1bxkomq1y2o)]

로컬붐은 온다!

[익명(175.193)]

별로 안느려질듯. 레이어 하나 당 연산이 n^2일거고, 저런 가중치 연산은 an일거임.

[익명(119.207)]

인터레스팅

[부패하는유전자!!!(sansss2015)]

[MoonChild(aowlr2001)]

[익명(1.239)]

다들 고생했다

[디시콘발사대(fcbjsjmu1t9f)]