[일반] 근데 비트넷 레알 이해가안되네

[ㅇㅋ(aspect3751)]

어케 동일한 파라미터 값인데 비트넷이 더 좋은 성능을 낼수가있지?

[익명(119.207)]

파라미터 크기를 더 키운 걸로 비교했던 걸로 기억함

[익명(175.206)]

임베딩하면서, 이정도 복잡한 숫자여야 정보 저장을 하겠지~ 하면서 당연한 듯 써오다가....알고보니 파라미터 많으면 이렇게 써도 되는 거 아닐까. 는 무슨 나도 무슨 말 하는 지 모르겠네. 왜 되는거지.

[익명(123.100)]

그만큼 완전정밀도에서 필요없는 파라미터가 많았다는 뜻일듯 - dc App

[익명(49.172)]

dropout처럼 일종의 정규화로 작용해서 과적합을 방지한다면 엄청 불가능한 이야기는 아님. 아무래도 훈련사용한 정밀도가 낮기때문에 오히려 데이터의 노이즈를 무시해버리는거지

[익명(49.172)]

근데 이논문은 3b 랑 3.9b 비겨했을걸

[익명(220.73)]

산 중턱이 필요했던게 아닐까? 더 올라갈지, 내려갈지, 아니면 산 중턱에 머무를지(유지할지)... 위치를 결정하는데는 이 3개면 충분하니까