[일반] 딥넷은 학습 속도보다는 안정성에 초점을 둔 거네.

[익명(218.235)]

지금까지 층을 못 쌓는 이유는 층을 많이 쌓을수록 무너졌기 때문이래.

근데 이번에 딥넷이 층을 쌓는 비법을 발견한거임.
그리고 뭐를 만들 때 어떻게 층을 쌓아야 하는지 설명해줌.

GPT 만들때는 이렇게 해라, 파파고 만들때는 이렇게 해라

나머지 부분은 이게 왜 되는지에 대한 내용인 듯

[익명(218.235)]

딥넷:
https://arxiv.org/abs/2203.00555

[익명(125.191)]

온다

[익명(218.235)]

ONDA!

[익명(218.235)]

실시간 부르즈 할리파 신경망 입갤 ㅋㅋㅋㅋㅋ

[익명(168.188)]

미분값을 역전파하는데 층이 커지면 점점 미분값이 낮아져서 0됨. 그래서 파라메터 업데이트가 안되서 점점 훈련이 안됨 그런데 그걸 해결했나봄 - dc App

[익명(218.235)]

ㅇㅇ 그거 해결하려고 정규화 하는데, 그 정규화 파라미터를 잘 맞추는 방법을 알아낸거임.

[익명(168.188)]

오.. - dc App

[익명(203.229)]

바닐라 쟨 뭔데 안터짐?

[익명(218.235)]

똑같은 방법인데 쟤만 특별한거겠냐 '아직' 안 터진거겠지

[ㅇㅇㅇ(14.38)]