[❓질문] gradient vanishing 문제 질문

[익명(211.49)]

보통 이문제의 원인을 activation함수라고 하는데

그래서 relu를 사용한다라고 하는데

vgg의 경우 relu를 사용하지만 그래도 gv문제가 발생하잖슴

어떤것 때문인지 식이나 눈으로 볼수 있는게 있나요?

그리고

resnet도 short cut으로 순전피, 역전파가 단순해진다는데

왜임? 원래 경로는 그대로 + 추가 shorcut 아님??

직관적으로 식으로 볼수 있는거 없나요?

[Cytrus(minhyoo1)]

gv가 일어나는 근본적인 이유를 이해해야함. 활성함수 인풋이 0밑이라면 아무리 relu 써봣자 gradient는 0이지. 그걸 피하기 위해 머 표준화를 할 수도 있는거고 shotcut구조를 만들 수도 있는거고. shortcut이 역전파가 단순해진다는건 x+f(x)형태를 미분하면 1+f'(x)이 되고 이 1(Identity matrix)이 되는걸 단순화 됬다고 하는거임. gradient도 항상 1이 더해지니까 vanishing이 안되는거고

[Cytrus(minhyoo1)]

눈으로 직접 볼것도 없고 활성함수 그래프 인터넷에 검색해서 보면서 sigmoid라 치면 뭐 saturation 되는 부분이 abs(x)>4 일때니까 이때 vg를 해결하고 싶으면 활성함수 전의 레이어 출력값이 4 이하로 나오게끔 조절한는등 조치를 취하는게 단순하게 해결하는 방법임

[으어엌(183.101)]

VGG에서 베니싱 문제가 발생한다고 일반적으로 알려져있었으나. Identity Mappings in Deep Residual Networks 논문에서 이를 실험적으로 반박하여 베니싱 문제는 거의 발생하지 않는다는 것을 보였음.

[으어엌(183.101)]

저 논문에서 숏컷 관련한 내용도 다 설명되어있으니 정독하고오셈