[❓질문] resnet

[등(alop198)]

h(x) = f(x) + x

에서 f(x)가 0이 되도록학습하는 이유가

이전 레이어에서 학습된 x를 제외한

f(x)를 추가 학습하는 건데

추가학습할게 없을 정도로 이전레이어에서 학습이 잘된거면

f(x)가 0이 된다라고 볼수있음?

즉 학습이 잘되면 f(x)가 0에 가까워진다라고 볼수있음?

내가 이해한데 맞음? ㅈㅅ 개빡대갈이라

[익명(122.45)]

이전글에도 말했지만 니가 언급한식은 skip connection 식 그자체, 그러니까 resnet이 vanishing gradient를 해결하기 위한 열쇠이지 loss와는 별개의 개념임. Skip connection 식이 0이된다면 이건 vanishing gradient를 뜻하는거지 이전 레이어에서 학습이 잘되었다는걸 말하는게 아님 - dc App

[등(alop198)]

존나 내가 멀 모르는지도 모르겠다 다시 처음부터 봐여겠다

[등(alop198)]

그냥 존나 단순하게 H’(x) = F’(x)+1 이나깐 항상 1은 있으니 vanishing 해결 이거임?

[익명(118.235)]

ㅇㅇ - dc App

[익명(122.45)]

근데 resnet도 너무 깊으면 성능떨어짐 - dc App

[등(alop198)]

아 뭔가 찝찝해 우선 넘겨야겠다

[익명(39.7)]

님들 H’(x)는 어디에 쓰이나요?