[일반] resnet에서는 dying relu가 일어나지 않는건가요

[익명(163.152)]

shortcut때문에?

[Sesiwo(visiopo44)]

일어나도 원리상 많이 완화되는거아님? 나도 전문분야는 아니라서 - dc App

[Sesiwo(visiopo44)]

100층씩도 쌓던데 - dc App

[익명(121.153)]

직접 실험해볼려구용

[딥갤러 1(122.45)]

ResNet은 1001층까지 쌓은 논문이 존재함 찾아봐

[갈색여치(galyo)]

렐루는 그래디언트 흐름이 막혀버리기 때문에 바이너리 오퍼레이터 비슷한 역할을 할 수 있어서 강력한거임 dying rely 막으려면 파라마트릭이나 leaky 계열로 그래디언트 흐름을 줘야함 아예 안일어나는게 아니라 점차 막히는 그 흐름을 중간중간에 뚫어주는거