[❓질문] 기울기 손실이 경사 하강법에 영향을 주나요

[익명(183.96)]

딥러닝 공부한지 2시간 지난 늅비입니다

시그모이드나 하이퍼볼릭 탄젠트 활성화 함수를 쓰면 

학습이 ㅈㄴ 많이 진행되면 기울기 손실이 발생한다고 하는데 이때 말하는 기울기가 

경사하강법에 쓰이는 기울기를 말하는 것인지

아니면 학습이 진행되면서 가중합(전달함수) 자체가 0이 되버리는 것인지 

헷갈려요 ㅠㅠㅜ

[익명(125.132)]

경사하강법에 쓰이는 기울기 = 역전파 알고리즘으로 구하는 기울기

[Cytrus(minhyoo1)]

1층에 퍼셉트론 두개, 2층에 퍼셉트론 두개가 있는 mlp구조를 그려보시고 간단한 가중치를 각 퍼셉트론에 분배해보세요. 그리고 딱 한번 경사하강법으로 다음 가중치를 업데이트해보세요. 가중치는 입력을 얼마나 중요하게 받아들일지에 대한 값이고, 학습이 한차례 끝난후 발전하기 위해서 가중치를 변경해줄때, 각 가중치들이 손실함수에서 차지하는 비중을 (gradient) dl/dw로 구해서 그만큼 업데이트해주는겁니다. 간단한 손실함수L 를 정의하셔서 직접 업데이트 한번만해보시길 추천드립니다 - dc App

[36악장(dranhen)]

value가 0이 되더라도 기울기가 존재하면 계속 미끄러져내려갈 수 있잖음 기울기가 0이되면 그게 안된다는뜻임