[일반] backpropagationㅇ 질문

[응음(143.248)]

기울기를 계산할 때 정확히 어떤 함수를 미분한다는 건가요? 각 레이어에서 input, output을 chain rule을 사용해서 거꾸로 쭉 편미분해서 기울기를 구한다는데, input과 output은 함수가 아니라 하나의 값 아닌가요? 

[익명(165.194)]

output y는 input x에 대한 함수니까 도함수 dy/dx를 계산할 수 있지

[익명(165.194)]

그리고 신경망이 별게 아니고 x1=a x0 + b 같은 선형 함수와 x1' = g(x1) 같은 활성화함수를 쭉 합성했을 뿐이라 해석적 도함수 계산이 됨

[익명(165.194)]

근데 y(x)를 x에 대해 미분하려면 사실 이게 위에서 말한 단순한 함수들의 합성이니까 합성함수의 미분법으로 계산하자는게 역전파

[응음(143.248)]

근데 relu 같은 함수는 미분이 불가능한데 어떻게 미분하는 건가요?

[땔감(gcp24685)]

0에서만 미분 안됨. 확률 적어서 무시하고 쓰는거