[일반] 손실함수 질문

[익명(220.88)]

https://wooono.tistory.com/216

역전파 알고리즘에 대해서 찾아보고 있었는데

위의 사이트에서 시그모이드 함수가 사용됨에도 로지스틱 손실함수 대신 평균제곱오차를 손실함수로 사용하더라구요. 근데 시그모이드 함수일 때 평균제곱오차를 쓰면 지역 최소값에 빠질수도 있지 않나요?

왜 손실함수로 평균제곱오차를 썼는지 궁금합니다.

[익명(125.243)]

시그모이드 쓸때 평균제곱오차 쓰면 왜 지역 최소값에 빠질 수 있다고 생각하는 건가요?

[익명(220.88)]

시그모이드에서 평균제곱오차를 쓰면 그래프가 구불구불하게 나온다고 들어서 그렇게 생각했습니다

[익명(49.164)]

저 글의 예제에서 시그모이드를 쓴게 이진분류문제를 위한 출력이 아니라 그냥 활성화함수로써 썼을 뿐이라 MSE Loss를 쓰고 있는듯. 엄밀히는 틀린 예제임

[익명(49.164)]

그 증거로 출력부 말고 앞에서도 전부 시그모이드를 활성화함수로 쓰고 있는데, 요즘 심층신경망 활성화함수로는 시그모이드 안씀

[익명(223.131)]

https://m.dcinside.com/board/deep1/16