머신러닝 질문점 제발 ㅠㅠ

[익명(223.38)]

저기서 0.001을 곱해주는 이유가 softmax안에서 e의 제곱수로 만들어줄때 너무 커질까봐 곱해주는거 맞나여

[문과생임(istream2)]

내가 기억하기로 cs231n 코드에서 내부 softmax 구현은 overflow 처리는 되어있었던거같고, randn이 mu, sigma가 0, 1인데 이러면 분산이 너무 커서 softmax값을 구해도 uniform하게 안나오니까 분산을 강제로 낮춰서 거의 uniform하게 만든거같음. 그래야 랜덤한 y값이 들어왔을 때 10%확률로 찍는거처럼되니까

[익명(218.52)]

아하 감사합니다

[해당 댓글은 삭제되었습니다.]

해당 댓글은 삭제되었습니다.

[문과생임(istream2)]

softmax 오버플로우는 exp(x-max(x)) 였나 하튼 그런식으로 처리하는거라 좀 다름