[일반] 아니 파이토치에 CrossEntropyLoss 는 또 왜 softmax.

[딥부이(223.38)]

CrossEntropyLoss  전에 sigmoid 놓고 돌리고 있는데 정확도가 0.7 -> 0.1로 점점 학습할수록 떨어지는거임

뭔가 했더니 파이토치 CrossEntropyLoss  에는 softmax + CE 를 합쳐놓은거네 개빡치네 

얘는 또 왜 합쳐놈 

[익명(118.235)]

Sigmoid 취하고 cross entropy 계산하는게 numerically stable하지 않아서 합쳐놓는게 국룰임 ㅇㅇ

[익명(118.235)]

니가 잘못된 방식으로 했던거니까 이참에 고쳐라

[글쓴 딥부이(223.38)]

그게 아니라 잘못ㄷ힌 예시를 보여줄려고 만든거임

[글쓴 딥부이(223.38)]

왜 이렇게 하면 안되는지 시각적 자료를 위해 데이터 뽑는 중이었는데 너무 떡락하더라

[익명(210.179)]

소프트 맥스면 입력제한 없는 함수인데 0~1로 제한걸어버리니 제대로 안될듯?