지금 자바로 짜고 있는데 feedforward에 비용함수에 MSE, 옵티마이저로 SGD, 웨이트초기화에 XAvier, L2정형화 구현해서
인풋레이어-ReLU(28*28->100)-출력레이어(Softmax)이렇게 하면 92%정도 나오고 이걸 더 높이기 위해 히든레이어 추가해도
시간만 오래걸리고 명중률이 94%가 최대로 멈춰버리는데 98%가 목표인데 추가해야될 부분을 알려줘
위에 구현한거처럼 Mnist를 CNN으로 단일필터(3*3) stride 1, pool(2*2) stride 2, ReLU(169->100),softmax(100->10)이렇게하면 명중률이 어느정도 나와야해??
classification에서 mse를 cost function으로 쓴다고?
당연히 cross entropy 써야되는 거 아님? regression에나 쓰는 걸 왜 거따 씀
굳이 regression loss 쓰고 싶으면 huber loss 스셈
그리고 convolution layer 더 쌓는게 좋을듯.. 그리고 regularizer도 l2는 정말로 더 튜닝할 거없을때 손대보는거고 드랍아웃만 해도 충분함
크로스엔트로피 짜고 드랍아웃 추가하고ㄱㅅㄱㅅ 컨볼은 저상태로 돌렸을때 어느정도 나오나 궁금해서 물어본거였는데 일단 쌓고 볼께