loss는 0점대까지 빠르게 주는데 accuracy는 33에서 saturate하는데 혹시 이유가 뭘까요?
확실히 문제가 있는거겠죠?
accuracy loss
iter:5000 19.1200 3.2335
iter:10000 18.4495 2.3494
iter:15000 28.0859 1.7964
iter:20000 26.9246 1.6076
iter:25000 28.5477 1.6286
iter:30000 30.4433 1.1395
iter:35000 30.8239 0.7698
iter:40000 29.6414 0.6929
iter:45000 29.2143 0.6449
iter:50000 32.1804 0.4468
iter:55000 33.8035 0.2685
iter:60000 33.8963 0.1107
iter:65000 33.4113 0.0694
iter:70000 33.9987 0.1042
iter:75000 33.4634 0.0698
iter:80000 33.5388 0.0379
optimizer: SGD
lr: 0.1 -> 0.01(50,000) -> 0.001(100,000)
학습이 안된다는 거잖수 데이터를 늘리던가 모델을 손보던가
학습이 안된다기 보다는 오버피팅되고 있다는 의미, 예를 들어 타깃이 [0, 1, 0, 0]이면 출력은 대충 [0.1, 0.7, 0.1, 0.1]만 되도 분류기는 잘 맞추기만 하면 되는데 잘 맞춰서 loss를 줄이는게 아니라 [0.01, 0.97, 0.01, 0.01] 이런식으로 확률값을 올리는 방향으로 loss를 줄이고 있다는 뜻이겠지
방법은 여러가지가 있겠지만 데이터 전처리는 가능해도 늘리는건 대부분 힘들거 같고 (있었음 진작에 다 넣었을거니까) 드롭아웃나 모델 파라미터 개수를 줄이도록 조정해보거나 현재 사용하는 서버 성능만 좋다면 오버파라미터가 되도록 아예 큰폭으로 늘려보는것도 도움이 될순 있음