VGG16 구현해보고있는데 optimizer로 Adam써서 해보고있음

learning rate 그냥 상수로 두고 학습한 모델이랑

exponentialLR 써서 학습한 모델이랑 비교하는데

상수모델은 32epoch정도에서 train Acc 99.9로 수렴하고 test acc는 65%정도 나옴

exponential 쓴거는 LR이 점점 감소하니까 더 늦게 수렴하고 성능도 괜찮게 나올 줄 알았는데 한 18epoch정도 되니까 train acc가 99%나오고 test acc는 55정도나왔다가 점점 떨어지는중


내가 생각했던거랑 다르게 LR decay를 적용한게 더 빠르게 overfitting이 일어나고 성능도 더 안좋게 학습되는데 Adam이 자체적으로 lr을 조정한다는 것 같은데...

lr decay를 따로 적용안해주는게 맞는거야?


딥러닝 공부 시작한지 얼마 안돼서 어떤 논문을 찾아봐야할지 잘 모르겠음

블로그 이것저것 뒤져보다가 cs231n에서 adam은 상수lr을 사용하는게 더 좋은 결과가 나올수도 있다 이런 내용이 나왔다는데

이에 대한 근거가 되는 자료나 논문을 어떻게 찾아야할지 잘 모르겠음... 딥붕이들의 도움 부탁...,