https://gilbertlim.github.io/deep%20learning/dl_optimization_method/
[Deep Learning] 경사 하강법 최적화 알고리즘(Optimization Method)
[Deep Learning] 경사 하강법 최적화 알고리즘(Optimization Method)
gilbertlim.github.io
이런 걸 보면 알고리즘 종류가 꽤 많은 것 같은데 이런 알고리즘들을 다 알아야하나요?
실제로 제일 많이 쓰이는 것은 무엇인가요
Adam, AdamW 그냥 무지성 사용하면 됨. 꽤 이름있는 논문 저자들도 이전 논문 따라서 무지성 사용함
Static data면 Adam계열 무지성 사용하면 되는데 강화학습쪽은 모멘텀 없는애들이 좋다 카더라
무조건 다 알아야함 결국
무엇을 위해 알아야하냐는 질문을 먼저 해야하는데 논문쓸땐 옵티마이저 부분 아니면 그냥 지원하는 옵티마이저 한 두어개 돌려보고 거기서 성능 좋은거 씀.
학습 데이터 따라 달라지는 오브젝트 함수를 머리속에 그려서 어떤게 적합하다 하고 고를수 있는 사람이 있을거 같지 않다. 결국 실험적으로 뭐가 좋은지 알아내서 그걸로 리포트 하는건데 알 필요가 있나 싶다
옵티마이저 공부할때 결국 아이디어 개선 변경이라 다 대충은 알게되는데 실제로 쓰는건 AdamW ㅋㅋ - dc App