어떻게 해야 할 수 있는거임?
가끔 논문이나 프로젝트 보면 beta_2를 0.5로 둔다거나 하는 hyperparamter를 어떻게 찾는거지?
이걸 어떻게 건드릴 생각을 하는거지
뭐 그냥 나이브하게 생각하면 momentum이 아마 beta_2와 관련이 있을거니깐 좀 덜 받게 하고 싶다 하면 0.5 많이 받게 하고 싶다하면 디폴트값 0.999
뭐 이런 식일텐데
이걸 어떻게 찾냐
자기 데이터를 보고서 '흠 이건 momentum이 많이 필요하겠구만 beta_2를 더 늘려야지/줄여야지' 하는거임?
bayesian optimization으로 찾는건가
그냥 너무 망망대해네 이거
성능 잘 나와야 하니깐 대충 수식보고 때려넣는게 아닐까
여러개 돌려보고 잘나온애 논문에 쓰는거임