model에 문제가생겼을때 preconditioner를 고쳐서 해결했다는게
이해가 잘 안가서… 이게 먼 내용인지 궁금해서 물어봄
보통 딥러닝에서 쓰는 preconditioner라면 adaptive optimizer면 moment일거고 ema window가 좀 큰거같아서 업데이트가 더딘거같다던가 하는 가설로 정도의 파라메터 튜닝만 할거같은데
2nd order optimizer를 썼다는 얘긴가? 근데 higher order여도 이게 모델에 결함을 야기한다던가, 그랬을경우 이걸 분석해서 뭘 해결한다는 논문을 나는 본적이 없는거같은데
다들 의견좀 주면 ㄱㅅ
글쓴이 있음 더 좋고
preconditioner가 아마 adaptive learning rate 즉 v_t 말하는거일듯. adam 계열에서 gradient scale이 급격하게 커지고 있는 경우 v_t가 이를 못 따라가서 업데이트가 불안정해지는 경우가 종종 발생함. 이 문제가 아닐까 싶은데
첨부한 내용이 너무 말같지도 않은 소리라 ㅋㅋ;
그사람 구글러인듯. 옵티마이저는 shampoo일거고