형들 gradient 방향이 의미하는게 함수가 가장 급격하게 변하는 방향이잖아 gradient의 norm도 어떤 의미가 있어??
예를 들어 함수의 변화량이랑 연관이 있다던가

gradient descent할 때 업데이트 할 때 마다 gradient norm은 바뀔텐데 learning rate를 상수로 두는게 괜찮나 모르겠네
수잘갤 형들 알려줭