경사 하강법 챕터인데 이 책에서는 경사 하강법을 아래 그림처럼 설명하더라구요
![모두의 딥러닝] 4장 오차 수정하기: 경사 하강법](/media?src=https://blog.kakaocdn.net/dn/bnOqzu/btq2iV364e6/NO7hSVJexPqTn3xlI3icjk/img.png&board=deeplearning&pid=2349)
1. a1에서 미분을 구한다.
2. 구한 기울기의 반대방향 (기울기가 +면 음의 방향, -면 양의 방향)으로 얼마간 이동시킨 a2에서 미분을 구한다.
3. 앞에서 구한 미분 값이 0이 아니면 1과 2의 과정을 반복한다.
인데 다른 블로그같은데 보면 저렇게 왼쪽 오른쪽 왔다갔다 하는게 아니고 한 쪽에서 꾸준히 아래로 내려가더라구요 (아래 그림처럼)
이 두 개의 방식이 차이가 있나요?? 굳이 왔다 갔다 하면서 찾는 이유를 이해못하겠습니다..
![인공지능] 경사하강의 개념](/media?src=https://velog.velcdn.com/images/mbkang922/post/29b1934f-a15f-4b44-8fb0-464bfe03e370/image.png&board=deeplearning&pid=2349)
그냥 step size 차이임
아 생각해보니 그렇네요 그냥 학습률을 크게 잡으면 조금씩 내려가는게 아니라 왔다갔다 하면서 내려오겠네요 감사합니다!