손실함수가 가중치를 input으로 받는 함수이지만 입력데이터가 바뀔 때마다 최종 예측값도 변하니까 함수식도 바뀔거 아니야
그러면 최소지점의 좌표도 얼마든지 바뀔 수 있는거잖아
그니까 내 생각엔 데이터가 달라질 때마다 손실함수식도 달라지고 따라서 최적점의 위치도 달라지는데, 경사하강법을 설명하는 그림들을 보면 마치 전체 데이터에 대해서 단 하나의 손실함수가 이미 정해져있고 그 그래프 내에서 시작점이 점점 이미 정해진 하나의 최소점으로 움직이는 것처럼보이는게 이해가 안됨
그러면 최소지점의 좌표도 얼마든지 바뀔 수 있는거잖아
그니까 내 생각엔 데이터가 달라질 때마다 손실함수식도 달라지고 따라서 최적점의 위치도 달라지는데, 경사하강법을 설명하는 그림들을 보면 마치 전체 데이터에 대해서 단 하나의 손실함수가 이미 정해져있고 그 그래프 내에서 시작점이 점점 이미 정해진 하나의 최소점으로 움직이는 것처럼보이는게 이해가 안됨
손실함수는 가충치를 input으로 받는게 아니라 출력층의 활성화 함숫값을 input으로 받는 함수 아닌가여 그리고 입력데이터가 바뀐다고 함수식이 왜 바뀌나여 함숫값이 바뀌는거 아닌가요
가중치를 input으로 받는다고 생각한건 손실함수의 한 점 (w1,…wn)을 (new w1, … new w2)로 이동시키는게 경사하강법이라고 생각해서이고, 입력데이터 변경 -> 출력층의 활성화 함숫값 변경 -> 함수식 변경이라고 생각했음
맞는말. 그래서 학습시키는 데이터가 중요하기도 하고. 그런데 *정확한* 데이터를 *무한정* 사용한다면 하나의 손실함수라고 볼수있을듯?
Empirical risk minimization
너가 말하는 그 optimization plane은 당연히 데이터가 다르고 각각 다른 데이터에 맞는 plane이 나옴. 인터넷에서 자주 볼 수 있는 convex하고 하나의 minima가 있는 그림은 당연히 손쉬운 이해를 위한 그림임. 그리고 loss function은 이미 정의되있는, 고정된 함수임. 고정된 함수와, 고정된 back-propagation chain rule 속에서 달라지는건 오직 입력 데이터 뿐이고 그에 따라 각각의 가중치들이 바뀌는 정도가 달라지는것.