1) 해주는게 좋지만 일반적으론 안해줘도 괜찮은건 맞음
2) 공부해서 알겠지만 쉽게 이야기하면 파라미터의 업데이트는 오차의 크기에 따라 좌우되고 따로 설정을 해두지 않는다면 업데이트 가중치가 동일함 즉, 입력값들이 서로 다른 단위를 갖는다면 상대적으로 단위가 큰 입력값들이 파라미터의 업데이트에 영향을 끼칠 가능성이 높다는거지 그래서 입력값의 단위가 극단적으로 차이가 나는 경우 스케일링을 진행하거나 손실함수에 가중치를 곱해주는 방식으로 조정해주는게 좋긴 한데 왠만큼 무지성으로 때려박은게 아니면 안해줘도 경향성 파악은 가능함
익명(203.230)2023-11-16 13:54
답글
ㅅ
케일링 안하니까 발산하네. 노말라이주 하니까 된다 ㄱㅅㄱㅅ 근데 오버피팅 시키려고 햇는데 이러도 잘 안되내 - dc App
2차 최적화 써도 그냥 스캐일링정도는 해주는게 낳음
1) 해주는게 좋지만 일반적으론 안해줘도 괜찮은건 맞음 2) 공부해서 알겠지만 쉽게 이야기하면 파라미터의 업데이트는 오차의 크기에 따라 좌우되고 따로 설정을 해두지 않는다면 업데이트 가중치가 동일함 즉, 입력값들이 서로 다른 단위를 갖는다면 상대적으로 단위가 큰 입력값들이 파라미터의 업데이트에 영향을 끼칠 가능성이 높다는거지 그래서 입력값의 단위가 극단적으로 차이가 나는 경우 스케일링을 진행하거나 손실함수에 가중치를 곱해주는 방식으로 조정해주는게 좋긴 한데 왠만큼 무지성으로 때려박은게 아니면 안해줘도 경향성 파악은 가능함
ㅅ 케일링 안하니까 발산하네. 노말라이주 하니까 된다 ㄱㅅㄱㅅ 근데 오버피팅 시키려고 햇는데 이러도 잘 안되내 - dc App