딥러닝 알고리즘을 쓴다면 안쓸 이유는 없지 않을까?? normalization을 하겠다는거 자체가 층이 깊거나 피쳐들 스케일이 다름에도 loss surface를 부드럽게 해서 안정적으로 학습하겠다는건데.. adamw나 bn, ln 같은건 써봐야 손해볼건 없지. ln에 트랜스포머 조합이면 블럭 앞에서 해주냐 뒤에서 해주냐 같은거 신경써주고
글 쓸 당시에 픽셀값 히스토그램을 자꾸 이상하게 뭉게져서 글 썻던 건데 걍 내가 잘못한듯...
딥러닝 알고리즘을 쓴다면 안쓸 이유는 없지 않을까?? normalization을 하겠다는거 자체가 층이 깊거나 피쳐들 스케일이 다름에도 loss surface를 부드럽게 해서 안정적으로 학습하겠다는건데.. adamw나 bn, ln 같은건 써봐야 손해볼건 없지. ln에 트랜스포머 조합이면 블럭 앞에서 해주냐 뒤에서 해주냐 같은거 신경써주고
글 쓸 당시에 픽셀값 히스토그램을 자꾸 이상하게 뭉게져서 글 썻던 건데 걍 내가 잘못한듯...