[일반] 뉴비질문 좀 삭제안함(삭제시 자결)

[익명(218.158)]

정규화매개변수 람다가 굉장히 클경우에
매개변수들이 0에 가까워진다는데
l1정규화 식새워보면 초기에는 오히려 절댓값이 굉장히 커질거같은데
어떤 원리로 저게 다시 0에 가까워지는건가요?
아니면
정규화매개변수 람다가 굉장히 클경우에

매개변수들이 0에 가까워진다는데

이 말 자체가 틀린건가요?

[익명(118.47)]

y^hat = b_1 x + b_0 매개변수는 b_1, b_0

[익명(118.47)]

최적화(최소화) 해야 되는 함수는 y-y_hat임 y_hat이 아니라 그래서 b_1, b_0를 조정해서 y에 가까워지면 b_1, b_0의 값이 커지는데 regularization을 도입해서 ridge(||b_n||_2) 혹은 Lasso(||b_n||_1) 로 조정

[익명(165.194)]

원래의 loss랑 똑같이 생각해. | y_hat - y | 의 의미를 생각하면 y_hat이 정답 y에 근접하도록 만드는 효과가 있잖아. 마찬가지로 정규화 항 lambda * | theta | 를 분석해보면 사실 | theta - 0 | 가 생략된거라 저 항은 theta(파라미터)를 0으로 수렴시키는 제약(패널티) 효과를 줌. 근데 loss의 항이 두개가 되니 이것을 미분한 gradient의 방향을 결정할 때 이 두 항의 비율에 따라 각 항의 방향에 대한 기여도가 결정될텐데 lambda가 크면 그만큼 정규화 항의 효과가 강하게 반영되는거임

[익명(218.158)]

다들 감사합니다