그리고 규제를 MSE에 규제값 더해서 구불구불한 그래프 평평하게 만드는 거라고 이해했는데 맞음?
댓글 3
라쏘는 그래디언트가 일정해서 규제보다 그래디언트 낮으면 0으로갈수밖에없음
익명(59.11)2023-09-21 17:36
regularizor가 뾰족하게 생겨서요
36악장(dranhen)2023-09-21 18:22
Lasso는 희소행렬 문제, 가령 10개의 값중 어디인지는 모르겠지만 한두개만 실제값을 가지고 나머지는 0이 되야하는 문제를 위한 제약조건이라고 보면됨. 제약항 앞의 손실함수를 최소화에 크게 영향을 미치는 몇개의 값들을 제외하고는 제약항을 추가해서 0으로 가게 만든거지, L1 제약항을 사용하는 이유는 위에 갤러가 말한대로 제약항 그래프로 그려보았을때 뾰족하게 생겨서 꼭지점(특정 값의 절편, 다른 값들이 0이 되는 지점)이 솔루션에 먼저 도달하기 때문임.
라쏘는 그래디언트가 일정해서 규제보다 그래디언트 낮으면 0으로갈수밖에없음
regularizor가 뾰족하게 생겨서요
Lasso는 희소행렬 문제, 가령 10개의 값중 어디인지는 모르겠지만 한두개만 실제값을 가지고 나머지는 0이 되야하는 문제를 위한 제약조건이라고 보면됨. 제약항 앞의 손실함수를 최소화에 크게 영향을 미치는 몇개의 값들을 제외하고는 제약항을 추가해서 0으로 가게 만든거지, L1 제약항을 사용하는 이유는 위에 갤러가 말한대로 제약항 그래프로 그려보았을때 뾰족하게 생겨서 꼭지점(특정 값의 절편, 다른 값들이 0이 되는 지점)이 솔루션에 먼저 도달하기 때문임.