최적화를 공부하는 입장에서 보자면,ㅣ^1 loss 같은 경우는 non-differentiable 해서 그럼. Non-differentiable 한 convex function 같은 경우는 subgradient 같은 방법을 사용해서 최적화를 수행해야 하는데 굳이 그럴 필요가? l^2 norm 은 그냥 newton's method 로도 충분히 최적화가 잘됨 - dc App
Windforces(k920048)2018-09-16 17:13:00
계산이 더 유용함 이론전개 같은거 할때 - dc App
김이요°(karma5)2018-09-16 17:46:00
19세기에 그런건 계산하기 편해서. 20세기 이후에는 위에 나온 얘기들. 실제로 공부 더하면 L2아닌 다른 norm으로 하는거도 나오기는 하지만.
익명(220.70)2018-09-16 17:46:00
미적분할 때 제곱이 더 편함
익명(59.5)2018-09-16 18:58:00
와 형들 고2가 본 시점으론 존나 간지났어;; 나도 수학과 가고싶다
뭐요정도(wlgh7746)2018-09-16 20:45:00
윈포야 그래서 L1보다 L2보다 좋다는 근거가 뭐임? 실제로 Lasso같이 L1으로 패널티 주고 최적화 하는 기법도 있는데
익명(27.177)2018-09-16 21:25:00
개소리 거르고 l2가 힐버트스페이스라서
익명(175.223)2018-09-16 23:08:00
ㄴ 제가 지금 구현하는게 정확히 l^1 graph lasso 에요. 근데 l^1 norm 자체를 최적화하는 게 아니라 smooth approximation 을 해서 최적화를 진행하는지라 좀 더 복잡한 기법이 들어가야해요. 제가 지금 보고 있는 건 dual space 에서 adjoint form 을 취해서 최적화 하는 겁니다 - dc App
최적화를 공부하는 입장에서 보자면,ㅣ^1 loss 같은 경우는 non-differentiable 해서 그럼. Non-differentiable 한 convex function 같은 경우는 subgradient 같은 방법을 사용해서 최적화를 수행해야 하는데 굳이 그럴 필요가? l^2 norm 은 그냥 newton's method 로도 충분히 최적화가 잘됨 - dc App
계산이 더 유용함 이론전개 같은거 할때 - dc App
19세기에 그런건 계산하기 편해서. 20세기 이후에는 위에 나온 얘기들. 실제로 공부 더하면 L2아닌 다른 norm으로 하는거도 나오기는 하지만.
미적분할 때 제곱이 더 편함
와 형들 고2가 본 시점으론 존나 간지났어;; 나도 수학과 가고싶다
윈포야 그래서 L1보다 L2보다 좋다는 근거가 뭐임? 실제로 Lasso같이 L1으로 패널티 주고 최적화 하는 기법도 있는데
개소리 거르고 l2가 힐버트스페이스라서
ㄴ 제가 지금 구현하는게 정확히 l^1 graph lasso 에요. 근데 l^1 norm 자체를 최적화하는 게 아니라 smooth approximation 을 해서 최적화를 진행하는지라 좀 더 복잡한 기법이 들어가야해요. 제가 지금 보고 있는 건 dual space 에서 adjoint form 을 취해서 최적화 하는 겁니다 - dc App