일단 라쏘가 뭔지 대충은 이해했는데 이걸 왜
least absolute shrinkage and selection operator <- 이렇게 부르는지 모르겠다
애초에 해석부터 안됨
[absolute shrinkage의 최소화와 selection operator의 최소화]로 해석해야 되는 거임?
shrinkage는 패러미터 하나를 0으로 만들어서 variance를 줄이는 기법 맞지?
근데 absolute shrinkage는 뭐지? 절댓값 패러미터를 shrinkage하는 건가?
그럼 least absolute shrinkage는 뭐지???
selection operator는 뭐임? 패러미터를 dropout해서 feature의 수를 줄이는 걸 뜻하나?
즉 feature의 수를 줄이는게 least selection operator??
넘모 모르겠어요ㅠㅠ 알려죠요ㅠㅠㅠㅠㅠ
최적화에 대한 지식부터 조금 알아야할것 같은데 ㅎ. 일단 보이드가 쓴 convex optimization이라는 책을 사서 읽고 어느 정도 variational analysis를 이해할 줄 알아야 저게 무슨뜻인지 알 수 있음. 저 책은 실무 관련한 테크닉들도 많아서 어렵지는 않아
그런데 딥러닝 할거면 lasso 같은 variational analysis, numerical optimization 관련 테크닉들은 굳이 배울 필요가 있나 싶다
님 그럼 selection operator가 먼지만 알려주셈
아 설마 라쏘가 least absolute shrinkage 하고 selection을 하는 operator 역할을 해서 lasso라고 부르는건가? 이거 맞는거 같은데? 맞나?
lasso는 ridge regression이랑은 다르게 1-norm을 이용해서 regularize하기 때문에 파라미터 하나를 0으로 만드는게 아니라 regularize하는 정도를 높일수록 파라미터 여러개가 0으로 shrink하게 됨. 그런 의미에서 feature selection이라는 개념이 들어가 있는거고.
말을 약간 잘못 했는데 파라미터가 아니라 coefficient가 0으로 shrink하게됨
오 ㄱㅅㄱㅅ 대충 내가 예상한게 맞는듯ㅋㅋㅋ!!!
틈틈이 다시 읽고 있는데 내가 알고 있던 거랑 살짝 다른듯... 흠 암튼 ㄱㅅㄱㅅ