머신러닝 수업을 들어봐도 많은경우 loss function의 최적화가 likelihood function최적화로 귀결되던데
댓글 4
사실 일반화 보자면 내가 갖고 있는 모형과 true model 사이의 KL divergence를 minimize 하는거지. MLE는 그중 일부로 볼 수 있고. 물론 KL divergence와 동치인 개념도 있어서 그걸로 봐도 무방하나 대개 KL divergence를 많이 언급함 왜냐면 오래돼서
통갤러 1(61.72)2023-09-20 06:34
답글
ㅇㅎ
감사합니다
더 공부해야겠네요
통갤러 2(124.58)2023-09-20 10:08
Non parametric한경우는 likelihood가 있지도 않고 당장 ml에서 classification만 해도 logloss 아닌것도 쓸텐데… 뭔가를 최적화 하는건 맞지만 그게 likelihood일필요도 kl divergence일필요도 없음
사실 일반화 보자면 내가 갖고 있는 모형과 true model 사이의 KL divergence를 minimize 하는거지. MLE는 그중 일부로 볼 수 있고. 물론 KL divergence와 동치인 개념도 있어서 그걸로 봐도 무방하나 대개 KL divergence를 많이 언급함 왜냐면 오래돼서
ㅇㅎ 감사합니다 더 공부해야겠네요
Non parametric한경우는 likelihood가 있지도 않고 당장 ml에서 classification만 해도 logloss 아닌것도 쓸텐데… 뭔가를 최적화 하는건 맞지만 그게 likelihood일필요도 kl divergence일필요도 없음
최소제곱추정도있자나