[일반] 군붕이 복학 공부하다가 궁금한거 생김

[익명(211.208)]

회귀분석 공부하면서 이번에 MLE가 뭔지 드디어 이해했는데

회귀분석에서는 회귀계수 추정 값이 LSE랑 MLE랑 똑같더라구요 

제가 아직 다변량 추정같은 다른 분석은 안배워서 그런데 LSE랑 MLE랑 근본적인 차이점이 뭘까요?

[통갤러 1(141.214)]

MLE는 정규분포 가정이 반드시 필요(우도함수를 구하기 위해)한 반면, LSE는 오차항이 기댓값0, 유한 분산, 0에 대해 대칭인 어느 연속형 확률분포를 가질 때 오차제곱항을 최소화 시키는 추정량이며, 정규분포 가정이 필수는 아닙니다. 요약하자면, LSE와 MLE의 차이점은 정규분포 가정의 필요여부로 구분할 수 있습니다. 회귀분석에서 배우는 가우스-마코프 정리에 따르면, LSE는 Linear Unbiased Estimator중에 가장 분산이 작은 Best Linear Unbiased Estimator라고 알려져있습니다. 쉽게 설명하면 beta_hat=sum w_i y_i (y들의 가중합 혹은 선형 결합) 형태의 추정량 중에 가장 분산이 작습니다.

[통갤러 2(141.214)]

정규분포 가정하에서는 MLE는 Unbiased Estimator 들 중에 가장 분산이 작은 MVUV (minimum variance unbiased estimator) 최소분산 불편추정량임이 알려져 있습니다. MLE나 LSE나 정규분포 가정 유무에 따라 다른 방식으로 추정량이 만들어졌고, 그에 따라 선형불편추정량 중에 가장 분산이 작거나, 모든 불편추정량 중에 가장 분산이 작거나 하는 차이가 생깁니다.

[군붕이(211.234)]

감사합니다. MLE 가 좀더 정밀한 가정을 요구 하는 대신 LSE보다 더 모수 추정력이 좋다고 이해하면 괜찮을까요?

[통갤러 1(141.214)]

그렇게 이해하시기 보다는 "MLE 는 추가적인 가정하에 추가정인 성질 (MVUE)을 증명할 수 있다"고 생각하시는 것을 권해드립니다.

[군붕이(211.208)]

네 감사합니다