[일반] 이거 한큐에 깔끔하게 설명해주실 분.. 부탁드립니다.

[오랜궁금증(112.214)]

편차절대값을 평균낸게 표준편차의 개념으로 더 직관적이고 적합해 보이는데,

편차제곱의 평균에 루트씌어 표준편차를 계산하는 이유가 뭔가요?

구글서 검색해보니 편차제곱이 미분가능하고 수학적으로 다루기 쉬워서 그렇다는 이유가 많이 언급되는데

그건 그냥 부수적인 장점으로 더 본질적인 이유가 있다고 어떤 미국인 교수가 주절주절 설명하는데

너무 길고 영어가 딸려 이해를 못하겠더라구요.

늘 궁금했던 점인데 이거 좀 명쾌하게 설명해 주실 분 있으신가요?

[dd(115.145)]

loss가 편차제곱합일때 이를 최소화하는 추정량이 평균이라서? 무슨 유투브인지를 알아야 ㅎㅎㅎ 평균은 중심극한정리라는 장점도 있고, 물론 평균분위수에 대한 극한분포도 존재하지만....

[익명(175.223)]

좌표평면에서 유클리드거리구할때 좌표 제곱해서 더하는거랑 비슷한게 생각해도 되지 않을까요 1,2,4,5가 있을때 평균은 3이되고 4차원 공간위의 두 점 (1,2,4,5)와 (3,3,3,3) 사이의 유클리드거리라고 생각하면 뭔가 비슷하지않나요 사실 저도 잘 모르는데 한번써봤어요

[익명(175.116)]

ㅋㅋㅋ 유튜브를 알려줘야지 - dc App

[익명(175.116)]

일단 미분 제외하고 생각나는 장점들은, 왜 제곱을 하냐인데 주저리주저리 생각해보면 (1) 절댓값은 비선형변환인데 제곱은 선형변환임 > 선대에서 배운 많은 성질들을 활용 가능 (2) 보편적으로 정규분포 하 작동되는 추정량들에 관심이 많은데 정규분포는 MLE가 L2 norm 방식으로 얻어짐 - dc App

[익명(175.116)]

(1)을 좀 더 수리통계적으로 접근하면 통계 분야에서는 특히 independence, uncorrelated가 중요한데 제곱이라는 quadratic form을 씀으로써 추정량들이 독립이 되거나, 최소 cov들이 canceling out돼서 우리가 원하는 예쁜 형태로 변경이 가능함 - dc App

[익명(175.116)]

(3) 회귀 배웠음 penalized regression에서 릿지 라쏘가 있음. 제곱 기반 릿지는 전미분을 해서 모든 변수를 일정 비중만큼 제어하는 컨셉이고 절댓값 기반 라쏘는 몇 변수들만 편미분하겠다는 컨셉이거든. 충분통계량 관점에서는 모든 정보를 쓰는게 당연히 R-B 정리에 의해 추정량 분산이 더 낮고 지수족에서는 충분통계량이 존재함 - dc App

[L(118.235)]

form을 씀으로써 추정량들이 독립이 되거나, 최소 cov들이 canceling out돼서 이거 이해가 잘 안되는데 좀더 설명해줄 수 있을까 ㅠ?

[익명(175.116)]

음 Craig-Sakamoto theorem이 있음 (Hogg Craig의 그 Craig) 정규분포 따르는 quad form의 곱만 0이라도 독립이 보장된다는 정리인데 이걸로 추정량끼리 서로 독립 보이는데 많이 씀 > 가설검정 가능 이거랑은 별개로 분산분석에서도 TSS = ESS + RSS 꼴로 예쁘게 쪼갤 수 있겠네 - dc App

[L(118.235)]

릿지랑 라쏘를 특정 변수만 편미분 하겠다는 내가 이해하고 있는거랑은 좀 다른거 같은데 lossfunction 구할때 b1 b2만 있는 모형에 l2 페넬티가 미분해서 0되는 해를 구하는 거를 2차원 평면 사이에 그려보면 릿지에서 왜 beta값이 0 이 되기가 힘든지 이해할거고 lasso도 티비시라니의 컨셉은 절대값 l1페널티에서 각 구간에 따라 미분했을때

[L(118.235)]

b1 b2만 있는 loss에서 그려보면 해가 0이되는 beta값이 0이 나오는건 2차원 평면으로도 이해가 가능해

[L(118.235)]

x^2 + y^2 = r^2이랑 f(x,y) 로 생각해서 그림만 그려도 얼추 이해는 될거!

[L(118.235)]

위 편미분이 likelihood의 bate에 대한 편미분이면 맞는 말이고