SST = SSE + SSTR
이때 F통계량은 MSTR/MSE
(1)
분산분석의 귀무가설은 "각 그룹의 평균이 같다"인데 샘플을 추출하는 것에는 오차가 필연적으로 발생
고로 각 그룹 내에서의 변동성들의 합이 SSE임.
매우 이상적인 상황(귀무가설이 맞고, 샘플들이 정말 우연히 mu 근처만 나오는 경우)에서 SSE는 0에 가까워짐. 즉 이상적인 상황(귀무가설이 최고로 맞다는 상황)에서 SSE는 점점 작아짐. 반면 이상적인 상황이 될수록 당연히 SSTR은 점점 작아짐.
이러한 상황에서 SSE가 고정된 상태일 때 SSTR이 크다면 그룹의 평균간 변동성이 크다는 뜻이므로 각 그룹간 평균이 다르다는 뜻을 띠게 됨.
반면 SSTR이 고정된 상태일 때 SSE가 커진다면 각 그룹 내에서 변동성이 크단 뜻이므로 함부로 '각 그룹간 평균이 다르다'라고 말하기 힘들어짐. 다시 말해 SSE가 작아진다면 그룹간 평균이 다르다고 말할 수 있게 됨.
고로 F통계량이 클 수록 귀무가설을 기각하는 방향이 된다.
(2)
회귀와의 비교를 한다면, 회귀에서는 SST = SSR + SSE 임. 전체변동(SST) 중 회귀식으로 설명되는 SSR, 회귀식으로 설명이 안되는 오차항인 SSE.
이 때 아노바의 SSTR은 SSR과 대응, SSE는 그대로 회귀의 SSE와 대응.
왜냐면 아노바에서의 귀무가설에 따르면 SSTR은 일종의 설명불가항, 즉 대립가설에 따르면 SSTR은 대립가설에 의해 설명되는 항이기 때문.
SSE 역시, 회귀에서 SSE가 클수록 회귀가 설명하지 못하는 부분이 많은 것이고, 아노바에서 SSE가 크면 쉽게 대립가설을 받아들지못함. 이 둘이 유사한 역할을 하는 것.
이게 맞음?
맞음. 선형 모형 (linear model)에서 X가 연속형 변수면 회귀분석, X가 범주 2개짜리 범주형변수(binary variable)면 등분산 가정한 2표본 t검정 (또는 ANOVA), X가 범주 3개 이상인 범주형 변수면 ANOVA가 됨. X변수가 어떤 유형이냐에 따라 분석 이름만 바뀌고 이론은 동일함.
ㅇㅎㅇㅎ 느낌으로만 생각했던건데 확실히 잡힌 진짜 고마움!