이번에 통계학 수업을 듣는데 유의수준 유의확률 부분 질문드립니다.
일반적으로 유의수준보다 유의확률(p-value)가 낮으면 귀무가설을 기각한다. 라고 하잖아요?
위의 문장이 연결관계가 도저히 이해가 안가서 질문드립니다.
검색해서 이해한 바로는
유의수준(a)은 실험자가 실험 전 설정하는 1종 오류를 범하는 허용 범위이다.
유의수준이 5%라고 할 때, 100번 실험을 진행하면 귀무가설이 맞는데 귀무가설이 틀렸다고 주장하는 것의 허용되는 최대치는 5번이다.
약간 이런 느낌인데 일단 여기서부터 좀 와 닿지가 않습니다.
일단은 이어보겠습니다.
유의확률(p-value)는 내가 귀무가설을 기각했을 때 해당 행위가 틀릴 확률을 말한다. 즉 유의확률이 1%가 나왔다면 귀무가설을 잘못 기각할 확률이 1%기 때문에 충분히 기각을 해도 괜찮다고 볼 수 있다.
이렇게 알아봤습니다. 유의확률이 무얼 말하는 지는 이해를 했습니다.
문제는 다시 처음으로 돌아가서 유의수준보다 유의확률이 낮으면 귀무가설을 기각한다는 것인데....
1종 오류의 최대 한계치보다 귀무가설의 기각행위가 틀릴확률이 낮으면 귀무가설을 기각한다. 라는 문장이 앞뒤가 연결이 안되는 것 같습니다.
(귀무가설이 맞는데 귀무가설을 틀리다고 말할 최대 확률)보다 (기각행위가 틀릴확률)이 낮으면 귀무가설을 기각한다. 이게 참 무슨말인지...
보시는 분들께서 이게 뭔소리야 하시는 생각이 들 수도 있는게 사실 제가 이 글을 쓰는데도 저게 뭔소리인지 이해가 안가서 제가 받아들인 그대로로 적고 있기 때문입니다 ㅠㅠㅠ 정말 죄송합니다.
귀무가설의 기각행위가 틀릴 확률 = 귀무가설이 맞을 확률이라는 뜻이니까 그게 낮으면 귀무가설을 기각한다 라는거 아님?
근데 단순히 기각행위가 틀릴확률이 낮다면 앞에 유의수준보다 낮으면이랑 연결을 지을 필요가 없지 않나요? 물론 ~보다 낮은건데?를 위해서 기준을 잡으려고 유의수준이 필요하다고 하는데 문제는 왜 비교 대상이 유의수준인지가 이해가 안갑니다.
그냥 기준잡으려고 있는거 맞는데요.
쉽게 생각해서 유의수준은 이 정도면 귀무가설을 기각할만큼 강력한 증거가 될 수 있겠다 라는 조건이라고 생각하시면 됩니다. H0:평균=0 이라고 한다면 샘플들이 어떤 수준의 값을 가져야 귀무가설이 옳지 않다고 말할 수 있을까요? 샘플평균이 1만 나와도 아니라고 할 수 있을지 10이 나와야 아니라고 할 수 있을지 사람마다 의견이 다릅니다. 그래서 귀무가설이 맞다는 전제하의 분포에서 극단치에 이르는 5퍼미만에 속하는 값들은 귀무가설이 아니라고 해도 좋다 라는 객관적? 기준인 유의수준을 제시하게 됩니다. 유의수준 0.01, 0.05를 정하는 건 연구자의 주관이라 객관적이라고 하는 것도 뭔가 좀 애매하네요
어쨌든 평균=0이 맞다고 했을 때 예를들어 귀무가설이 표준정규분포(평균0,분산1)를 가정한다면 1.96이상의 숫자가 나올 확률은 2.5퍼센트가 됩니다. -1.96이하의 숫자가 나올 확률도 2.5퍼니까 둘이 더하면 5퍼가 되겠죠? (참고로 이렇게 5퍼를 쪼갠 이유는 양측검정이어서 그런 것입니다.) 여기서 우리는 샘플 평균이 1.96이상이거나 -1.96이하의 값이 나오면 평균은 0이 아니라고 말할 수 있는 기준을 가지게 됩니다. 이게 바로 '유의수준'이 되는 것이고 유의수준에 해당하는 1.96, -1.96 값을 '기각역'이라고 합니다.
그런데 관측된 자료들이 얼마나 강력한 증거인지를 좀 더 자세히 알기 위해서 p value값을 알아보게 됩니다. p value는 관측된 값이나 그 값보다 극단에 이르는(크거나 작은) 값이 나올 확률을 말합니다. 만약 샘플뽑아서 평균내본값이 1.645가 나왔다면 그 이상이 나올 확률은 5퍼센트 입니다. 그런데 지금 예시는 양측검정이라 2배를 해줘야해서 p값은 10퍼가 됩니다. 1.645가 나왔다면 평균=0이 아니라고 말을 못하게되는거죠. 만약 3이 나왔다면 2*(1-0.9987)=0.0026이 p값이 되겠네요. 평균=0이라고 한다면 3이 나올 확률은 0.26퍼센트라는 건데 얼마나 나오기 힘든 값인지 와닿으시나요? 그럼에도 불구하고 3이 나왔다는건 이게 사실 평균=0이 아니지 않을까? 하는 의심을 확신으로 바꾸기
의심을 확신으로 바꾸기에 충분히 강력한 값이라는 겁니다. 그래서 귀무가설을 기각할 수 있는거죠.
유의확률은 대립가설을 채택하는 데 조심해야 할 확률임. 조심해야 할 확률는 낮을 수록 좋은 것. 유의확률 즉 p값이 0.00001 이 나왔다는 것은 대립가설을 채택해도 잘못 될 (제1종 오류) 0.00001 이라는 거임 비유하면, 수술할 때, 귀무가 수술을 안해도 된다고 대립이 수술을 해야 한다. 라고 했을 때, 자료 조사후, 수술을 해야 한다는 결론을 내렸을 때, 즉 대립가설에 따라서 수술을 해 보니 거기에 암이 없을 확률이 0.00001% 라는 거임 만약, 유의 확률이 0.05 보다 큰 수 가령 0.9이 나왔다는 것은 수술을 해야 한다는 주장이 틀릴 확률이 90%라는 것으로, 수술 결정을 조심해야 할 확률이 무려 90%가 되면 아무도 수술을 안 할 것임