통계 공부하는 초짜 어린이입니다.. 기초부터 공부하려는데
https://blog.minitab.com/ko/adventures-in-statistics-2/how-to-correctly-interpret-p-values
이 블로그를 보니 P값을 오류를 범하게 될 확률로 생각하면 안된다고 적혀있더라고요. 저는 대충 그렇게 생각했는데 무슨 문제가 있나 궁금합니다.
P값이 오류율이 될 수 없는 이유는 다음과 같습니다.
첫째, P값은 모집단에 대해 귀무 가설이 참이며 표본의 차이가 오로지 무작위 확률에 의해 발생했다는 가정에 기반하여 계산됩니다. 즉, P 값은 계산에서 보면 100% 참이므로 귀무 가설이 참이거나 거짓일 확률을 나타낼 수 없습니다.
둘째, 낮은 P값은 데이터가 실제 귀무 가설을 가정할 가능성이 낮음을 나타내지만, 다음 두 경우 중 어느 쪽의 가능성이 더 높은지 평가할 수는 없습니다.
- 귀무 가설은 참이나 표본이 특이함
- 귀무 가설이 거짓임
어느 경우의 가능성이 더 높은지 판단하려면 해당 주제에 대한 지식과 반복 연구가 필요합니다.
아까의 백신 연구로 돌아가 P값(0.04)을 해석하는 올바른 방법과 잘못된 방법을 비교해보겠습니다.
- 올바른 방법: 백신이 효과가 없다고 가정한다면, 무작위 표본 추출 오류로 인해 연구의 4%에서 관찰된 수준 이상의 차이가 도출됩니다.
- 잘못된 방법: 귀무 가설을 기각하면 오류를 범할 확률이 4%입니다.
여기서 제가 궁금한 점은 위같은 이유라면 유의수준 같은 것도 1종 오류가 일어날 확률의 최대 허용치라고 적혀있는데, 그것도 잘못된게 아닌가요? 넘 어렵네요.
1종 오류는 귀무가설이 참이라는 가정하에 귀무가설을 기각할 확률임. 잘못된 선택을 할 가능성이지. 이 값을 0%로 만들 수 없기 때문에(혹은 만들면 테스트 자체가 개판이 되어버리기 때문에) 일정 수준 감내하게 되는데, 이게 네가 말한 유의수준이야. 그래서 유의수준은 사전에 정해서 들어감. p value는 귀무가설이 참일때, 관측된 데이터나 혹은 더 극단적인 데이터가 나올 확률임. 여기에 참/거짓판단은 안들어가. 근데 그 확률이 희귀할 수록 귀무가설이 맞지 않을 가능성이 높아지겠지? 여기서 유의수준과 p value의 관계가 나오는데, 유의수준에서 어느정도는 감내하겠다라고 정했기 때문에, p value가 그보다 작으면 귀무가설을 기각하는거야.
물론 p value에 대한 논쟁은 기나길고, 나 같은 석사 나부랭이가 이렇다 저렇다 떠들기는 어렵긴 함. 통계 초보자라면 간단하게 유의수준 = 사전에 정해둔, 일정의 기준(연구자의 판단이 들어감) p value = 데이터가 말하는 확률 (연구자의 판단 같은거 안들어감) 라고 이해하면 됨.
확률자체에 참 거짓이 없다는거 이해했습니다! 감사합니다!
p값은 귀무가설이 참일때 내가 관찰한 데이터보다 더 극단적인 값이 나올 '확률'이고 1종 오류는 귀무가 참일 때 기각하는 것. 1종 오류의 개념에는 이미 참/거짓이 정해져 있음. 그래서 오류를 따질 수 있지. p값이 오류율이 될 수 없는 두 가지 이유: 1. 그럼 통계적 결과 중 5%는 거짓일까? 를 생각해보면 통계적 결과는 다음의 네 가지잖아: a, 1-a, b, 1-b. 이 중에 참값은 귀무가 참일 때 귀무를 택한 1-a와 대립이 참일 때 대립을 택한 1-b가 있지. 그래서 전체 중에 틀린 것은 a(보통 0.05)가 아니라 a+b가 되지. (참고: 검정력이라 불리는, 대립참, 대립선택의 1-b값은 관례적으로 0.8로 잡고 있음)
2. 귀무가설이 항상 5% 수준에서 틀릴 거라는 보장이 사실 없음... 0.05도 관례로 잡은거라 다양한 요인(확률의 농간, 작은 표준편차)으로 0.05보다 작아도 귀무가 참일 수 있지. 귀무평균 50인데 실제로 50.1이 평균이라면 p값으로 이걸 어떻게 잡아낼 것인가... (표본수 무지막지하게 크게 하는 방법이 하나 있음)
감사합나다..ㅠㅠ 오류가 1종과 2종 둘다를 말한거군요