심심하면 통계갤러리 집단지성의 오류를 체크해보세요



-----


유의수준이랑 유의확률이ㅡ너무 헷갈려요 왜 유의수준보다 확률이 낮으면 영가설을 기각하는거에요..?


귀무가설이 참일 때 귀무가설을 기각하는 행위는 위험한 거라서 (보통 귀무가설은 우리가 사실로 받아들이는 것) 귀무가설이 참일 때 귀무가설을 기각할 확률을 유의 수준으로 정해주는 거임. 유의확률이란 우리가 어떤 표본을 뽑았을 때, 그게 귀무 가설 하에서 나올 확률을 얘기함. 한마디로 유의확률이 낮다면 귀무가설이 참일 때 그 표본이 나올 확률이 낮다는 얘기임. 따라서 유의수준보다 유의확률이 작다면 귀무가설을 기각함. 왜냐하면 우리가 얻은 표본이 귀무 가설 하에서 얻어질 확률이 매우 낮기 때문임.



-----

간단히 정리하자면...종속변수 y가 범주형 자료면 로지스틱 회귀분석을 사용하고, y가 연속형 자료일 때 설명변수 x가 연속형이면 일반적인 선형 회귀를, 범주형이면 분산분석을 사용하시면 됩니다. (물론 x가 연속형이어도 분산분석을 쓸 수 있고, x가 범주형 자료여도 더미 변수를 사용해 회귀분석을 하실 수는 있습니다.) 수많은 자료 x들 간에 관계를 통해 뭔가를 알아내거나 변수 숫자를 줄이고 싶으실 땐 다변량 통계 분석 기법 (PCA , EFA 등)을 사용하세요.



-----

통계 관련 질문드리고 싶습니다.

다중리그레션을 돌리는데, Y가 회사의 risk고 x가 ceo의 나이나 회사의 규모 등등..의변수로 설정되어있습니다.

여기서 문제가.. 샘플 중에 다른 년도의 같은 회사가 다른 회사처럼 취급받기 때문에 통계적인 오류가 생긴다고 하는데 왜그런거죠? 제가 고민해보기에는 독립변수 사이에 상관관계가 생겨서 그런 거 같은데..autocorrelation이나 multicollinearity가 관련돼있는 거 같은데 이 방향으로 생각해보는 게 맞을까요??

예를 들어 리그레션 상 2007애플 2008애플 2009애플이 각기 다른 회사인 것처럼 취급되는 것이 문제를 불러일으킨다는건데.. 정확히 왜 그런지 모르겠습니다ㅠㅜ


시계열 자료분석 대부분은 독립적이지 않은 것을 다룸. 회사의 예전 시간의 리스크와 현재 시간의 리스크가 관련성이 있다고 가정하는 것. 쉽게 예를 들어 어제의 내 건강상태가 오늘의 내 건강상태에 영향을 미치는 게 autocorrelation이 있다는 예

반대로 네가 로또를 몇 번을 사든 당첨확률은 아무 영향 없으니까 그건 독립적인 것이고.



-----

1번 농구대 : 링 지름 50츠

2번 농구대 : 링 지름 70cm

3번 농구대 : 링 지름 90cm

4번 농구대 : 링 지름 100cm

A 선수, B 선수 가 1~4번 농구대에 슛을 쏘는데, 한손으로 5번 양손으로 5번 씩 슛을 쏩니다.

즉 각 선수는 한 농구대 당 10번씩 총 40번의 슛을 쏘게 되구요.

1. A, B 두 선수간의 정확도의 유의미한 차이가 없음이 결과로 나와야 함.

2. 두 선수간의 정확도 차이가 없다고 했을 때, 한손 슛 보다 양손슛이 실제로 더 정확한지 여부

3. 1,2번 농구대만 보았을 때 한손 슛과 양손슛의 정확도에서 유의마한 차이가 있는지 여부

4. (1,2번 농구대), (3,4번 농구대) 이렇게 두 군으로 나누었을 때 한손 슛에서 두 군간의 정확도에 유의한 차이가 있는 지 여부

5. (1,2번 농구대), (3,4번 농구대) 이렇게 두 군으로 나누었을 때 양손 슛에서 두 군간의 정확도에 유의한 차이가 있는 지 여부

이렇게 보려고 하면 카이제곱검정과 T-test 중에 어떤 방법이 더 적절한가요?

저는 A,B 선수의 차이가 없음을 결과로 낸 후, 선수를 구분하지 않고 각 농구대마 한손과 양손슛이 몇번 들어갔는지를 점수로 해서 평균을 냈고 이를 -test 를 통해 결과를 냈는데 A,B 선수를 구분해서 카이제곱검정으로 하는 것이 더 적절하지 않냐는 태클이 들어와서 문의 드립니다.


1. 개인적으로 data가 작아서 비모수적 방법이 맞는거 같습니다.

2. 그닌깐 작성자님은 결론을 내린 후, data를 다시 합쳐서 (즉, 새로 data를 만든 개념)으로 분석을 하시겠다는 의도인것으로 판단됩니다. 그리고 태클을 거신분의 의견은 아무리 차이가 없지만 그건 통계학적으로 차이가 없다는 의미이고 (즉, 실제로는 차이가 있으나 통계적 오류로 차이가 없다고 했을 가능성을 내포하고 있음.) 그러니 data를 새로 만들면 안된다.(즉, 원래 data로 가야 된다) 라는 의견이신거 같습니다.

3. 엄밀성의미에서는 태클을 거신분의 의견이 맞다고 생각되나 지금경우 data 숫자도 작고, 그리고 선행논문에서 그러한 방식을 이용했다면 (즉, 그 분야에서 이런식의 분석방법이 널리 사용되고 있다면) 큰 문제가 없다고 생각됩니다.



-----

즉 회귀에서 잔차 그래프를 그릴 때 패턴이 발견되면 왜 회귀식이 비선형을 가지는 지 궁금합니다. 


회귀식을 적합할때(선형회귀) 오차항을 가정하여 최소제곱법으로 적합하게됩니다. 

즉 시작이 오차항을 정해놓고 하는 거죠. 잔차는 오차항의 불편추정량입니다. 

그러기때문에 패턴이 존재하면 가정에 위배가 되기때문에 선형적합이 제대로 이루어지지 않았다는 뜻이죠. 

패턴의 종류에따라 비선형을 적합하는게 좋을지 선형적합을 하는게 좋을지다릅니다. 

패턴이 있다고 무조건 비선형은 아닙니다. 

수리적으로 본다면 sst= ssr+sse로 총제곱합을 나누게되는데 sse가 바로 오차의 부분입니다. 

즉, sse에 패턴이 보여진다는것은 아직 설명할수있는 부분이 있다는 뜻이죠. 

그러기때문에 ssr에 설명할수있는 부분(패턴)을 더 포함시켜줘서 sse에는 순수하게 오차만 남을수있게 해줘야합니다.



-----

주성분 분석에서 "분산을 최대화한다"는데 이 문장이 무슨 뜻 인지요?

분산은 작아야 좋은데 왜 일부러 최대화 하는지 궁금합니다.


각각의 변수에 대해 simple regression 생각해봐욧

y의 변화를 설명하는 게 x의 mean일까요 variance일까요

분산이 작아야 좋은 건 아웃풋이나 그렇고 인풋의 경우 분산이 작으면 거의 표본이 죄다 유사한 경우인데 예측에 그다지 도움이 되지 않음



-----

1. 다중회귀분석에서 y=b0+b1x1+b2x2+b3x3+b4x4에서 b1,b2,b3,b4 각각은 p값이 커서 유의하지 않은데 anova table에서 f통계량의 p값은 작아서 유의한 경우는 어떻게 해석해야될까요?

2. 유의하지 않은 독립변수는 제거하고 다시 회귀분석을 해야되나요?

3. 선형관계가 있을거라 예상되는데 개별 p값들이 큰경우는 다중공선성 외에 어떤 원인이 있을까요?

4. 분명히 다중공선성이 있을거라 예상되는데 vif값들이 10보다 작으면 어떻게 해야될까요?


1. 개별 변수는 통계적으로 유의하지 않아도 변수들의 선형결합으로 이루어진 모형은 그래도 랜덤한 것보다는 데이터를 설명하고 있다는 얘기입니다. 

2. 예전에는 그냥 제거하고 그랬지만 실제 배경지식과 분석 맥락에서 중요한 변수는 함부로 없애면 안됩니다. 

3. 의미있어 보이는 변수라고 해서 p값이 언제나 작아야 할 이유도 없습니다.

4. vif값이 작으면 그냥 놔두어도 상관없는 거지요. 분석은 배경 지식에 맞추어 설명할 수 있는지가 중요합니다. 수학적으로 p<0.05 아니면 그냥 버리고 이렇게 하면 실제 현실에는 엉뚱한 결과가 나올 수도 있습니다. 통계와 수학의 차이 중 하나입니다.



-----

적률이든 최대 가능도 추정이든 어떤 방법을 쓰든 도출된 추정량은  불편추정량으로 바꿔주는게 좋음?


좋은 추정량의 조건 중 하나인 unbiased는 맞춰주면 좋습니다.(필요에 따라 bias를 일부러 허용하는 경우도 있습니다)

특히 소표본일때 bias를 고려해줘야 할겁니다.



-----

단순선형회귀분석에서 예측구간과 신뢰구간의 차이는 왜 나타나는 건가요? 예측할 때 미지의 데이터의 분산이 더해진다고 생각해야 하나요?

미지의 데이터가 추가되었을 때 예측구간에서 유의수준 이상으로 벗어나 있다면 그건 미지의 데이터가 미리 가정했던 정규분포를 따르지 않은 결과라고 생각하면 될까요?


미지의 데이터(즉, 오차항;error term)를 더 고려해줘야하기 때문에 차이가 나는 거 맞습니다.

회귀분석에서 yhat은 정확히는 Y가 아니라 E(Y)에 대한 추정치 입니다. 따라서 y 한 점을 예측하려면 오차항도 고려해줘야합니다.

즉 오차항의 분산이 추가적으로 들어가야하기 때문에 신뢰구간과 예측구간은 차이가 발생합니다.

=> 신뢰구간-E(Y) / 예측구간-Y



-----

쉽게 생각해서 유의수준은 이 정도면 귀무가설을 기각할만큼 강력한 증거가 될 수 있겠다 라는 조건이라고 생각하시면 됩니다.

H0:평균=0 이라고 한다면 샘플들이 어떤 수준의 값을 가져야 귀무가설이 옳지 않다고 말할 수 있을까요?

샘플평균이 1만 나와도 아니라고 할 수 있을지 10이 나와야 아니라고 할 수 있을지 사람마다 의견이 다릅니다.

그래서 귀무가설이 맞다는 전제하의 분포에서 극단치에 이르는 5퍼미만에 속하는 값들은 귀무가설이 아니라고 해도 좋다 라는

객관적? 기준인 유의수준을 제시하게 됩니다. 유의수준 0.01, 0.05를 정하는 건 연구자의 주관이라 객관적이라고 하는 것도 뭔가 좀 애매하네요

어쨌든 평균=0이 맞다고 했을 때 예를들어 귀무가설이 표준정규분포(평균0,분산1)를 가정한다면

1.96이상의 숫자가 나올 확률은 2.5퍼센트가 됩니다. -1.96이하의 숫자가 나올 확률도 2.5퍼니까

둘이 더하면 5퍼가 되겠죠? (참고로 이렇게 5퍼를 쪼갠 이유는 양측검정이어서 그런 것입니다.)

여기서 우리는 샘플 평균이 1.96이상이거나 -1.96이하의 값이 나오면 평균은 0이 아니라고

말할 수 있는 기준을 가지게 됩니다. 이게 바로 '유의수준'이 되는 것이고 유의수준에 해당하는

1.96, -1.96 값을 '기각역'이라고 합니다.

그런데 관측된 자료들이 얼마나 강력한 증거인지를 좀 더 자세히 알기 위해서

p value값을 알아보게 됩니다. p value는 관측된 값이나 그 값보다 극단에 이르는(크거나 작은) 값이

나올 확률을 말합니다. 만약 샘플뽑아서 평균내본값이 1.645가 나왔다면 그 이상이 나올 확률은

5퍼센트 입니다. 그런데 지금 예시는 양측검정이라 2배를 해줘야해서 p값은 10퍼가 됩니다.

1.645가 나왔다면 평균=0이 아니라고 말을 못하게되는거죠.

만약 3이 나왔다면 2*(1-0.9987)=0.0026이 p값이 되겠네요. 평균=0이라고 한다면 3이 나올 확률은

0.26퍼센트라는 건데 얼마나 나오기 힘든 값인지 와닿으시나요? 그럼에도 불구하고

3이 나왔다는건 이게 사실 평균=0이 아니지 않을까? 하는 의심을 확신으로 바꾸기

의심을 확신으로 바꾸기에 충분히 강력한 값이라는 겁니다. 그래서 귀무가설을 기각할 수 있는거죠.



-----

결정계수가 0.6도 안되면 모형을 유의미한 결과로써 제시할수 없지않음?

논문들 보다보면 결정계수 0.2~0.3인 추정치들을 제시해놓고 비교하면서 a가 b보다 r^2가 높으므로 더 유의하다 이런식으로 말하는데

애초에 0.5를 넘지 않으면 이 모형 자체가 실제를 설명할 수 있다고 말할 수 없기 때문에 추정치를 제시할 수 없는 거 아닌가?

그리고 보통 어느정도 모형이 신뢰성이 있다라고 하는걸 0.6~0.7 정도로 말하는 것으로 아는데


통계학을 쓸거면 결정계수로 얘기할게 아니고 p value같은걸 생각해야지

만약 동일 집단인데 변수 수 늘려놓고 a가 b보다 더 유의하다 이딴식으로 씨부리는 사회학쪽 논문은 그냥 개소리고

그 외에 아예 모형이 다르다고 해도 표본마다 오차가 존재할 수 있으니 어느 정도 차이는 무시하는 게 맞음

그리고 사회과학쪽 논문이면 결정 계수 낮은 것은 수두룩함. 왜냐면 하도 이거저거 복합적으로 꼬여서 일어나는 일들이기때문에 결정 계수 높기가 힘들거든. 거기에 더해서 목적 자체가 실제를 예측한다이거 보다는 특정 변수가 실제 현실에 어떤 영향을 주는지를 알아보는 경우가 많음. 이게 1픽이 말한 계수의 p-value를 봐야된다의 의미고

:위 형님들이 설명 잘 해주신듯 우선 통계적 모델링은 ML쪽 애들이 생각하는 거랑 다르게 맞추는게 장땡이 아님. 1st Moment로만 때려맞추는게 아니라 2nd Moment 이상을 보면서 추정량의 분산, 에러 텀의 분산 등을 꼼꼼히 보면서 변수가 유의한지, 부호는 +인지 -인지, 얼마나 효과가 있는지 등등 다각적으로 봐야함 - dc App

사과쪽은 보통 인과성 보려고 하는 경우여서 flow가 모델이 잘 맞춘다가 아니라 모델을 썼더니 이 독립변수가 -로 종속변수에 인과적으로 영향을 준다 느낌으로 보면 됨 - dc App

결정계수가 그렇게 중요한거면 그냥 데이터 개수 n개면 n차 다항식 하나 만들면 결정계수 1이라서 쌉이지 왜 이런 테스트 저런 테스트 하겠냐 - dc App



-----

너네는 수리통계학 왜 공부해야 한다고 생각함?


실제 데이터는 iris wine gapminder 같이 안나옴 전처리 해야되는데 데이터 전처리가 다 수통 기반임 -

너 말대로 분석 기법 모르고 쓰면 어디가서 데이터한다고 말할 수 있냐 코딩 사기꾼이지 –

너무 넓은 범위라 말하기 좀 어려운듯 분포같은건 모델링을 하려면 당연히 알아야되는거고, 분포수렴 이런건 내 추정량이 좋다는거 보이려면 필요한거고, 솔직히 충분 통계량 이딴건 어따 써먹는지 잘 모르겠음

ㅇㅇㅇ

충분통계량 확장한게 차원축소라서... 현실 데이터 변수가 수없이 많을때 그걸 어떻게 줄이냐라는 문제에서 많이 쓰임

ㅇ

아직 공부가 부족한가 실제로 내가 제안한 estimator가 (minimal/complete) sufficient 하다 이런 얘기를 하는 연구가 있음??

ㄹ

sufficient같은거는 이미 다 끝난지 오래고, 리스크에 기반한 추정량들에 대한 연구가 많음. 위샤트분포라는 나름 잘 알려진 분포의 minimax추정량에 대한 논문이 2011년 annals에 실릴정도로 아직 연구 거리가 많다고 알고있음 

sufficient한 차원축소와 관련한 연구는 아직 많은듯 나도 잘 아는 분야는 아니니 이만 



-----

통계학 날림으로 배운 닝겐인데 MLE배우고 검정하는게 데싸랑 어케연결됨


mle 가 중요하기보다는 추정에서 likelihood가 중요하고 검정은 약간 decision theory 기본 느낌이라 중요한거 아닐가

t 검정이네 F 검정이네 하는 것들이 어지간하면 mle 기반이라 중요한거고, 저런걸로 검정 안하면 데싸에서 뭐하게? 평균 분산 분위수 요약하고 끝내게?

모델링에서 Estimator를 어떻게 구할건데? OLS? MLE? MME? Bayesian? - dc App

모델을 구하는 과정입니다. 선형회귀에서도 MLE(LSE에 정규가정들어가면 MLE임), 일반화선형모형들에서도 모두 MLE 방법으로 수치적인 해를 구하져