예를들어 종속변수 = 절편 + 독립변수1 + 독립변수2 + 독립변수3 이라고 가정하면
상관분석 시에는 독립변수 1, 2가 종속변수에 대해 양의 상관관계, 3이 음의 상관관계로 도출됨
근데 회귀분석 하니까 독립변수 1의 회귀계수는 +, 독립변수 2, 3의 회귀계수는 -가 나옴. 여기서 궁금한건 독립변수 2인데
회귀계수 자체가 해당 독립변수가 얼마로 투입될 때 종속변수의 증가량을 의미하는 거잖아. 근데 그렇게 치면 상관분석에 나온 대로 독립변수 2의 회귀계수는 +여야 하는데 -인 이유는 뭐임? 내가 모형을 잘못 만든거임, 아니면 이런 경우도 충분히 있을 수 있는거임? 그냥 단순히 모형을 fitting하는 과정에서 이 변수가 희생(?) 된 거라고 봐야 하나?
심슨의 역설 아키냐
왜 독립변수 2의 회귀계수가 +여야한다고 생각함?
통알못이라..
아래에 저 bias 운운하는 댓글은 개씹소리니까 무시하고. 다중회귀분석에서의 회귀계수와 상관계수는 전혀 상관이 없음. Partial correlation과 다중회귀분석의 회귀계수는 관련이 있음.
변수2의 이펙트가, 즉 변수1 , 3이 (통제) 되었을때 이펙트가 -라고 생각하면 됨.
그냥 변수2랑 y랑 상관괸계일때는 나머지 변수를 생각안하고 본거고
내가 추론한거랑 어느정도 비슷하긴 하구만 ㄳㄳ
+가 바이어스된 상태엿고, 변수를 추가해보니 실제로는 -영향
상관분석은 두 변수끼리의 corr (regression으로 치면 simple regression) multiple regression에서도 partial corr coefficient를 봐야 함 bias 운운 글이 개씹소리라는 형 말도 개씹소리인게, simple regression을 돌리면 omitted variable bias가 생김 - dc App
결국 simple -> multiple reg로 가면서 변수를 넣으면서 +로 과다계산된 omitted variable bias를 치유하는 거고, partial coeff로 바뀌면서 다른 변수들을 제어한 상태에서 순수 해당 변수의 효과만 보는 것임. 윗 형 simpson's paradox도 어느 정도는 맞는 말임 - dc App
highly multicollinear 케이스에서는 사정이 조금 다를 수 있는데, 이 경우 omitted variable bias로 인한 계수 부호나 크기 조정의 영향보다는 변수간 corr가 높아서 partial corr coeff가 불안정해서 바뀌는 영향이 더 클 것 - dc App
omitted variable bias 얘기하려면 나머지 변수가 진짜 relevant한지부터 검증해야지 아무거나 집어넣고 omitted라고 주장함? ㅋㅋ ground truth도 모르는 상황에서 원래 corr가 bias돼있다는 주장은 개씹소리 맞는데?
당연히 변수 유의성 테스트해야지 아무거나 넣는다고 다 omitted variable인줄 아냐 ㅋㅋㅋㅋㅋ 지금 부호까지 바뀌는 상황은 최소 x1, x2끼리는 corr가 어느 정도 높다는 건데 이 경우 새 변수가 y를 추가로 설명할 수도 있다고 생각하는 게 합리적이겠지 결국 omitted variable과 partial corr 짬뽕임 - dc App
논점은 bias 영향이 얼마나 크겠냐인데 simple reg는 웬만하면 bias를 크게 가지고 있다 보는 게 맞고, 독립변수 3개 쓴 multiple reg가 그래서 치유를 해주긴 해줬냐?라는 물음에는 F검정 등으로 추가된 변수가 모델에 영향 끼쳤는지 검정해보면 끝날 일임 - dc App