[일반] 다중공선성과 랜덤포레스트
익명(175.223)
2022-07-04 16:51
추천 2
댓글 15
다른 게시글
-
읽을만한 통계 역사책 없나? [1][일반] 익명(210.117) | 22.07.04추천 0
-
통붕이들은 과외 어떻게 구하냐? [2][일반] 익명(106.102) | 22.07.03추천 0
-
의학통계 쪽은 완전히 망한게 ㄹㅇ임? [14][일반] 익명(175.223) | 22.07.03추천 0
-
머신러닝과 일반적인 모형의 프로그래밍에 있어서의 차이 질문 [8][일반] 익명(220.76) | 22.07.02추천 0
-
R 통계학이라는 책 연습문제 왜 이따구임??? [4][일반] 익명(118.235) | 22.06.30추천 0
-
학부생이 현업에 대해서 느낀점 [4][일반] ㅌ(67.218) | 22.06.30추천 0
-
R 강의 추천좀 해줘용 행님들 [6][일반] 익명(223.38) | 22.06.30추천 1
-
통계 사설인강 좋냐 [6][일반] ㅇㅇㅇ(1.237) | 22.06.30추천 0
-
통계학은 한의학같은 거임 [14][일반] 익명(175.223) | 22.06.29추천 14
-
형님들 질문있읍니다 [7][일반] 익명(223.39) | 22.06.29추천 0
저 원글 페북에서 처음 볼 때 다중공선성도 잘 모르면서 모델 피팅 맞추기에만 급급한 사람인 것 같아 이상했었는데. 더 웃긴건 그 원글을 빨아주는 댓글이 한가득이었음 - dc App
다중공선성과 관련된 얘기는 맞는 얘기 아님? centered MLRM에서 design matrix가 nearly linearly dependent고 컴퓨터상으로는 (X^TX)^-1 계산 잘 안되는거는 맞는 얘기같음. 그런 맥락에서 릿지회귀에서 LSE가 K단위행렬이 추가해서 계산되는거고.
아니 원글을 읽어보면 모델 잘 맞추는데 다중공선성은 중요하지 않다가 핵심이잖아. 릿지는 정규화를 시켜서 인버스 계산이 되게 해주는거고 - dc App
다중공선성 문제에서 VIF를 variance inflation factor라고 본다면 원글에서도 그렇게 틀린 얘기는 아닌것 같아
단순 linear regression이더라도 형 말처럼 괜히 정규화를 하는 게 아닌데, 원글 작성자는 잘 맞추려면 신경쓰지 말고 넣어라니까 말이 안 되는거지 논리니어에서는 상관없다는 말도 헛소리고 - dc App
다중공선성에서 VIF 보는 건 ㅇㅈ하는데 corr matrix 안 볼 이유도 없는게, 딱 두 변수만 corr 0.9가 돼도 보통 VIF 10 이상으로 날아다니잖아 글쓴이가 예시로 든 것도 엄밀하게는 틀린 예시지 - dc App
올만에 공격적이지도 않고 유익한글이군요 옛날파비는 이런글 많아서 좋았음
ㄹㅇ 맞는 말을 하긴 하는데 너무 공격적으로 말해서 안 보게 됨
원글에서 상관계수와 관련된 얘기는 맞다고 생각함. 다중공선성이라는건 design matrix가 거의 linearly dependent하다는거고 그 얘기는 해당 변수가 다른 변수들의 선형결합으로 표현 가능하다는 얘기라서 단지 pairwise로 확인하는게 아니라 VIF로 확인하는게 맞음.
다만 그냥 선형회귀에서도 종속변수 예측하는데 상관 없다고 한건 틀린 말인듯? LSE의 분산이 폭증하는데 회귀 계수 추정이 잘못되면 당연히 종속변수 예측에 영향을 주니까.. 그리고 다중공선성 문제 있을때 단순히 변수를 삭제하는게 아니라(그럼에도 불구하고 중요한 정보를 포함할 가능성이 있기 때문에) 원글 말 아니면 Biased Regression(릿지,주성분)으로 어느정도 unbiased estimation포기하고 MSE관점에서 하이퍼파라미터 조절하면서 Unbiased regression하고 비교해서 결론내는게 좋을 수 있음. 트리 기반은 대표분 말씀이 맞는것같고.
근데 그냥 예측만 하고싶은거면 (acc만 높이려면) 신경안써도 되는게 맞음. 퍼포먼스 측면에서 별 차이가 없어. 그런데 Feature importance가 왜곡되니까 결과 해석에 문제가 생기지
당연히 design matrix가 완벽히 linearly dependent안되면 Unbiased Regression으로 fitting이 가능할 수도 있음. 근데 베타 분산이 엄청 커지니까 fitting이 되더라도 소용이 없다는 얘기임
너무 좋은글 감사합니다.
아 lasso는 상관 없다고 ㅋㅋ l1 regularization해서 sparse하게 만들면 된다고 ㄹㅇㅋㅋ
vif는 당연히 variance inflation factor인줄 알았는데 저런 말은 또 처음 들어보네.... 그와 별개로 x간 correlation보거나 Rsq 비교하는거 보면 암걸리는거나 p가 너무크면 variable pre-selection을 해야된다는 얘기는 공감됨 ㅋㅋ 무지성으로 돌려도 결과가 괜찮을거 같은건 맞는데 무지성으로 돌리면 애초에 돌아가지가 않음...