중간고사 화이팅
-‐------------------
Design matrix의 차원이 커지면 그니까 설명변수가 많아지면 다중공선성 문제가 발생할 위험이 있어


다중공성성이 발생하게되면 완볃한 다중공선성이잇다??

풀칼럼랭크가 아니야서 역행렬이 존재하지않게됨 그럼회귀계수를 추정할수가 없지


혹은 랭크는 풀칼럼랭크인데 다중공선성이 높을수잇어 그럼 너씨발 똘레랑스 VIF이런거들어봣지 Vif란게뭐냐면 다중공선성이없을때 분산에비해 몇배 분산이 쳐증가하냐 그런거야 아무튼 그런 문제가생기면 분산이 존나게 커진디고 그럼 가설검정 좆박고 유의성도 좆박음


이런 문제를 해결하자.solve this problem


걍 설명변수들끼리 상관계수행렬구해서 drop해버릴수도닛지만 이러면 모형전체의 설명력은좆박을수있단말이지 그럼 어떡할건데


shrinkage method 철자까먹었네 씨발

한국말로 뭔지모르겟네 줄어드는 방식?

아 축소다 계수를 축소하는방식이잇단말이지


이건 그냥 잔차제곱합텀말고 패널티텀이 추가됨

제약텀 베타제곱으로 들어가서 람다곱되서 패널티된게 능선 리지 회귀분삭 이게 미분하기가편하니까


람다커지면 패널티커짐 이론상 무한대되면 람다가 계수들 0죔 람다0이면 계수는 Ols랑 같음


근데 주의할점이뭐냐 패널티텀에서 절편은 포함하지 않는다

근데 이거 매ㅌ릭스폼으로 설명하는데 병신새끼야 표준화한거 가르쳐줘야지 시발아 절편업는 모형 경우에 매트릭스 폼구하능거까지 간단 ㅇㅋ


일계조건 이계조건 positive definite


야그럼 역행렬 존재함? ㅇㅋ 존재함 람다를 주대닫선에 하나씩 박아넣는거라 풀칼럼랭크로 바뀜


그래서 다중공선상 치유함 차원의 저주 해결


이건 편향적인 추정량임 대신 분산이 작아짐 일종의tradeoff 항상 UMVUE가 좋은건아니다


이거말고 라쏘가있음 이건 계수들을 축소시키는걸 너머 0으로도 만듬 일종의 variable selection역할응하

라쏘가 더 좋다고하던데 경우에따라달겟디 이건 패널티텀을 제곱이아니라 절댓값으로줌 마찬가지로 절편은 노포함



그럼 람다 이 튜닝파라미터는 어케 설정하냐

그 leave one out cross validation인가 그걸로 샘플단위로 mean squared error만들어서 그거 최소화하는 람다찾으면됨 계속계속반복해서

- dc official App