다중회귀OLS를 돌리려고 함(더 정확히는 Pooled-OLS) 가정, 정규성, 등분산성, 독립성...
독립변수에 교호작용항이 들어가는 관계로 그들 간의 독립성은 어쩔수 없고,
등분산성에 문제가 있는데(독립변수 : 더미도 여럿있고, 교호작용항도 여럿있음)
일반적으로 등분산성의 문제를 해결하기 위해 사용하는 로그나(종속변수 로그),
WLS (가중선형)은 되질않더라고...
등분산성 테스트에서 실패하더라고...
이게 잔차의 모양이 뭔가 더 퍼지거나 좁아지면 WLS가 맞겠지만 뭔가 방향성을 가지더라고 ㅜㅜ
이게 plot을 그려보면
여기저기 찾아보니, 여러 방법들(대략 6가지)이 있긴하던데,()
이런 경우 해결할 수 있는 방법이 있을까..? 아이디어 있으신분 있으실까요?
종속변수 뭐임?
종속 : log(가격/사이즈 +1) 독립 : 연도더미(41개연도) + 지역더미(70개) + A 까지 거리 + 높이 + 높이*연도더미 + 높이*A까지거리 + A까지 거리*연도더미 + 기타 다른 변수들 and independent variables are year_dummy(21 years) + region dummy(70 regions) + distance to A + height + heightyear_dummy + heightdistance + distance*year_dummy other characteristics
보고싶던건 높이가 가격에 미치는 영향이 거리에 따라 어찌 다른지, 연도에 따라 어찌다른지. 거리가 가격에 미치는 영향이 연도에 따라 어찌다른지
종속 : log(가격/사이즈 +1) .... 종속변수에는 로그 붙이는 거 아님, 나중에 해석 어뜨케 할려구? ㅋㅋ
게다가 +1 은 누가 하라고 갈켰음? --;;
+1은 종속 변수 양수 만들라고 저러는 것 같은데, ㅄ 짓이니까 빼고. 사이즈 당 가격 측정하려면 저렇게 하는 것보다 offset으로 빼는게 나음. 그리고 종속변수에 로그 붙이는 거 아니라는 건 개소리지. 대표적으로 정규 분포 변환하는 방법 중에 하나가 박스 콕스 변환인데, 이것도 로그 씌우는 데 무슨. 그리고 종속변수에 로그 씌우면 x가 한단위 변할때 y가 몇 % 변하는지로 해석됨.
+1은 로그 변환 후 가격/사이즈가 0인 케이스 있어서 log0 나오면 에러 발생하니까 붙인 거 같음.
종속변수 로그변환 : 회귀분석 때 X 종속변수 로그변환 : 비율,재표현의사다리 O 둘의 차이는 뭘까? 회귀분석 때는 두 변수의 관계를 보는 건데 숫자를 변환하면 해석을 못 함 당장, log(가격/사이즈) 해석을 어케함? 비례나 박스콕스는 두 변수의 관계가 아니라 Y 하나의 변수만 보는 거임
댓글 제대로 안 읽었지? 물론 여기는 사이즈 당 가격이라 ㅂㅅ 같이 해석되는 건 맞지만 , 로그 변환은 자주 쓰인다니까? 종속변수만 로그 씌우면 x가 한단위 변했을때 y가 몇 % 변하는지로 해석하고, 둘다 로그 씌우면 x가 % 변환했을때 y % 변환하는 식으로?
https://data.library.virginia.edu/interpreting-log-transformations-in-a-linear-model/
지금
당장 구글에 regression log y 로 쳤을때 맨 위에 올라와 있는 글이다. 멀쩡히 다들 변환하는데 그딴거 없다고 계속 우기고 있어
그리고 밑에 댓글 여기다가 쓰는데, 종속이 포아송 따를때는 보통 로그보다는 루트를 씌워....
로그 씌우는 거 하나로 호들갑 ㅈㄴ 떠는데 종속변수가 음이항 따를때 y에다가 아크사인 씌우고 하는거 보면 아주 그냥 기절하겠네
223 131 저학년임? - dc App
정규성 위반은 부트스트래핑 쓰면 되는데 등분산성 위반은 좀 답 없음. 로그변환해도 안되면 뭐 어쩔수 있나 걍 다중로짓같은거라도 써야지
질문잔데요, log((가격/사이즈) +1)가 정확하겠네요.
단위당 가격으로, 로그변환은 선행연구에서도 일반적으로 쓰이는 것인데, 종속변수에 로그 붙이더라고요
대체 어느 연구입니까? 선행 연구 논문 좀 봅시다
+1은 대학교수가 그렇게 해보라고 갈켰음. ㅋㅋㅋ 위에 어떤 분 말씀대로, 로그변환 시 마이너스 나오는 게 있어서 그렇게 한 거임
그럴리가요
로그에 +1하는거 exp취하면 없어짐 근데 +1로 인해서 무한이나 0처럼 데이터 평균이나 학습 이상하게 만드는 값은 사라지게 만들어줌 그래서 +1함
회귀분석에서 y를 바꾸는 경우는 크게 세 가지 1 : 종속변수가 베르누이분포일 경우 이 때는 로짓함수 2 : 종속이 포아송일 경우, 이 때는 로그함수 3 : 종속이 감마분포일 경우, 이 때는 역수함수
이건 그냥 너무 나간 소린데. 회귀 분석, 특히 해석을 위한 회귀 분석의 경우 어느 정도 기존 이론에 맞춰야 하기 때문에 변수에 로그 씌우는 경우는 ㅈㄴ 많음. 예를 들어 박테리아 분석 처럼 y=a*exp(beta*x) 꼴 일경우 양변에 로그 씌우는게 당연하지. 결국 선형 회귀 분석은 베타에 대해서 회귀분석이면 그만이니까. 그리고 계량 경제쪽에서는 백분율 증가를 근사하기 위해서 로그 씌우는 경우가 빈번함. 고대 박상수 교수님이 번역한 울드릿지 계량 경제학 보면, log y와 log ㅌ 의 관계는 x가 % 변환할때 y % 변환이고, log y와 그냥 x 관계는 x가 한단위 변화할때 y가 % 변환으로 해석한다고 나와있음
베타에 대한 회귀분석 -> 베타에 대한 선형
종속변수가 정규분포이므로 항등함수 즉, y = aX1 + bX2 가 됨
그리고 원 글쓴이 종속변수 가격인거 보면 계량쪽일수도 있는데, 여기는 백분위 변화나 탄력성 구하려고 로그 씌우는 경우 ㅈㄴ 많음. 근데 시발 교수가 왜 +1 하라고 하는지 모르겠네. 구글에 회귀분석 offset 검색해봐. 어차피 가격이 1미만으로 내려가지는 가격만 단독으로 씌우면 음수로 안 내려갈테니까. 그리고 어차피 로그 변환하는데 음수로 가는게 무슨 문제인지 모르겠네. 어차피 해석은 다시 돌아올텐데
아 시발 왜 +1 하라고 하는 줄 알겠다. 글고 이거 계량경제 쪽이네. 여기서는 가격/사이즈라서 좀 ㅂㅅ 같이 해석되기는 하는데, 경제 쪽에서 log(x+1) 은 흔하게 쓰임. x가 충분히 작다는 가정하에, x가 변화율임.
근데 그렇다고 해서 이 사례에 딱 들어맞는 건 아니라서 +1은 안하는게 나을듯
단순하게 종속변수에 로그 씌워서 선형으로 만들어서 회귀모델 만들고 출력할때 다시 지수 씌워버리면 어떤 문제가 일어나?? 특정 분야말고 전반적인 분석에서 - dc App
종속변수 로그변환은 안 하는게 좋음 왜냐하면, 회귀분석은 x의 1 단의 번환에 따른 y의 변화량을 보는거기 때문임 근데 로그를 붙이면 x와 y의 관계가 아니라 전y와 두y 의 변화량을 보기 때문임 해석 자체가 달라짐
두y 뒤y
음 단순하게 x의 변화량만큼의 y의 로그의 변화량 예측모델을 만든 후에 이후 출력되는 결과 값을 다시 지수변환 시켜주는거 자체가 안되는거야? - dc App - dc App
회귀는 돌리고 난 뒤의 잔차의 분포를 보려고 돌리는거에요. 로그는 쉽게 종속을 % 단위로 보고싶으면 씌우고 아님 말고임. 계량 쪽 논문에 로그를 자주 쓰는건 종속이랑 독립이랑 단위맞추려고 그런거에요. 1단위에 가격 천만원씩 상승하면 어쩔건데.
115.143 개소리좀 그만하세요 뭔 회귀분석이 잔차를 보려고 합니까, 잔차는 과정이고 종속과 독립의 관계를 보는 게 최종 목표이고 회귀분석은 모종의 어떤 함수를 단순히, 선형으로 "강제" 근사하기 때문에 오차 자체가 얼마나 큰지 알 수 조차 없습니다. 단순 참조일 뿐 다른 방법들도 참조해서 보는 방법의 하나입니다. 조또 모르면 사용하지를 마세요, 천 만원씩 상승이 아니라 1조단 위 상승도 Y가 일정한 지, Y가 로그10으로 변하는지 볼 뿐 입니다.
log(y+1)로 발작하는 새끼는 병신인가? 연구에서도 존나 자주 나오는데 ㅋㅋㅋㅋ 준탄력성도 모르는 새끼가 개 발작을 일으키고 갔노 편미분 풀어서 정리해봐 베타 계수 하나하나가 각 covariate별 y 변화율 비슷한 꼴로 정리되니까 ㅋㅋㅋㅋ
병신 새끼 어디서 본인이 이해도 못 하는 거 보고 지랄떠는데, 내가 새끼야 경제 논문 그렇게 뒤져 봐도 로그 붙인 탄력인지 뭔지 개지랄을 한 반도 못 찾았다 씨발노마 논문제목이라도 써라 편미분? 조가튼 새끼야 행렬로 풀지 누가 어느 세월에 편미분 하고 지랄하냐 덜 떨어진 노마
누가 보면, 회귀에서 편미분이 무슨 고난이도 기법인 줄 ㅋㅋㅋ
그리고 log(y+1)을 어떻게 해석하냐 씨발노마, y하고 1하고 같은 단위라고 뭘로 우길건데? 또 y에 로그를 붙여도 되는 수학적 근거는 알고 지랄하냐 숫자에 곱하고 나누고 더해도 되는 수학적 근거를 말할 수 있노? ㅋㅋ 수학적 근거를 말 할 수 있으면 니가 챔피온이다
애미뒤진 좆틀딱새끼 떠먹여줘도 못알아들어요 ㅋㅋㅋㅋㅋㅋㅋㅋ 그냥 말을 말아야지 Numerical solution을 matrix form으로 내는거지, 회귀계수에 대한 해석은 미분써서 딱 두세줄이면 정리되는데? 안해보고 손가락 놀리는거지? ㅋㅋㅋㅋㅋ 아니면 미분도 못하는 병신인가?
꼭 반쯤 배운 병신들이 지가 아는게 세상의 진리라고 생각하고 지들이 아는거랑 다른거 나오면 틀리다고 생각하더라 ㅋㅋㅋ 펜이라도 몇번 쳐 끄적여보고 얘기하자 병신새끼야 ㅋㅋㅋㅋ 말투 보니까 나이 처먹고 도태된 4050같은데 이런새끼들이 회사건 학교건 뭐 안다고 깝치니까 발전이 없는거임
딱 두세줄이면 정리되는데? ㅋㅋㅋ 우기는 거 보니 틀딱 새끼구먼 ㅋ 딱 두세 줄? 한 줄 더 인심쓰마 네 줄로 정리한 거 올려봐라 씨발노마 어디서 구라질을
음.. 아무래도 223.131님은 통계 공부를 처음부터 다시 하셔야할듯.. 기초 회귀수업에 나오는 2변수 box-cox, yeo-johnson 변환에도 log(y+constant) 변환이 버젓이 있는데 뭐 듣도보도 못한 변환처럼 얘기하는 건 좀.. 보통 0이 많다고 저런 식으로 변환하는 게 바람직하지 않아서 그렇지, 아예 없는 설계는 아니에요
박스-콕스 변환은 편포를 정상분포로 바꾸는 기법임, 순화된 말로 (숫자를) 재표현의 사다리 라고 함, EDA(튜키가 창안)에서 배우는 일종의 표현 기법일 뿐 임, 숫자를 맘대로 바꾸어도 되는 근거는 수학적으로 그래도 되기 때문이고 또한, log(y)=x+c 하고 y=x+c는 해석이 달라짐, 해석을 일반적으로 못 함, 가령, y=10000 이고 , Log(y) = 4라고 할 때, 10000하고 4하고 어떻게 해석할 거임? 10000하고 4하고 같음?, y=x+c를 먼저 한 다음 정상분포가 되지 않았을 때 log(y)를 하는 거임
두번째, yeo-johnson 변환도 솔직히 오늘 처음 봤는데, 이거 처음 봤다고 통계를 처음부터 재공부 하라고 들을 위치는 아닌 듯
회귀분석 논문 뒤져 보면 알겠지만 듣도 보도 못 한 기법들 많음, 그거 다 인지하고 씀? 즉 사용 조건을 다 이해하고 있느냐 이거임
yeo-johnson변환도 EDA의 재표현의 사다리 버전 정도라고 생각함, EDA 재표현의 사다리 검색해 보면 yeo-johnson하고 차이가 없음
그리고, yeo-johnson관련해서
http://slowsteadystat.tistory.com/1
보면 yeo-johnson변환은 조건이 있음,
무조건 log(y+1) 이 아님, 이해도 못 하고 쓰느냐 안 쓰는 게 나음, 식에서 람다가 뭐임? y^(람다)가 있는 데 왜 y^람다 인지 생각해 봤음?
회귀분석은 y와 x의 관계를 보는 건데, xy관계를 보는 목적이 뭔지 말할 수 있음? 회귀분석은 원인분석임, 변수간 관계는 중간 과정임 시간상으로 선후관계가 있는 변수를 선정 후, 가장 영향력있는 변수를 추출하는 게 궁극적 목적임 y갑의 변화를 보는 로그(y+1) 는 단순 기교임 최대 영향을 미치는 변수 한 두 개를 파악해서 차후 다른 기법들과 결합해서 인싸이트(원인)를 얻는게 회귀분석의 목적임 본인도 알지 못하는 휘황찬란한 기법 써 봐야 사용 조건을 모르면 아예 안 쓰는 게 답임
기초 회귀수업에 나오는 2변수 box-cox, yeo-johnson 변환에도 log(y+constant) 변환이 버젓이 있는데 .... L글쎄요? 어느 기초 회귀수업을 들으셨는지? 기초 회귀수업 진도가 저거 까지 나가는 수업이 대체 어느 학교인지 공개 좀...
리그레션, 회귀라는 단어 뜻이 원인으로 돌아가다는 뜻임