최소제곱법의 구라를 알아보자
회귀분석에는 최소제곱법을 이용한다.
최소제곱법이란 거리제곱이 최소가 되는 공통의 직선을 구하는 방법이다.
그림으로 시각화하면 다음과 같다.
그런데 뭔가 이상하다.
회귀직선에 최소가 되는 직선은 명백히 회귀직선에 직각으로 세운 선 밖에는 없다.
그런데 x에 직각인 세로선이 최소라고 우긴다.
눈에 뻔히 보이는데도 구라를 치고 있다.
이 최소제곱법 구라는 이 갤 수잘알들이 선량한 통알못들을 상대로 치는 사기이다.
가우스는 잘못이 없다. 개념을 창안했기 때문에.
여기 갤넘들이 잘못한 것이다.
씹새기들이 충격을 받았나 악플을 안 다네, 악플 빨리 달어 정신병자 새끼들아, 하긴, 무슨 말인지 왜 이런 의문이 드는지 조차 생각을 못 했겠지
선생님 좀 늦었습니다~ n차원 벡터들을 2차원 좌표평면 위에서 보려니까 직교성이 당연히 안보이지요~ 여기 그림에서 보이는 단순선형회귀는 결국 n차원 벡터인 y를 2차원 평면(X의 column space)로 직교 사영한 것입니다~
2차원인 이유는 1벡터와 x벡터의 span이니깐요~
직교회귀랑은 다른거임? 잘 몰라서리..
결국에 회귀계수를 a,b를 얻어내려면 y를 2차원 평면에 직교사영시켜야됨
결국 회귀는 projection임. 등분산을 가정한 OLS 추정량은 orthogonal이 되는거고, 그게 아닌 WLS나 GLS 추정량은 oblique projection이 됨
글쿤
같은 2차원인데 주성분분석은 직교가 보이는데? 니가 말하는 것은 초평면을 말하는 거고. 인간적으로 구라 좀 그만해라. 구라도 좀 설득력있게 하던가
눈에 보이는것만 믿노
주성분분석은 변수의 갯수를 줄이는 것이지 관측치를 없애는게 아니에요~ 여전히 n개의 관측치를 수집했으니까 n차원 공간에서 벌어지는 논의입니다~
말을 좀 그럴듯하게 해, 2차원이라서 안 보인다메, 근데 주성분은 왜 보이냐고, 인간적으로 너무 우긴다고 생각 안드냐
보고싶은거만 보고 듣고싶은거만 듣고 믿고싶은거만 믿는 당신이 참 한심합니다
그러니까 수식으로 보이라고 씨발새끼야
library(scatterplot3d)# 데이터 생성set.seed(42)x1 <- rnorm(3, mean = 5, sd = 2) # 첫 번째 독립 변수x2 <- rnorm(3, mean = 3, sd = 1) # 두 번째 독립 변수y <- 2 + 1.5 * x1 - 0.8 * x2 + rnorm(3) # 종속 변수 (노이즈 포함)# 회귀 모델 적합model <- lm(y ~ x1 + x2)# 3D 산점도 그리기s3d <- scatterplot3d(x1, x2, y, color = "blue", pch = 16, main = "3D Regression Line", xlab = "X1", ylab
돌려보아, 직교가 보이나
와 r도 쓸줄 알네 ㅋㅋ
내가 너한테 정신병자라고 하면 잠~ 어쩌구 하는 새끼가 출동할 것
https://sakai.unc.edu/access/content/group/2842013b-58f5-4453-aa8d-3e01bacbfc3d/public/Ecol562_Spring2012/images/lectures/lecture1/projection3.png
위 그림을 봐주세용~
저 그림은 개념도일뿐 직교성을 나타내는 게 아니지 어디서 하나 이상한 거 가지고 지랄하면 안되지
쳇지피티한테 물어보니, 사실 잔차가 직교한다고 하는데 누구 말이 맞음? 쳇지피티가 틀림? 구라 좀 그만 해 개새끼야
직교의 정의는 눈에 보이는 수직이 아니라 내적이 0인겁니다~
잔차가 직선이 아니라 1벡터와 x의 스팬과 직교하는겁니다~
직교의 정의는 눈에 보이는 수직이 아니라 내적이 0인겁니다~ 어떤 새끼는 n차원에서는 보인다고 하고 이 새끼는 눈에 보이는 게 아니라고 하고 쳇지피트는 잔차가 직교한다고 하고... 씨발놈드라, 구라도 의견을 일치 시키고 떠드러
이 모든걸 같은 이야기로 인식할 수 있어야 통계를 할 수 있답니다~
직교는 유클리드공간에서의 수직을 일반화한 개념입니다~
직교가 수직이 아니면 뭐임? 진짜 모름
아 그리고 애초에 최소제곱은 잔차제곱합을 minimize하는 회귀계수를 구하는 것이기 때문에 PCA와 같이 직선에 수직이게 하는 그런게 아닙니다~ 왜냐면 2차원에서 잔차는 점에서 직선에Y축 방향따라 내리는 선이니까요~
제 설명이 이해 안간다면 Boyd 저 Applied Linear algebra VMLS를 읽어 보시길 바랍니다! 당신 책 리스트엔 없지만 무려 스탠퍼드 교수가 쓴겁니다~
관점자체가 신선하네
무슨 애인가 했더니 수학 없어도 통계 할 수 있다고 주장하는 친구구만. 기초적인 선형대수 지식조차 없으니 이런 주장을 하게 되는 것임