머신러닝 선형회귀 잘아는사람 질문좀..

[ㅇㅁㅇ(1.233)]

선형회귀에서 하고자하는게 데이터관계를 가장 잘 나타내는 직선 하나를 구하는거고

그 좌표상에서 각 데이터와 직선의 y값들의 오차가 가장 작은 직선을 구하는거자나?

여기까지는 직관적인데 그 다음에 미분으로 그 직선을 찾는데 왜 갑자기 미분으로 넘어가는건지

설명좀 해줄사람

[익명(211.36)]

Normal equation 말하나? 그거 행렬로증명하지않던가

[ㅇㅁㅇ(1.233)]

경사하강법인디

[ㅇㅁㅇ(1.233)]

선형회귀 직선찾을때 최소제곱법으로 해서 그 값이 최소가 되는 비용함수를 찾는거자나? 근데 그걸 찾기위해 경사하강법을 한다는데 왜 거기로 넘어가는지를 몰겟어

[익명(211.36)]

경사하강법은 모르겠다, 난 머신러닝은 안해봤고 선형회귀값을 Normal Equation이랑 QR iter 같은걸로 모델링하는것만 해봄

[조선니체(jinseob2kim)]

오차제곱합이 제일 작은 직선을 찾는거고, 최소값 찾으려면 미분해서 0나오는 걸 찾아야 함

[ㅇㅁㅇ(1.233)]

그니까 최소값 찾으려면 미분해서 0 나오는걸 찾아야된다는게 이해가 안가는데 미분 개념을 찾아보면 되는건가?

[익명(211.36)]

그거말하는거면 정확히는 감소증가형태 곡선임이 보장되야하지아늠? 아 근데 제곱의 오차값이니까 감소증가긴 하겠구나

[익명(211.36)]

미분도모르고 이걸한다고? 신기...

[조선니체(jinseob2kim)]

고교수학임.
https://www.google.com/search?q=최소값+미분&client=ms-android-samsung-ss&source=android-browser&prmd=isnv&sxsrf=ACYBGNSF7ciTaKIu2NnLdUdcAn0hGrr2PA:1570190082029&source=lnms&tbm=isch&sa=X&ved=2ahUKEw

[ㅇㅁㅇ(1.233)]

저 미분은 뭔지 아는데 선형회귀 오차를 함수로 나타내면 볼록2차함수란걸 몰랏엇음

[조선니체(jinseob2kim)]

선형회귀분석은 경사하강법 필요없이, 정확한 해를 구할 수 있음.

[익명(211.36)]

SVD같은거 말하나

[조선니체(jinseob2kim)]

SVD 까지 갈 필요없이, 미분해서 0 되는 점 직접 계산 가능.
https://stats.stackexchange.com/questions/46151/how-to-derive-the-least-square-estimator-for-multiple-linear-regression

[익명(211.36)]

2차함수면 그렇긴하다만

[익명(211.36)]

정확히는 1변수면

[익명(61.82)]

선형회귀의 오차가 함수로 나타내면 아래로 볼록한 2차함수여서 미분값이 0이 되는 최처값 찾으려고 하는거

[ㅇㅁㅇ(1.233)]

아 이게 내가 원하던 답이다 ㄳ

[조선니체(jinseob2kim)]

ㅇㅇ 이거

[히히(123.215)]

다 개소리고, y = w * x 일때 error는 1/2(answer - y)^2로 정의하자. 그러면 우리의 목적은 error를 0으로 줄이는거고, 이를 위한 방법은 w를 움직이는거다. 만약 error가 양수면 w가 존나 큰거고, 그러면 w를 줄이고 error가 음수면 w가 작은거니까 w를 키우자. 그러면 질문이 얼만큼 키우고 줄여야 하는가?

[히히(123.215)]

w := w - alpha * ?에서 ? 값을 찾는건데 .. 쓰다보니 시발 위에서 답을 달았네

[익명(211.36)]

왜 개소리라그러노 맞는얘기하느넫

[익명(175.223)]

타겟펑션으로 분류의 기준이되는 선형함수를 찾음 - dc App

[익명(175.223)]

근데 이 타겟펑션의 상수 그러니까 기울기를 최대한 극점에 가깝게 잡아야함 그래야 해가 나옴 - dc App

[익명(175.223)]

그래서 다변수미적으로 해찾는거임 - dc App