[❓질문] 라그랑주 승수법, 미분방정식, 오일러 방법 o1이 잘 비유해준건가?

[익명(vital7966)]

개념들이 잘 안와닿아서 내가 여러 비유를 들어봤는데, o1이 잘 검증해준거같음?

[익명(218.237)]

o1이 개떡같은 질문에 최대한 풀어서 설명하려고 하긴 했는데, 애초에 질문에 continuous GD라는 전체자체가 틀렸음. 라그랑주 승수법은 특이점을 해석적으로 풀려고 하는 시도고, GD는 small step이라는 discrete구간에서만 적용되는거라서 continuous GD라는거 자체가 존재할수가 없음.

[익명(vital7966)]

그래?? 미분으로 치환이 안돼?

[익명(218.237)]

미분으로 치환이 되면 왜 GD같은 개삽질을 하겠노? 최적해에서 모든 점의 미분값이 0이 될테니까 미분식 세워두고 연립 방정식이나 심플렉스 풀듯이 풀어버리면 되는걸...

[익명(218.237)]

라그랑주 승수법 보다 KKT조건에 대해서 찾아보는게 오히려 이해가 쉬울수도 있음

[익명(218.237)]

아 대충 무슨 의도로 채찍피티한테 질문했는지 알것같은데, 내가 아는선에서 대답해줌. 공통점: 우리는 어떤 관측치에 대한 함수 f와 우리가 가정한 Model이 있음 Minimize f - Model 차이점: 딥러닝(경사하강)에서 Model은 Discrete하고 Domain에서 벗어난 Out-of-bag에서 벗어나면 f와 다름. 라그랑주 승수법과 같은 함수해석의 관점에서 풀어낸 Model은 모든 정의역에서 성립함.

[익명(vital7966)]

음 그러니까 f의 미분 형태를 직접적으로 구하는 대신 각 term을 특정 변수에 대한 미분꼴로 바꾼다는건가

[딥부이 1(203.230)]

그냥 무엇이 궁금한지를 모르겠는데 뭐가 궁금한거임? 일단 f(x)의 정류점(최대/최소)을 찾는 방법이 f'(x)=0인 지점을 찾는 거라는 것은 중고등학교때 배우니까 알거고 대부분의 경우 f'(x)=0을 직접 계산하기 힘드니까 오일러 근사로 부터 유도된 경사하강법을 사용하는거고 현실 문제에서는 문제가 단일 목적함수 f(x)로만 구성되는게 아니라 제약조건도 포함하는 경우가 대다수니까 라그랑지안을 사용하는거고 하지만 본래 라그랑지안은 등식제약조건만 있다는 가정이니까 부등식 제약조건인 경우에 대해서도 일반화하기 위해 KKT 조건이 나온거임

[딥부이 1(203.230)]

o1에서는 니가 연속 경사하강(?) 이라는 이상한 용어를 쓰니까 아마 NTK에서 신경망의 수렴성을 증명하기 위하여 몇가지 가정을 통해 신경망의 경사하강과정을 미분방정식으로 변환, 그 일반해로 수렴성을 증명하는 Gradient Flow를 이야기한게 아닐까 추측해서 그걸 설명해준걸로 보이고

[익명(vital7966)]

아 나는 이렇게 질문했을때 답변에 할루시네이션이 있거나 일부러 내가 옳다고 해주는건지가 궁금했음