[일반] 질문있습니다!

[딥부이(106.102)]

네트워크를 최적화할 때 MLE나 MAP를 사용하는데요. MLE고 가우시안을 따른다고 가정합니다.

그때 가우시안을 따른다고 하는게, MLP의 내부가 가우시안이라는게 아니라 MLP의 출력이 가우시안 분포를 따르도록 MLP의 파라미터가 조정된다는거죠?

MLP 파라미터에 대한 함수가 가우시안을 따른다고 하면... MLP대신 가우시안 쓰면 되는거라 생각해서 제 생각이 맞는 것 같긴 한데요. 확인차 질문드립니다.

[익명(112.170)]

구글링부터 먼저 해라

[익명(125.243)]

출력이 가우시안임

[글쓴 딥부이(106.102)]

감사합니다!

[딥부이 1(49.164)]

MLE에 가우시안 분포를 가정하면 MSE Loss가 되는 거 얘기임? 그건 사실 분류문제를 신경망에게 학습시킬때 실제 신경망이 모델링하는게 주어진 (x,y) 페어셋 데이터의 조건부 확률분포 p(y|x)의 모델분포인 p_theta(y|x)를 예측하도록 하는데 이 조건부 모델 분포를 가우시안 분포로 가정하는 거임. 이 p_theta(y|x)=N(y_hat|I)로 log-likelihood를 계산하면 딱 MSE Loss가 나옴.

[글쓴 딥부이(106.102)]

조건부 모델 분포라는게 신경망 출력 값들의 분포를 말하는건가요?

[딥부이 1(49.164)]

아님. 지금 자꾸 신경망의 파라미터 분포라느니 출력의 분포라느니 신경망에 집착하는데, 이건 딥러닝 이전에 고전 확률 모델 쪽 이야기임

[딥부이 1(49.164)]

x와 y라는 두 개의 확률 변수 사이에 일정한 상관관계가 있으니까 y는 x값에 무관하지 않게 결정이 됨. 따라서 y라는 데이터는 p(y)라는 단독분포가 아닌 p(y|x)라는 조건부 확률 분포에 의해 결정되는 게 맞는거임

[딥부이 1(49.164)]

예를 들어 x가 키 y가 몸무게라 하면 몸무게는 키에 일정한 상관관계를 갖겠지만 다른 숨은 변인 때문에 완벽히 정비례하지 않을거임. 따라서 x값이 하나로 결정되도 y는 어느 정도 노이즈를 가진채로 분포할 것이고 이 분포 p(y|x)를 가우시안으로 가정하는거임

[딥부이 1(49.164)]

신경망이 하는 역할은 그저 주어진 x값에 대응되는 가우시안 분포를 예측할 뿐임. 근데 가우시안 분포 특징이 파라미터가 단 두개(평균, 분산)이기 때문에 이 값들만 신경망이 출력해주면 예측이됨

[딥부이 1(49.164)]

그 후에 우리가 갖고 있는 데이터셋 (x,y)들이 이 모델 분포로부터 샘플링 된것으로 가정하고 log-likelihood를 최대화하는 식으로 모델 분포를 추정하는게 MLE임. 신경망은 그저 이 모델 분포의 파라미터를 예측할뿐

[딥부이 1(49.164)]

(x,y) ~ p(x,y)인데, x~p(x)이지만 y~p(y|x)가 됨. 우리 모델 분포 p_theta(y|x)가 이 p(y|x)를 추정하는 방법이 바로 MLE 식으로 argmax_{theta} E_{(x,y) ~ p(x,y)} [log p_theta (y|x)] 이걸로 신경망을 학습시키면 됨

[딥부이 1(49.164)]

이래서 딥러닝이 아니고 고전머신러닝을 공부해야함...

[딥부이 2(106.102)]

감사합니다. 계속 댓글을 읽고있는데.. 이해가 잘 안되는 부분이 있어요.. 4번째 답글에서 가우시안 분포를 가정하기때문에 평균 분산만 예측하면 된다는건 알겠는데요. 신경망이 예측하는게 y_hat을 말씀하시는게 아니라 신경망의 파라미터를 말씀하신거죠? 신경망 출력이 평균, 분산은 아니잖아요. mle가 최소가 되도록 신경망 파라미터가 조정되는데, 가우시안이라면 그 파라미터는 평균과 분산이 될거고, 그게 곧 신경망의 파라미터로 표현된다는거죠? 즉, 신경망은 평균과 분산을 비선형 함수로 표현한거고, 신경망의 출력은 신경망이 나타내고있는 평균과 분산에서(p(y|x)에서) 샘플링된 값인거죠?

[딥부이 1(49.164)]

y_hat은 신경망의 출력임. 보통 true value가 y일때 prediction value를 y_hat이라고 함 hat은 그냥 ^를 읽은거임.

[딥부이 1(49.164)]

신경망 출력이 평균 분산인게 맞음. 이게 받아들이기 어려우면 VAE를 공부해. 거기서도 똑같이 신경망은 가우시안 분포를 예측할 뿐이고 그렇게 얻은 가우시안 분포에서 샘플링을 통해 y를 얻음

[딥부이 1(49.164)]

딥러닝 관점에서는 이 과정(신경망은 가우시안 분포를 예측하고 그 분포로부터 y ~ N(y| y_hat, I) 를 샘플링하는)을 다 스킵하고 처음부터 다짜고짜 MSE Loss를 도입함. 따라서 거기선 MLE에 가우시안분포를 가정하고 어쩌고 하는 스토리 자체가 낄 데가 없음.

[딥부이 1(49.164)]

하지만 생성모델 공부를 하면 이 과정을 명시적으로 전부 다룸.

[딥부이 1(49.164)]

1. MLE는 likelihood를 "최대가 되도록" 만드는 파라미터를 찾는거임 2. 신경망의 파라미터는 가우시안 분포의 파라미터랑 아무 상관 없음

[딥부이 1(49.164)]

평소 딥러닝 모델에서 신경망 출력 y_hat이 그냥 y를 예측한다고 말하는 것도 MLE 얘기 다 빼고 MSE Loss를 바로 도입해서 설명하니까 그런거고 MLE+가우시안 가정을 스토리에 넣는 순간부터는 이렇게 설명하는게 정확한

[딥부이 1(49.164)]

y_hat이라고 해서 헷갈리는거 같은데, 신경망의 출력을 mu라 했을때 y_hat ~ N(y_hat | mu, I) 로 샘플링한 결과가 우리 모델이 예측한 y값이다 라고 말하는 게 더 알기 쉬울듯. 보통 딥러닝강의에선 이런거 없이 그냥 y_hat = f(x; theta)로 된다고 해버림

[딥부이 4(106.102)]

이해했습니다. 정말 감사합니다. mse를 쓰면 학습시킨 y랑 비슷하게 값이 나오길래 신경망 출력이 y값인줄 알았습니다... 알고보니 mse를 썼다면 y의 분포를 가우시안으로 가정하고 분산이 고정된 파라미터(즉 평균)을 예측하는거였네요. 평균을 출력하기 때문에 제가 학습한 y를 출력한다고 착각했던거고요... 정확히는 y가 아니라 가우시안의 평균인건데요...

[딥부이 5(211.36)]

그리고 말씀해주신대로 신경망의 파라미터(가중치)는 확률분포의 파라미터(모수)랑 완전 다른거였네요.