오늘 늘 사용하던 mse 에 빨간약 먹어서 그런데
그러니까 결국 이게 MLE 에서 유도된거라면서?
어 그러면 mse 로 트레이닝시키면 그 데이터의 분포를 학습한다 이렇게 되는거 아님?
근데 이걸 오토인코더의 loss 로 쓰면... 그냥 theta(x) - x = 0 이렇게되잖아?
그럼 식 꼬라지만 보면 신경망이 '인풋을 reconstruction 하는법' 을 학습하는거지 '학습 데이터의 분포를 학습한다' 이런게 아니지않음??
근데 어떤데서는 reconstruction 하겠다노~ 이딴식으로 접근하고
abnormal detection, counterfacture generation 이런데서는 노말로만 학습해서 '노말한것만의 분포를 학습했으니' abnormal 을 넣으면 recon 못하니까 웅앵 이런식으로 접근하네?
뭐임대체?? 나 너무 혼란스러웠는데 교수한테 물어보면 이놈 공부를좆같이안하는구나 할까봐 그냥 집에 왔어....
내가 이해하는 방식으로는 너무 다른 것들을 연결한 질문 같은데... "그럼 식 꼬라지만 보면 신경망이 '인풋을 reconstruction 하는법' 을 학습하는거지 '학습 데이터의 분포를 학습한다' 이런게 아니지않음??" 이건 양자택일의 문제가 아님. Reconstruction을 학습하긴 하는데, 이렇게 Reconstruction이 되는 것은 x가 나온 분포에서 Reconstruction이 되지 그 외 분포에서 Reconstruction 이 될 거라고 보장하질 않음.
'같은 분포'라는 것이 상당히 추상적이고 결과론적인 개념임. 너는 학습 데이터가 어떤 분포에서 나왔는지, 앞으로 Inference 할 데이터가 어떤 분포에서 나올지 기저진실은 절대로 알 수 없음. 단지 학습된 것이 Inference와 비슷한 추세를 따라가지 않으면 distribution shift가 있다고 '해석'하는 것일 뿐임. 그렇기 때문에 Estimation이란 표현을 쓰는 것이고, 특정 기법을 통해 Estimate 한 것이 unbiased 라는 것을 증명하는 등 특정 Statistic 성질을 추정할 뿐임. 실제로 그게 가우시안일지 어떤 형태일지는 알 수 없고
그래서 anomaly detection 같은 경우에서는, normal 데이터가 충분히 잘 Reconstruction 될 정도로 학습이 되었는데, inference data가 잘 reconstruction 되지 않으면 '다른 분포의 데이터에서 왔구나(비정상 데이터)'라고 추정하는 거임. Inference data가 샘플링 된 분포와 학습 데이터가 샘플링 된 분포가 같아도 Reconstruction이 잘 되지 않을 우리가 알지 못하는 다른 이유가 있을지도 모르지만, 딱히 생각나는 이유가 없기 때문에
설명에 딱히 틀린 부분은 없음, MSE는 정규분포의 MLE로 유도되는거라 오차의 분포가 평균이 0인 정규분포라는 가정하에 학습이 되는거임 따라서 아주 단순하게 설명하면 이상치 탐지는 데이터로부터 오차(측정값-재구성값)의 분포를 구하고 나중에 오차가 분포에서 벗어나는지를 확인하는거라 보면 됨
분포 학습하는거 맞아...