[❓질문] VAE를 보면 드는 의문점

[익명(223.38)]

저자는 autoencoder의 구조를 보고 latent vector를 mean, variance로 만들면 되겠다고 생각하고 ELBO를 유도했을까 아니면 log likelihood에서 ELBO를 유도하고 이걸 autoencoder구조로 구현했을까?

[Cytrus(minhyoo1)]

vae저자가 엘보를 유도한건아닐텐데 kld 로워바운드연구때 이미 나온개념아님? - dc App

[익명(223.38)]

그런 사정을 잘 몰라서 ㅋㅋ

[익명(121.166)]

log likelihood의 lower bound를 잡아서 optimization하는 방법은 일반적으로 variational optimization에서 원래부터 쓰던 방법임
PRML 10장이나 PGM 강의(
https://ermongroup.github.io/cs228-notes/inference/variational/)
봐도되고 실제 논문에 나와있는거 보려면 유명한게 Latent Dirichelt Allocation(Blei, Ng, Jordan) 참고하셈

[익명(223.38)]

ㄱㅅ 참고할게

[익명(122.153)]

나도 생성모델을 하는 사람이 아니라 정확히는 모르겠다만 vae가 하는 일을 잘 생각해보면 되지 않을까? vae는 어떤 latent space 상의 랜덤 벡터를 샘플링해서 전에 없던 샘플을 생성 하는게 목적이잖아 그럴려면 p(x) 혹은 p(x|y) 라는 분포를 잘 모델링 해야 가능함. 근데 이걸 학습하려는 mle 수식을 쓰다보니 수식이

[익명(122.153)]

tractable 하지 않네??? 그래서 variational approximation 이 들어간거고 최종적으로 정리한 수식이 elbo이고 이걸 em algorithm 처럼 최대화 하면 likelihood가 최대화 되는데 이 elbo가 텀이 reconstruct loss, regularizatiob (kld) loss 로 나눠지잖슴. 그니까 뉴럴넷 중

[익명(122.153)]

간단한 오토인코더 구조가 적합했고 이걸 쓰게 되지 않았을까

[익명(122.153)]

마지막으로 덧붙히자면 (오랜만에 머신러닝 생각하자니 기억이 잘 안나지만 ㅋㅋㅋ) 우리가 일반적으로 파라메터 스페이스 상의 loss가 가장 낮은 (혹은 likelihood가 가장 높은) 파라메터 셋 w 하나만을 찾는게 maximum likelihood estimation 이잖슴

[익명(122.153)]

이걸 점 추정 한다고 하는데 그 이유는 파라메터 스페이스 상에 딱 한 점만 찍기 때문임. 근데 이 파라메터 스페이스 상의 모든 파라메터 점들을 다 고려해서 추론하는 경우가 있는데 이게 bayesian inference고 이때 수식이 p(y*|x*)=\int p(y*|x*,w) p(w) dw 이렇게 될거임.

[익명(122.153)]

이때 이 적분식 구하는거도 마찬가지로 intractable 해서 laplacian approxmiation이나 vae에 쓰이는 variational approximation 써서 근사한 수치를 구할 수 있음. 하고싶은말은 vae 에서 나온 개념은 아니고 원래도 자주쓰이던거다 이런거지. kingma랑 alex graves (plactical VI 페이퍼)가

[익명(122.153)]

고수라서 딥러닝에 잘 녹인거지

[익명(223.38)]

결국 vae 저자의 컨트리뷰션은 elbo의 식을 딥러닝 모델로 잘 바꾼거구나 덕분에 궁금했던게 해결됐어