학부 수준 강의 좀 듣고 프로젝트 좀 해보다가
지금은 low level 시그널 프로세싱 수준에서만 쓰는 공돌인데여
AE (VAE 포함) 를 활용하여,
label은 없지만, latent space의 distribution은 명확히 알고 있는 분포에 대해 (가우시안 아님)
regression을 수행할 수 있을지에 대해서 고민하고 있습니다.
VAE with explicit prior, non-gaussian prior, AE (VAE) for regression 같은 거로 검색해봤는데
제가 원하는 경우는 잘 안나와서 질문 드립니다.
제 상황은
x = F(y), y∈ℝ2, x∈ℝ8
갖고 있는 건 x
y의 분포는 명확하게 알고 있음
F는 모르고, F의 역함수를 학습하길 원함
입니다.
enc : 인코더 / dec : 디코더에 대해
L = distribution_loss( P( enc(x) ), P(y) ) + recon_loss( dec(enc(x)), x )
(distribution loss는 KLD, JSD, WD, SWD , recon_loss 는 MSE, CE 등)
를 줄이고 encoder 만을 때어내서 regression model을 만들고 싶은데요
(유일성 보장은 안 바람)
이에 대해 조언이나, 아니면 비슷한 연구에 대해서 알려주시면 감사하겠습니다.
Latent space의 distribution까지 잘 알고 R8을 R2로 regression하는 차원이 낮은 문제니까 굳이 딥러닝까지 사용하지 않아도 EM algorithm으로도 해결 가능하지 않을까
그냥 직접적으로 distrubution의 parameter 구해서 쓰는게 편할 것 같은데
의견 감사드립니다! EM도 고려해봤었는데, label이 있는 데이터셋 (시뮬레이션으로 얻은 거) 로 테스트해보니까 변수가 latent에 대해서 쉽게 parameterize 되지는 않더라구요. 한 변수씩 놓고 봤을 때 딱히 잘 알려져있는 지수족이나, 지수 + 다항함수로 잘 모델링이 되지는 않았었습니다.
넌가우시안 프라이어에대한 내용은 있을텐데 논문이 봤던기억이있다 - dc App
다시 찾아봐야겠네요. 하긴 지수족들에 한해서는 KLD의 closed form solution을 구하는 건 어렵지 않을테니
Ica쪽 알아보셈 latent 몰라도 역함수 찾아줌
감사합니다. 처음 접하는데 알아봐야겠네요.
근데 latent의 분포를 알기가 어려워서 가우시안으로 가정하고 하는건데 어떤식으로 정확히 분포를 알고 시작하는거야? 그 조건에 맞는 국소적인 데이터셋을 구축한건가?? - dc App
low level 신호처리용으로 쓰는 거라서 어떤 인풋이 어떤 것들이 있는지는 알고 있어요!