KL 발산이  D_KL( p || q ) 로 되어있으면  q 분포가 true distribution p에 대하여 얼마나 유사한지 측정하는 거니까,

두 분포를 같게 하려면 D_KL( p || q )를 최소화, q를 p로 근사시키는 건데..


이게 D_KL( q || p )로 한다고 해도 q를 p로 근사시킨다고 할 수 있음? 

그니까 q가 p로 변하는 거랑 p가 q로 변하는건 다르잖슴.. 


근데 variational inference 같은거 보면

q(w|θ) 분포를 p(w|D)로 근사하는 최적의 θ를 찾기위해 
KL 발산을 D_KL[ q(w|θ) || p(w|D) ]로 설정하고 유도 하는데 이게 이해가 안됨
이러면 p(w|D)를 변화시켜서 q(w|θ)에 근사시키는 거잖슴.. 

chatGPT 한테 물어보면 D_KL[ q(w|θ) || p(w|D) ] 건 D_KL[ p(w|D) ||  q(w|θ)] 건 상관없는데

 θ에 대한 식 유도하려고 D_KL[ q(w|θ) || p(w|D) ]로 설정했다는 식으로 답하는데 

뭔 소린지 모르겠음 

혹시 아시는 분?