DDPM 논문: https://arxiv.org/abs/2006.11239
닉네임 답게 통계도 모르는 지잡컴공인데 나름 몸 비틀면서 수식 유도과정을 아주 대충 이야기로 풀어서라도 이해해보려고 했어.
맞게 이해한건지 확인좀 부탁할게...
<과정>
1. 아~~ Gaussian noise X_T ~ N(0, I^2)에서 조금씩 noise를 걷어내서 이미지 X_0 ~ P_data를 만들어 내고 싶다. 이 과정을 Markov chain으로 modeling 하자. 그리고 이 과정을 reverse process라고 한다.
2. X_0를 잘 만든다는 뜻은 log-likelihood인 log{p(x_0)}를 최대화 하는 것. 하지만 직접적인 likelihood를 계산하는 것은 intractable 하므로 variational inference를 도입하여 posterior를 estimation 하자.
3. 이 posterior를 estimation 한 것이 바로 forward (diffusion) process.
4. 새로 도입한 posterior의 추정인 forward process를 이용하여 forward process와 관련된 loss인 L_T, reverse process와 관련된 loss인 L_{1:T-1}와 L_0 를 유도하였음.
5. Loss와 reverse process를 적당히 잘 학습할 것으로 보이는 간단한 NN model로 구현해서 학습해봤더니 매우 잘 된다.
대충 읽어봤는데 딱히 크게 틀린건 없어보이는데 variational inference를 도입해서 posterier를 추정한다는건 살짝 이상하지 않나? variational inference를 도입해서 negative log likelihood를 estimate하는거고 그 과정에 posterier 항이 들어가는거고 approximated posterier 라고 표현하는건 diffusion process를 markov assumption과 가우시안 가정으로 표현하는 걸 approximate한다는 의미에서 그런거같음
VI가 negative log likelihood를 estimate하는 과정 자체를 말하는 거구나 ㅋㅋㅋ 나는 posterior를 대체하는 것만 VI인 줄 알았어 알려줘서 고마워~
일반적으로 계산이 intractable한 함수를 tractable한 형태로 근사하는걸 variational approximation이라 부름 mean field approximation이나 variational em이나 vae같은것들
그럼 Boltzman machine도 variational inference를 사용한거라고 할 수 있어?
볼츠만머신은 보통 샘플링으로 학습하지 않나? Variational inference는 보통 distribution을 근사하는 함수 q를 만들어서 KL(q||p) 를 최소화함 이 최소화를 위해 kl divergence를 전개하면 elbo같은 lower bound 항이 나오는거
에고고 그렇구나.. VAE의 variational이 variational inference 라는 뜻이 맞구나 ㅋㅋ 이제 이상한 소리 그만하고 VI 공부하러 갈게... 고마워!
야 지잡컴공 너 딥러닝 운영하지?
니 놈은 다른 갤에 딥러닝 광고하고 다니면서 딥러닝에는 왜 다른 갤 광고 못 하게 하냐?
요즘 실베에만 광고해 ㅡ,ㅡ;;
야 개새ㅣ끼야 왜 너는 광고 다니면서 딥러닝에는 광고 못 하게하고 720시간 정지 멕옇냐고 씨발노마
1. 광고 보기 싫음 2. 얼마 차단할지 모르겠어서 그냥 맥시멈으로 고름 ㅎㅎ
그럼 너도 다른 갤에 니 갤 광고 하지 말어야지, 그게 황금율 아니노 씨박새끼
이 새끼 완전 이기주의자네
야 이 조까튼 새끼야, 넌 딥러닝 배워서 뭐 하지마라, 딥러닝이 니 놈 이기주의 배워서 사회에 피해준다 씨발쉑쉑버거 새끼야
싸이코패스, 소시오패스를 실제 보고 있자니 소름이 끼친다 본인은 되고 타인은 안되고? 모순인 것에 아무 감정도 없는 댓글에 드디어 말로만 듣던 싸패,소패를 보는구나
이런 개가튼 싸패,소패 새끼가 주식에 딥러닝 했네 하면서 수많은 투자자 울릴 새끼이고 이런 조가튼 싸패,소패 새끼가 데이터를 딥으로 분석했네 마네 본인도 모르는 코드 가져다 붙여 놓고 사기칠 새끼임
카아아아아아아아악 - 퉤
댓글꼬라지보니까 차단하길 잘했네ㅇㅇ
39.7 = 지잡컴공 같은 쌔끼