[📰논문] 디퓨전 모델의 배경과 원리를 설명하는 자료(실전압축)

[지잡컴공(wlwkqzjarhd)]

Calvin Luo, Understanding Diffusion Models: A Unified Perspective

사실 이 자료는 ArXiv에 올라온 직후 다운로드를 해 두고 잊고 있었던 자료입니다.

어쩌다 다시 훑어보니 구성과 내용이 좋은 것 같아 공유합니다.

저자는 diffusion model을 Markovian Hierarchical VAE로 간주합니다.

글의 초반에는 ELBO와 VAE 설명으로 빌드업을 하다

diffusion model의 설명으로 자연스럽게 넘어가는 구성으로 되어 있습니다.

다른 자료들을 보면 score-based model의 설명부터 시작하는 경우가 왕왕 있는데

그런 자료에 비하면 정말 이해하기 쉬운 것 같습니다.

Diffusion model에 대해서 궁금한데 배경지식이 없어서 논문을 바로 보기 어려운 분들에게는

많은 도움이 될 것이라고 생각합니다.

Arxiv 주소

https://arxiv.org/pdf/2208.11970.pdf

[Cytrus(minhyoo1)]

전공쪽은 아닌데 재밌게 볼게 ㄱㅅ - dc App

[지잡컴공(wlwkqzjarhd)]

사실 저도 잘 모르는 분야예요... 제가 무슨 소리를 써 놓은건지도 잘 모르겠네요 ㅎㅅㅎ

[지잡컴공(wlwkqzjarhd)]

[Cytrus(minhyoo1)]

잠깐 kld 랑 mi를 메트릭으로 쓴다고 elbo공부를 했는데 어렵긴하더라 - dc App

[지잡컴공(wlwkqzjarhd)]

ELBO를 이해하려면 Variational Inference와 KL divergence를 알아야하고 그 둘을 더 잘 알기 위해서는 수리통계학이 필요하고, 수리통계학을 잘 이해하려고 하다보니 측도론이 필요하고........

[지잡컴공(wlwkqzjarhd)]

[익명(58.234)]

완장 질문하나 해도 됨? - dc App

[지잡컴공(wlwkqzjarhd)]

아는게 없어서 아마 모른다고 할 것 같지만 하셔도 돼요.

[익명(58.234)]

cs231n볼때 asssignments들 한번에 못풀겠는데 일단 1-3까지 한두바퀴 돌리고 구현안된거 보고 구현해도 상관없음? 너무 초보적이라 미안 - dc App

[지잡컴공(wlwkqzjarhd)]

1-3까지라는게 lecture 1–3 을 말하는 거라면 이해가 되지 않는 부분은 CS231n 강의 사이트의 course notes를 참고하면서 몇 번 반복해서 들으면 더 좋겠죠. '구현안된거 보고 구현해도 상관없음?' 이 무슨 뜻인지 잘 이해가 되지 않네요. 구현하지 못한 부분을 다른 구현된 코드를 참고해서 작성한다는 의미라면 코드를 이해한다는 전제 하에 크게 상관 없을 것 같아요.

[지잡컴공(wlwkqzjarhd)]

그런데 assignment가 너무 어렵게 느껴진다면 '밑바닥 부터 시작하는 딥러닝 1'을 같이 보시는걸 추천드려요. 제 기억으로 저자가 CS231n assignments를 기반으로 책을 썼거든요. 힘들겠지만 CS231n과 밑바닥~ 책만 제대로 공부하더라도 앞으로 딥러닝 공부하시는게 한참 수월해질거예요.

[익명(58.234)]

모바일이라서 질문이 너무 이상했음 미안; assignment1 ~ assignment3까지 말하려던거였음 구현 안된거에서는 잘못 적었던거 같음 'assignment1~3까지 이미 다른사람이 구현한 코드 보면서 1~2번 정도 코드보고 이후에 강의 몇번 더 들어보면서 다시 assignment 구현하는게 어떰?' 으로 수정해야할듯

[익명(58.234)]

아래 글을 늦게봤네 책은 일단 갖고 있으니까 같이 참고해가면서 최대한 혼자 구현해봐야할듯 ㄱㅅㄱㅅ

[지잡컴공(wlwkqzjarhd)]

이건 개인적인 의견입니다. 저는 다른 코드를 먼저 보는 행위 자체를 부정적으로 생각해요. 이미 numpy나 pytorch 코드에 익숙해서 코드만 봐도 내용을 이해할 정도라면 모르겠지만, 아마 남의 구현을 보더라도 제대로 line-by-line으로 이해하고 넘어가려면 시간이 오래 걸릴거예요. 게다가 CS231n의 본질은 코드 구현 방법보다는 알고리즘의 이해라고 생각하는데, 코드로 공부를 하려고 한다면 전체적인 알고리즘을 이해하는 데에 있어서 매우 비효율적일 것이라고 생각해요. 단지 과제는 알고리즘을 직접 생각하며 코드로 옮기면서 이해를 더욱 강화하고, 잘못 이해한 부분이 있다면 수정할 수 있는 기회를 주고, 실제로 동작하는 모습을 확인하며 약간의 재미(?)를 주는 부가적인 요소겠지요.

[익명(58.234)]

ㄱㅅㄱㅅ 그 말 들으니까 정신이 확 드네 일정안에 끝낸다기보다 그냥 강의 하나도 몇일 고민해봐야 하는게 맞는듯함 책도 있고 시간이 마냥 모자란것도 아니니까 마음 좀 편하게 먹고 여유롭게 해야할듯 - dc App

[익명(210.178)]

와 마침 ddpm 하느라 필요했는데 ㄳㄳ 역시 요즘 트렌드인가봄

[익명(rechido)]

hierarchical vae 설명하고 디퓨전으로 넘어가는거 보니 진짜 보기 드물게 제대로 설명하는 글인듯 - dc App

[익명(rechido)]

ddpm 제대로 설명하는 강의 보기가 힘듬 - dc App

[익명(218.155)]

오 감사합니다주딱님