[일반] 디퓨전이랑 rnn이랑 뭐가다름?

[딥삣삐(118.235)]

출력을 rnn의 final state로 가지면서

가중 평균 쓰도록 하고 n 스텝인 rnn 만들면 그게 디퓨전 아님?

디퓨전 논문 보는데 뭐가 다른지 모르겠음

- dc official App

[익명(rechido)]

전혀다름 - dc App

[미즈키님(pytorch)]

[없써지기(suitcase0114)]

rnn은 noise scheduling에 대한 개념 자체가 없음.

[글쓴 딥삣삐(118.235)]

그냥 rnn에서도 state를 출력으로 가져 쓰고 스텝마다 공분산 행렬가지고 노이즈 추가한뒤에 t스텝쯤 뒤에 원본이랑 비교하면 diffusion이랑 똑같은거 아님? 걍 rnn에 dynamic 노이즈를 추가한거라 불러도 무방한거 아님? - dc App

[없써지기(suitcase0114)]

@글쓴 딥삣삐(118.235) 할려면 할 수 있겠지만 rnn이 트랜스포머에게 밀려버린 것 중에 gradient vanishing이 큰데 rnn이라는 구조로는 reverse process를 효과적으로 모델링 할 수 없을듯

[글쓴 딥삣삐(118.235)]

@없써지기 그럼 denoising과정을 공분산을 추정하는 1step bptt rnn이라고 멋대로 불러버려도 상관없는 부분? - dc App

[없써지기(suitcase0114)]

@글쓴 딥삣삐(118.235) 뭐 어떻게든 되겠지. 간단한 mnist같은거로 해봐. 하다보면 의외로 괜찮은 아이디어 나올수도 있겠지.

[약팔이아님(vital7966)]

맞는것 같기도 하고? 근데 굳이 rnn처럼 nn으로 복잡하게 할필요가 없을걸 timestep=1과 =n 인 시점에서의 latent를 그냥 보간때려서 loss target 정하는것도 있어서