[📪정보] NUWA-XL - 긴 비디오 생성이 가능해진 새로운 모델

[익명(49.50)]

지금까지 영상 생성 모델들은 짧은 영상(<1초)들만 이용해 학습했고 짧은 영상을 하나씩 순차적으로 만들어서 나열해 긴 영상을 생성하는 방식을 사용함

이 때문에 시간적 일관성(temporal consistency)을 유지하기가 힘들었고 생성에도 긴 시간이 걸림

NUWA-XL은 기존 생성 모델들보다 훨씬 더 긴 영상들을 학습했고 “Diffusion over Diffusion”이라는 새로운 생성 방법을 사용하는데, 간단히 말해 diffusion model의 3D(2D+Time) 버전임

Stable Diffusion같은 diffusion model은 2D 공간의 노이즈로부터 이미지를 복원하는 방식으로 이미지를 생성함

NUWA-XL은 여기서 한 발자국 더 가서 시간축의 노이즈로부터 영상을 복원해서 순차적이 아니라 영상의 처음과 중간들, 끝을 동시에 생성하고 사이사이를 채움

이를 통해 기존 영상 생성 모델들보다 더 뛰어난 시간적 일관성을 유지하며 최소 10배의 속도로 1024 프레임 길이의 영상을 생성함

그리고 생성 영상이 더 길어질수록 기존 방식보다 더 효율적이 됨

단점은 기존 방식보다 GPU가 더 필요함

웹사이트에 생성 과정과 생성된 11분 짜리 영상이 있음 (https://msra-nuwa.azurewebsites.net/)

논문에는 언급이 없지만 긴 만화 같은 것도 일관성을 유지하며 쉽게 생성이 가능할 듯?

https://arxiv.org/pdf/2303.12346.pdf

[빙냥이ㄱㅇㅇ(6zd2cxvc44h4)]

오...

[익명(rechido)]

[YorushiKanyewest(yorushika12)]

[익명(211.178)]

[익명(114.202)]

솔직히 영상은 캐릭터유지가 존나중요한데 또 이게 이렇게 보면 차라리 3D모델링을 쓰는게 나을수도 있어서 존나 애매한듯

[익명(220.122)]

The more Video! The more GPU! The more Nvidia!

[익명(119.77)]

사실 이 아이디어 내가 12월 달에 생각한건데 ㅋㅋㅋㅋㅋ... 이런 말 해봤자 의미 없지만! 역시 논문으로 드디어 나왔구나! 굿굿!

[익명(220.127)]

2025