[📪정보] 효율적인 4D 콘텐츠 생성을 위한 DreamGaussian4D 모델

[특갤용(118wshxhtx5h)]

Latest AI news 2023/12/29 최신 AI 뉴스

DreamGaussian4D: Generative 4D Gaussian Splatting

DreamGaussian4D: 생성적 4차원 가우시안 스플래팅

Nanyang Technological University

Shanghai AI Laboratory

Peking University

University of Michigan

3줄요약

1. DreamGaussian4D는 4D Gaussian Splatting을 사용하여 동적인 3D 장면을 몇 분 안에 효율적으로 생성합니다. 이는 공간 변환을 명시적으로 모델링함으로써 최적화 시간을 기존 몇 시간에서 몇 분으로 대폭 단축시킵니다.

2. 이미지에서 비디오로 생성된 동적 콘텐츠를 활용하여 보다 제어 가능하고 다양한 3D 움직임을 학습하는 이미지-4D 프레임워크를 설계하였습니다.

3. 비디오-비디오 텍스처 정제 전략을 제안하여 수출된 애니메이션 메쉬의 품질을 향상시키고, 실제 세계의 응용 프로그램에 쉽게 배포할 수 있습니다.

Abstract

Remarkable progress has been made in 4D content generation recently. However, existing methods suffer from long optimization time, lack of motion controllability, and a low level of detail. In this paper, we introduce DreamGaussian4D, an efficient 4D generation framework that builds on 4D Gaussian Splatting representation. Our key insight is that the explicit modeling of spatial transformations in Gaussian Splatting makes it more suitable for the 4D generation setting compared with implicit representations. DreamGaussian4D reduces the optimization time from several hours to just a few minutes, allows flexible control of the generated 3D motion, and produces animated meshes that can be efficiently rendered in 3D engines.

최근 4D 콘텐츠 생성 분야에서 눈에 띄는 진전이 있었습니다. 그러나 기존 방법들은 긴 최적화 시간, 운동 제어 부족, 상세도가 낮은 문제점을 가지고 있습니다. 본 논문에서는 4D 가우시안 스플래팅 표현을 기반으로 한 효율적인 4D 생성 프레임워크인 드림가우시안4D를 소개합니다. 우리의 주요 통찰은 가우시안 스플래팅의 공간 변환 명시적 모델링이 암시적 표현에 비해 4D 생성 설정에 더 적합하다는 것입니다. 드림가우시안4D는 최적화 시간을 몇 시간에서 몇 분으로 단축시키고, 생성된 3D 운동의 유연한 제어를 가능하게 하며, 3D 엔진에서 효율적으로 렌더링될 수 있는 애니메이션 메쉬를 생성합니다.

https://arxiv.org/pdf/2312.17142.pdf

https://jiawei-ren.github.io/projects/dreamgaussian4d/

[익명(rechido)]

3d+motion이라 4d인가? - dc App

[익명(175.118)]

ㅇㅇ

[디시콘발사대(fcbjsjmu1t9f)]