[📪정보] VFusion3D: 비디오 디퓨전 기반의 3D 생성 모델.meta

https://discuss.pytorch.kr/t/vfusion3d-video-diffusion-model-3d-feat-meta-oxford-univ/5041

VFusion3D: Video Diffusion Model 기반의 확장 가능한 3D 생성 모델 (feat. Meta & Oxford Univ.)VFusion3D 논문 소개 3D 데이터의 부족은 항상 3D 생성 모델 개발의 큰 걸림돌이었습니다. 이번에 소개할 VFusion3D는 이 문제를 획기적으로 해결한 모델로, 적은 3D 데이터로도 고품질의 3D 결과물을 생성할 수 있는 방법을 제시합니다. 특히, 기존의 비디오 확산 모델을 활용한 데이터 증강이 핵심입니다. VFusion3D 모델의 주요 특징은 다음과 같습니다: 다중 시점 데이터 생성: 비디오 확산 모델을 미세 조정하여 다중 시점 데이터를 대규모로 생성. 빠른 3D 생성: 단일 이미지에서 3D 자산을 빠르게 생성 가능. 높은 사용자 만족도: 생성된 3D 결과물에 대한 사용자 선호도 조사에서 90% 이상의 선호도를 기록. VFusion3D는 비디오 확산 모델을 기반으로 대규모 3D 생성 모델을 구축하는 방법을 제시합니다. 기존의 3D 데이터 부족 문제를 해결하기 위해, 사전 학습된 비디오 확산 모델을 사용하여 대규모 다중 시점 데이터를 생성하고, 이를 통해 3D ...discuss.pytorch.kr

VFusion3D 논문 소개

3D 데이터의 부족은 항상 3D 생성 모델 개발의 큰 걸림돌이었습니다. 이번에 소개할 VFusion3D는 이 문제를 획기적으로 해결한 모델로, 적은 3D 데이터로도 고품질의 3D 결과물을 생성할 수 있는 방법을 제시합니다. 특히, 기존의 비디오 확산 모델을 활용한 데이터 증강이 핵심입니다. VFusion3D 모델의 주요 특징은 다음과 같습니다:

ㆍ 다중 시점 데이터 생성: 비디오 확산 모델을 미세 조정하여 다중 시점 데이터를 대규모로 생성.

ㆍ 빠른 3D 생성: 단일 이미지에서 3D 자산을 빠르게 생성 가능.

ㆍ 높은 사용자 만족도: 생성된 3D 결과물에 대한 사용자 선호도 조사에서 90% 이상의 선호도를 기록.

VFusion3D는 비디오 확산 모델을 기반으로 대규모 3D 생성 모델을 구축하는 방법을 제시합니다. 기존의 3D 데이터 부족 문제를 해결하기 위해, 사전 학습된 비디오 확산 모델을 사용하여 대규모 다중 시점 데이터를 생성하고, 이를 통해 3D 생성 모델을 학습합니다. 이 모델은 단일 이미지에서 빠르게 3D 결과물을 생성할 수 있으며, 사용자 선호도 조사에서 높은 만족도를 보였습니다.

VFusion3D 동작 개요

저자들은 3D 데이터의 제한된 가용성을 해결하기 위해 대규모 텍스트, 이미지, 비디오 데이터로 학습된 비디오 디퓨전 모델을 3D 데이터의 지식 소스로 사용하는 방법을 제안합니다. 이 모델의 멀티뷰 생성 능력을 미세 조정하여 대규모 합성 멀티뷰 데이터를 생성하고, 이를 통해 피드포워드 3D 생성 모델을 학습합니다.

VFusion3D는 LRM(Large Reconstruction Model)을 기반으로 하여 설계되었으며, 학습 안정성을 높이기 위해 여러 가지 학습 전략을 도입했습니다. 특히, 합성 멀티뷰 데이터를 활용해 3D 자산을 단일 이미지로부터 재구성하는 모델을 개발했습니다.

VFusion3D의 기반이 되는 EMU Video Model은 Text-Image Diffusion Model에서 시작하여 학습한 Video Diffusion Model입니다. EMU Video Model은 복잡한 카메라 움직임을 포함한 다양한 비디오에서 학습되었습니다. 이 모델은 텍스트 프롬프트와 이미지 프롬프트를 이용해 고품질의 멀티뷰 비디오를 생성할 수 있습니다.

이러한 EMU 비디오 모델을 미세조정(finetuning)하여 멀티뷰 비디오를 생성할 수 있도록 하였고, 이를 통해 300만 개 이상의 멀티뷰 데이터를 생성했습니다. 이러한 데이터는 VFusion3D 모델을 학습하는 데 사용되며, 모델의 성능 향상에 기여했습니다.

VFusion3D는 기존의 최첨단 피드포워드 3D 생성 모델들과 비교했을 때, 데이터 규모를 확장할수록 성능이 향상되는 장점이 있습니다. 또한, 비디오 확산 모델의 개선 및 추가 3D 데이터의 확보와 같은 요소를 통해 더 높은 확장성을 보여줍니다.

실험 및 성능 평가

ㆍ Text-Image-3D 생성: 텍스트 프롬프트를 기반으로 3D 자산을 생성하는 실험에서도 VFusion3D는 DreamFusion, Magic3D 등과 비교해 우수한 성능을 보였으며, 특히 3D 형태 일관성에서 탁월한 결과를 보였습니다.

ㆍ 단일 이미지 3D 재구성: VFusion3D는 단일 이미지로부터 고품질의 3D 자산을 생성하는 데 성공했으며, 다양한 최신 모델들과 비교하여 뛰어난 성능을 보였습니다. 이미지와 텍스트의 정렬에서도 우수한 결과를 나타냈습니다.

ㆍ 사용자 연구 및 비교 분석: 사용자 연구에서는 VFusion3D의 결과물이 기존 모델들과 비교해 시각적 품질과 원본 이미지와의 일치도에서 높은 평가를 받았습니다.

https://arxiv.org/html/2403.12034v2

VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion ModelsVFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Modelsarxiv.org

https://github.com/facebookresearch/vfusion3d

GitHub - facebookresearch/vfusion3d: [ECCV 2024] Code for VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Models[ECCV 2024] Code for VFusion3D: Learning Scalable 3D Generative Models from Video Diffusion Models - facebookresearch/vfusion3dgithub.com

https://huggingface.co/spaces/facebook/VFusion3D

VFusion3D - a Hugging Face Space by facebookVFusion3D - a Hugging Face Space by facebookhuggingface.co

[📪정보] VFusion3D: 비디오 디퓨전 기반의 3D 생성 모델.meta

댓글 1

다른 게시글