페이퍼 요약 :
아래는 “VideoJAM: Joint Appearance-Motion Representations for Enhanced Motion Generation in Video Models”의 핵심 내용을 정리한 것입니다.
1. 문제 인식
• 기존의 비디오 생성 모델들은 주로 픽셀 기반의 재구성 목표(pixel reconstruction objective)에 집중하다 보니, 실제 세계의 동작(motion)이나 역학(physics)을 충분히 반영하지 못하고, 모션 일관성(coherence)이 떨어지는 문제가 있음.
2. 제안 기법 – VideoJAM
• VideoJAM은 영상 생성 모델에 강력한 모션 프라이어(motion prior)를 주입하기 위해, 이미지의 외관(appearance)과 모션 정보를 하나의 joint representation으로 융합하여 학습하도록 설계됨.
• 이 접근법은 외관과 모션 정보를 상호 보완적으로 학습함으로써, 생성된 영상에서 두 요소가 보다 긴밀하게 결합되고, 결과적으로 시각 품질과 모션 일관성이 동시에 향상됨.
3. 방법론
(a) 학습 단계
– 입력 영상(x₁)과 해당 모션 표현(d₁)이 각각 노이즈 처리된 후, 선형 레이어(Win⁺)를 통해 단일 joint latent representation으로 임베딩됨.
– 이 공동 표현을 diffusion 모델이 처리하고, 두 개의 선형 투영 레이어(Wout⁺)가 각각 픽셀(외관)과 모션 정보를 예측하도록 함.
• 이로써 모델은 단순한 픽셀 재구성 이상의 정보를 내재화하면서, 모션 프라이어를 효과적으로 학습하게 됨.
(b) 추론 단계
– Inner-Guidance 메커니즘 도입: 모델이 생성 과정 중 스스로 예측한 노이즈 모션 신호를 동적인 가이드로 사용하여, 각 시간 단계에서 모션 일관성을 강화함.
– 이러한 과정은 비디오 생성을 진행하면서 모델의 내부 예측을 피드백 형태로 활용, 더욱 자연스러운 모션을 유도함.
4. 적용 가능성과 성과
• VideoJAM은 기존의 비디오 생성 모델(DiT-30B 등)에 최소한의 수정만으로 적용 가능하며, 별도의 데이터 재구성이나 모델 규모 확장이 필요 없음.
• 정성적 결과 비교에서, VideoJAM은 다양한 복합 모션(예: 스케이트보드 점프, 발레, 동물의 움직임 등) 생성 시 기존 모델이나 상업용 경쟁 모델(Sora, Kling, Runway Gen3)보다 모션 일관성과 시각적 품질에서 우수함을 보임.
• 본 접근법은 외관과 모션이 상호 보완적일 때, 두 요소 모두의 품질이 향상될 수 있음을 실험적으로 증명함.
5. 결론
• 본 연구는 기존의 픽셀 재구성 중심의 비디오 생성 접근법이 가지는 한계를 극복하고, 모션과 외관 정보를 통합하여 보다 자연스럽고 동적인 비디오 생성을 가능하게 하는 새로운 프레임워크를 제시함.
• 이와 같은 joint appearance-motion 접근법은 향후 비디오 생성 및 관련 응용 분야에서 중요한 발전 방향을 제시할 것으로 기대됨.
이와 같이 VideoJAM은 단순히 화질에 집중하는 기존 모델과 달리, 모션 일관성과 자연스러운 동작 생성을 동시에 달성할 수 있는 효과적인 방법론으로 평가됩니다.
댓글 0