Beyond Pixels: From Video Priors to 4D Worlds

비디오 생성 모델의 잠재 공간(Latent)을 직접 활용하여 RGB 렌더링 없이 고품질 4D 장면을 생성하는 효율적인 프레임워크 제안

기존의 4D 생성 방식은 생성된 RGB 비디오를 다시 재구성하거나 특정 비디오 생성기에 종속되어 분포 불일치 및 재학습 비용 문제가 발생했습니다. 본 논문은 동일한 VAE를 공유하는 비디오 모델의 최종 디노이징 잠재 공간이 4D 예측을 위한 재사용 가능한 인터페이스가 될 수 있음에 주목했습니다. 이를 위해 RGB 과정을 거치지 않고 비디오 잠재 공간을 4D 디코더의 토큰 그리드에 정렬하는 'Latent-to-4D' 방식을 도입했습니다. 제안된 방식은 프레임별 및 전역 시공간 어텐션을 통해 잠재 공간을 정교하게 정제합니다. 실험 결과, 제안 모델은 기존 Wan+4RC 방식보다 높은 기하학적 정확도와 시간적 안정성을 보이며 인간 평가에서도 우수한 품질을 입증했습니다.

비디오 생성 모델의 결과물을 별도의 복잡한 재구성 과정 없이 즉시 3D/4D 자산으로 변환할 수 있는 효율적인 파이프라인을 제시합니다.