4Director: Controlling Video World Models with Rigid 3D Geometry
명시적인 4D 기하 구조를 활용하여 카메라와 객체 움직임을 정밀하게 제어하는 비디오 월드 모델 제안
논문이 다루는 내용
전문적인 비디오 제작을 위해서는 카메라와 객체 움직임에 대한 정밀한 제어가 필수적입니다. 기존 방식은 이미지 평면의 단편적인 정보나 불완전한 3D 트랙을 사용하여 깊이와 회전 제어가 모호하고 일관성이 떨어지는 문제가 있었습니다. 본 논문은 각 객체를 정형화된 메쉬(canonical mesh)로 재구성하고 프레임별 강체 변환을 적용하는 명시적 4D 장면 표현 방식인 4Director를 제안합니다. 제어된 장면을 깊이 비디오로 렌더링한 후, Motion Adapter를 통해 일관된 외형과 조명, 비정형 역학을 결합한 비디오를 생성합니다. 이를 위해 20,774개의 정밀한 3D 주석이 포함된 RealCOD-Rigid 데이터셋을 구축하였으며, 새로운 평가 지표인 IG-IoU를 도입했습니다. 실험 결과, 4Director는 기존 방식보다 시각적 품질과 제어 정밀도 면에서 우수한 성능을 보였습니다.
핵심 결과
-
명시적 4D 장면 표현을 통한 정밀한 객체 및 카메라 제어 인터페이스 제공
-
강체 변형(Rigid Transformation) 기반의 메쉬 재구성을 통한 기하학적 일관성 유지
-
새로운 데이터셋(RealCOD-Rigid) 및 움직임과 정체성 보존을 동시에 평가하는 IG-IoU 지표 제안
실무에서 볼 만한 점
단순한 텍스트/이미지 기반 생성을 넘어, 물리적으로 타당하고 제어 가능한 3D 기반 비디오 생성 워크플로우를 구축할 수 있습니다.
읽을 때 확인할 점
-
제공된 4D 기하 구조가 복잡한 비정형 움직임(예: 옷자락 흔들림)을 얼마나 잘 수용하는지 테스트
-
RealCOD-Rigid 데이터셋의 스케일과 품질이 실제 프로덕션 환경에 적합한지 검토
-
Motion Adapter의 렌더링 성능과 연산 비용 분석