LooseControlVideo: Directorial Video Control using Spatial Blocking

Paper ID: 2606.19495 • 1 Upvotes

Video-Generation 3D-Control Computer-Vision Generative-AI Agent RAG Video Benchmark Evaluation

LooseControlVideo: Directorial Video Control using Spatial Blocking

📝 핵심 요약

희소한 3D 박스 정보만으로 복잡한 멀티 객체 영상의 레이아웃과 움직임을 제어하는 새로운 비디오 생성 프레임워크

📖 상세 내용

기존의 텍스트-비디오 생성 기술은 멀티 객체 장면에서 의미적 레이아웃과 시간적 역동성을 분리하여 제어하는 데 어려움이 있었습니다. 특히 정밀한 3D 구조를 위해 프레임마다 밀집된 가이드를 제공해야 하는 작업 부하 문제가 존재했습니다. 본 논문은 희소하고 방향성이 있는 3D 박스를 '블로킹(blocking)' 프록시로 사용하는 LooseControlVideo 프레임워크를 제안합니다. 이를 위해 3D 크기, 방향, 폐쇄(occlusion) 순서를 인코딩하는 DNOCS 데이터셋을 활용하여 Wan 2.2 백본을 미세 조정했습니다. 실험 결과, 기존 2D 박스 및 플로우 기반 방식보다 궤적 정확도와 강체 운동 일관성, 폐쇄 정확도 면에서 뛰어난 성능을 입증했습니다.

🔑 주요 내용 (Key Points)

희소한 3D 박스(Sparse 3D boxes)를 활용한 직관적인 비디오 레이아웃 및 궤적 제어
3D 크기, 방향, 깊이 순서 기반 폐쇄 정보를 포함하는 새로운 인코딩 방식(DNOCS) 도입
글로벌 컨텍스트를 유지하면서 특정 객체의 움직임이나 상호작용만 수정 가능한 국소적 정밀 제어 기능

💡 실무적 가치 (Relevance)

복잡한 3D 가이드 없이도 최소한의 박스 정보만으로 정교한 물리적 상호작용이 포함된 비디오를 생성할 수 있어, 영상 제작 워크플로우의 효율성을 크게 높일 수 있습니다.

✅ 추천 액션 (Actionable Items)

Wan 2.2 모델과 DNOCS 데이터셋의 호환성 및 학습 리소스 확인
제공된 3D 박스 가이드가 복잡한 비정형 객체(예: 사람의 움직임)에 얼마나 잘 적용되는지 테스트
기존 2D 기반 제어 방식과의 생성 품질 및 작업 시간 비교 실험

View on Hugging Face View PDF (arXiv)