LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing

기존 스트리밍 비디오 편집은 배경 안정성 유지와 실시간 응답성 확보라는 두 가지 핵심 과제에 직면해 있습니다. 특히 기존 생성 모델은 편집 시 필요한 영역별 제어와 콘텐츠 보존 능력이 부족하여 실시간 편집에 적용하기 어렵습니다. 본 논문은 인과적(causal) 프레임 단위 편집을 지원하며, 강력한 콘텐츠 보존과 실시간성을 동시에 달성하는 새로운 프레임워크를 제안합니다. 이를 위해 양방향 모델의 능력을 단방향 스트리밍 모델로 전이하는 3단계 증류(distillation) 파이프라인을 설계했습니다. 또한, AR 환경을 고려한 마스크 캐시(mask cache)를 도입하여 중복 연산을 줄이고 추론 속도를 극대화했습니다. 실험 결과, 높은 시각적 품질을 유지하면서도 12.66 FPS의 빠른 속도를 달성하여 실시간 인터랙티브 애플리케이션에 적합함을 입증했습니다.