논문Hugging Face
JoyAI-Video-Edit: Real-Time Open-Ended Video Editing with Autoregressive Diffusion
논문 ID: 2608.0397475 추천
#Video-Generation#Real-Time#Diffusion-Model#Video-Editing#Video#Evaluation#Inference#Distillation
핵심 요약
B200 GPU 한 대에서 720p 30FPS 실시간 영상 편집을 구현한 자기회귀 확산 모델 프레임워크
상세 내용
실시간 영상 편집은 낮은 지연 시간과 원본 충실도, 장기적 시간적 일관성을 동시에 유지해야 하는 과제를 안고 있습니다. 기존 방식은 미래 프레임에 대한 접근이나 정해진 영상 길이라는 제약이 있었습니다. 본 논문은 16B 파라미터 규모의 자기회귀 확산 프레임워크인 JoyAI-Video-Edit를 제안합니다. SA-DMD와 장기적 자기회귀 증류 기법을 결합하여 학습-추론 간 불일치를 줄이고 누적되는 시간적 드리프트를 방지했습니다. 실험 결과, 기존 스트리밍 편집기보다 우수한 성능을 보였으며 오프라인 시스템과 경쟁 가능한 수준의 품질을 달면서도 실시간성을 확보했습니다.
주요 내용
- 16B 파라미터 규모의 자기회귀 확산 모델 기반 실시간 영상 편집 프레임워크 개발
- SA-DMD(Source-Anchored Distribution Matching Distillation)를 통한 원본 충실도 유지
- Long-Horizon Autoregressive Distillation을 통한 장기적 시간적 일관성 확보 및 드리프트 방지
실무에서 볼 만한 점
미래 프레임 없이도 실시간으로 끊김 없는 영상 편집이 가능함을 보여주어, 인터랙티브 영상 생성 및 스트리밍 서비스에 즉각적인 활용 가치가 있습니다.
참고할 행동
- 제공된 코드를 활용하여 단일 GPU 환경에서의 FPS 및 메모리 점유율 벤치마크 수행
- 다양한 해상도 및 프레임 레이트 변화에 따른 시간적 일관성(Drift) 발생 여부 테스트
- 소스 영상의 스타일 변환 시 원본 피사체 유지 능력을 정성적으로 평가