논문
VidDub: Replacement-Aware Distillation for Two-Step Video Dubbing
기존의 입 모양 재구성 방식의 충돌 문제를 해결하여, 고품질 영상과 정교한 립싱크를 동시에 달성하는 2단계 비디오 더빙 기술
핵심 결과
-
교체 인식 교차 오디오 감독: 소스 입 모양과 타겟 음성 간의 충돌을 방지하기 위해 마스킹 기법 도입
-
2단계 디스틸레이션(2 NFE): 고품질 비디오 생성을 유지하면서도 빠른 추론을 위한 효율적 증류 기법 적용
-
VidDub-Bench: 정교한 평가를 위한 데이터셋 및 통합 평가 코드 공개
실무에서 볼 만한 점
영상 편집 시 음성 교체 시 발생하는 입 모양 불일치 문제를 해결하며, 적은 연산량(2 NFE)으로 실시간에 가까운 고품질 더빙 결과물을 얻을 수 있습니다.
읽을 때 확인할 점
-
제공된 VidDub-Bench 데이터셋을 활용한 립싱크/정체성 보존 성능 비교 실험
-
마스킹 강도 변화에 따른 입 모양 정교도와 배경 보존도 간의 트레이드오프 분석
-
2단계 증류 모델의 추론 속도와 시각적 품질 간의 상관관계 검증