TaoMate-HD: Progressive-Resolution Autoregressive Audio-Video Generation
고해상도 오디오-비디오 스트리밍 생성을 위한 점진적 해상도 및 자기회귀 방식의 효율적인 모델
논문이 다루는 내용
디지털 휴먼 서비스에서는 실시간 텍스트 업데이트에 맞춰 고해상도 비디오를 생성하면서도 끊김 없는 음성 출력이 필요합니다. 기존의 고해상도 디노이징 방식은 비용이 많이 들고, 텍스트 업데이트 시 음성이 중단되거나 반복되는 문제가 있었습니다. 이를 해결하기 위해 TaoMate-HD는 저해상도 구조 형성 후 고해상도로 정제하는 점진적 디노이징과 오디오-비디오 통합 생성 방식을 제안합니다. 또한, 텍스트 업데이트 시 이전 맥락을 유지하는 Continuation training을 통해 음성 연속성을 확보했습니다. 실험 결과, 직접 생성 방식 대비 1.6배의 속도 향상을 보였으며, 최적화된 병렬 배포를 통해 추가적인 속도 향상을 달성했습니다. 결과적으로 캐릭터 오류율을 크게 낮추면서도 시간 단위의 장기 오디오-비디오 생성이 가능해졌습니다.
핵심 결과
-
저해상도 구조 형성 후 고해상도로 정제하는 점진적(Progressive) 디노이징 방식 도입
-
텍스트 업데이트 시 음성 연속성을 유지하는 비대칭 텍스트 컨디셔닝(Continuation training) 적용
-
단계별 병렬 배포(Stage-parallel deployment)를 통한 생성 속도 최적화
실무에서 볼 만한 점
실시간 디지털 휴먼 서비스 구축 시, 생성 비용을 낮추면서도 끊김 없는 고화질 영상과 음성을 동시에 확보할 수 있는 아키텍처를 제시합니다.
읽을 때 확인할 점
-
제시된 점진적 디노이징 단계와 오디오 생성 간의 동기화 메커니즘 분석
-
텍스트 업데이트 빈도 변화에 따른 음성 왜곡 및 연속성 유지 성능 테스트
-
Stage-parallel 배포 환경에서의 하드웨어 자원 효율성 검증