Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

기존의 대화형 시스템은 VAD, ASR, TTS, 비디오 생성 등 여러 모듈을 결합한 캐스케이드(Cascaded) 구조를 사용하여 지연 시간과 오류 누적 문제가 발생했습니다. 이를 해결하기 위해 Wan-Streamer는 언어, 오디오, 비디오를 단일 트랜스포머 내에서 통합 처리하는 네이티브 스트리밍 구조를 제안합니다. 모델은 블록 인과적 어텐션(Block-causal attention)과 저지연 멀티모달 토큰 스케줄링을 통해 실시간 스트리밍을 지원하도록 설계되었습니다. 이를 통해 인지, 추론, 생성, 턴 관리 및 모달 간 동기화가 하나의 모델 내에서 통합적으로 학습됩니다. 결과적으로 모델 측 응답 지연을 약 200ms로 낮추어, 네트워크 지연을 포함한 전체 상호작용 지연 시간을 550ms 수준으로 구현했습니다.