YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
심볼릭 계획(Symbolic Planning)을 통해 작곡의 정교함과 오디오의 완성도를 동시에 잡은 차세대 통합 음악 생성 모델
논문이 다루는 내용
기존의 심볼릭 모델은 음악적 구조는 뛰어나지만 최종 음원이 부족하고, 오디오 모델은 완성도는 높지만 작곡 의도를 제어하기 어렵다는 문제가 있었습니다. 이를 해결하기 위해 YuE2는 심볼릭 계획을 통해 작곡과 오디오 생성을 통합한 AR-NAR Mixture-of-Transformers(MoT) 구조를 제안합니다. 모델은 먼저 읽을 수 있는 악보 형태의 스코어를 작성한 뒤, 이를 의미적 토큰으로 확장하여 완전한 곡을 생성합니다. 실험 결과, 심볼릭 계획 방식은 기존 방식보다 높은 음악적 완성도를 보였으며 Suno와 같은 상용 모델과 대등하거나 우수한 성능을 기록했습니다. 또한 MERT2와 SheetSage2를 통해 정렬된 악보가 없는 데이터에서도 학습이 가능하도록 설계되었습니다.
핵심 결과
-
심볼릭 계획(Symbolic Planning)을 통한 작곡과 오디오 생성의 결합
-
AR-NAR Mixture-of-Transformers(MoT) 구조를 통한 단일 체크포인트 통합 생성
-
MERT2 및 SheetSage2를 활용한 고성능 음악 표현 학습 및 악보 전사 능력 확보
실무에서 볼 만한 점
음악 생성 시 단순한 오디오 생성을 넘어, 작곡 의도를 명시적으로 제어하고 편집할 수 있는 새로운 워크플로우를 제시합니다.
읽을 때 확인할 점
-
제시된 MERT2/SheetSage2를 활용한 음악 표현 학습 성능 벤치마크 수행
-
심볼릭 스코어 편집을 통한 에이전트 기반 음악 수정 워크플로우 테스트
-
Suno 등 기존 상용 생성 모델과의 품질 및 제어 편의성 비교 실험