논문
NitroFusion2: Bringing Adversarial Loss to the Text Stream of Multimodal Diffusion Transformers
텍스트 스트림의 특징을 활용한 적대적 손실 도입을 통해 1~2단계의 초고속 멀티모달 확산 모델 생성을 실현함
논문이 다루는 내용
기존의 적대적 확산 증류(Adversarial Diffusion Distillation)는 주로 이미지 피처를 판별자로 사용해 왔습니다. 하지만 멀티모달 확산 트랜스포머(MMDiT)에서는 텍스트 스트림이 공동 어텐션을 통해 이미지 정보에 의존한다는 점에 주목했습니다. 이를 위해 텍스트 토큰 상태를 새로운 적대적 표현으로 활용하는 TSAD와 특정 속성을 제어하는 ACD 기법을 제안합니다. NitroFusion2는 이러한 기법들을 결합하여 기존 4~8단계의 증류 과정을 1~2단계로 단축했습니다. 결과적으로 1단계 생성에서도 선명한 텍스트와 세부 디테일을 유지하며 실용적인 수준의 고품질 생성을 달성했습니다.
핵심 결과
-
TSAD: 텍스트 토큰의 중간 상태를 활용한 새로운 적대적 증류 방식 도입
-
ACD: 타이포그래피, 객체, 스타일 등 특정 속성을 제어하는 판별기 설계
-
초고속 생성: 1~2단계의 적은 스텝만으로도 고품질 이미지를 생성하는 효율성 확보
실무에서 볼 만한 점
생성 모델의 추론 스텝을 획기적으로 줄여 실시간 서비스 수준의 초고속 이미지 생성을 가능하게 합니다.
읽을 때 확인할 점
-
MMDiT 구조 기반의 모델에서 텍스트 스트림 피처 추출 실험
-
다양한 스타일/객체 속성에 따른 ACD 제어 성능 검증
-
1-step 생성 시 텍스트 렌더링 품질과 디테일 유지력 비교