Diffusion Model Attention Sparsity Video Generation Optimization Video Distillation

SpargeAttention2: Trainable Sparse Attention via Hybrid Top-k+Top-p Masking and Distillation Fine-Tuning

Paper ID: 2602.13515 • 21 Upvotes

📝 핵심 요약

비디오 확산 모델에서 attention 연산량을 95%까지 줄이면서 생성 품질을 유지하는 SpargeAttention2를 제안, 기존 sparse attention 방법들을 능가하는 성능을 보임.

📖 상세 내용

최근 확산 모델에서 attention 연산량을 줄이기 위한 sparse attention 연구가 활발하다. 기존 연구들은 Top-k나 Top-p 마스킹 규칙의 한계를 보였고, fine-tuning 과정에서 생성 품질 저하가 발생하기도 했다. 본 연구에서는 이러한 문제점을 분석하고, Top-k와 Top-p를 결합한 하이브리드 마스킹 규칙을 제안하여 높은 희소성에서도 안정적인 마스킹을 가능하게 한다. 또한 distillation 기반 fine-tuning objective를 통해 sparse attention fine-tuning 과정에서 생성 품질을 보존한다. 실험 결과, SpargeAttention2는 비디오 확산 모델에서 95%의 attention sparsity를 달성하면서도 생성 품질을 유지하여 기존 방법들을 능가하는 성능을 보여준다.

🔑 주요 내용 (Key Points)

Top-k와 Top-p 마스킹의 실패 원인 분석 및 하이브리드 마스킹 규칙 제안
Distillation 기반 fine-tuning objective를 통한 생성 품질 보존
비디오 확산 모델에서 95% attention sparsity 및 16.2배 속도 향상 달성

💡 실무적 가치 (Relevance)

비디오 생성 모델의 추론 속도를 크게 향상시키고, 메모리 사용량을 줄여 더 큰 모델을 학습하거나 배포하는 데 도움이 될 수 있다.

✅ 추천 액션 (Actionable Items)

기존 비디오 확산 모델에 SpargeAttention2 적용하여 성능 향상 및 메모리 절약 효과 확인
SpargeAttention2의 하이브리드 마스킹 규칙을 다른 attention 기반 모델에 적용하여 효과 검증
Distillation 기반 fine-tuning objective를 다른 sparse attention 방법과 결합하여 성능 개선 시도

View on Hugging Face View PDF (arXiv)