DanceOPD: On-Policy Generative Field Distillation

Paper ID: 2606.27377 • 69 Upvotes

Generative AI Diffusion Models Knowledge Distillation Image Editing Vision Distillation

DanceOPD: On-Policy Generative Field Distillation

📝 핵심 요약

다양한 이미지 생성 기능(T2I, 편집 등) 간의 충돌을 해결하기 위해 온폴리시(On-policy) 필드 증류 기법을 적용한 Flow-matching 모델 학습 프레임워크

📖 상세 내용

최근 이미지 생성 모델은 텍스트-이미지 생성(T2I)과 로컬/글로벌 편집 기능을 동시에 요구하지만, 각 기능 간의 상충하는 특성으로 인해 성능 저하가 발생하는 문제가 있습니다. 이를 해결하기 위해 본 논문은 DanceOPD라는 온폴리시 생성 필드 증류 프레임워크를 제안합니다. 이 방식은 각 샘플을 특정 기능 필드로 라우팅하고, 학생 모델의 자체 롤아웃 상태에서 쿼리된 상태를 통해 학습하는 구조를 가집니다. 각 기능은 공유된 플로우 상태 공간에서의 속도장(velocity field)으로 정의되어, 복합적인 기능들을 자연스럽게 통합합니다. 실험 결과, 기존의 생성 품질을 유지하면서도 다양한 편집 및 생성 기능의 조화로운 결합이 가능함을 입증했습니다.

🔑 주요 내용 (Key Points)

On-policy generative field distillation을 통한 다중 기능(T2I, Editing)의 충돌 방지
각 기능을 공유된 플로우 상태 공간 내의 속도장(velocity field)으로 정의하여 통합
CFG(Classifier-free guidance)와 같은 연산자 정의 필드까지 흡수 가능한 범용적 설계

💡 실무적 가치 (Relevance)

하나의 모델에 여러 편집 및 생성 기능을 넣을 때 발생하는 성능 저하 문제를 해결하는 실용적인 학습 방법론을 제시합니다.

✅ 추천 액션 (Actionable Items)

Flow-matching 기반 모델(예: Stable Diffusion 3 등)에 해당 증류 프레임워크 적용 테스트
특정 기능(예: 편집) 강화 시 기본 생성 품질(T2I)이 얼마나 유지되는지 벤치마크 수행
CFG 등 기존 가이던스 기법과 결합 시의 수렴 안정성 확인

View on Hugging Face View PDF (arXiv)