FlowBender: Feedback-Aware Training for Self-Correcting Conditional Flows

Paper ID: 2606.20404 • 15 Upvotes

Generative Models Diffusion/Flow Self-Correction Computer Vision Vision Inference Optimization Safety

FlowBender: Feedback-Aware Training for Self-Correcting Conditional Flows

📝 핵심 요약

피드백 루프를 학습 과정에 통합하여 조건부 생성 모델의 정밀도와 품질을 동시에 높이는 self-correcting 프레임워크

📖 상세 내용

조건부 확산 및 플로우 모델은 입력된 제약 조건을 완벽히 준수하지 못하는 문제가 빈번히 발생합니다. 기존 방식은 조건을 정적인 힌트로만 취급하거나, 추론 시 수동 가이던스를 사용하여 품질과 정밀도 사이의 트레이드오프가 발생했습니다. 본 논문은 모델이 스스로의 정렬 오차(alignment error)를 활용하도록 학습하는 FlowBender 프레임워크를 제안합니다. 학습 과정에서 피드백을 입력으로 받아 정정 정책을 학습하며, 미분 가능한 연산자와 비미분 연산자 모두에 적용 가능한 변형 모델을 제공합니다. 실험 결과, 이미지 변환 및 3D 텍스처링 등 다양한 작업에서 기존 방식보다 높은 충실도와 타당성을 동시에 달성했습니다.

🔑 주요 내용 (Key Points)

피드백 기반 폐쇄 루프(Closed-loop) 학습을 통한 정렬 오차의 직접적인 활용
미분 가능한 연산자(Gradient-based) 및 비미분 연산자(Zero-order)를 모두 지원하는 범용성
추론 효율성을 위한 Prior-step shortcut 도입으로 연산 비용 최소화

💡 실무적 가치 (Relevance)

제약 조건(예: 특정 깊이값, 압축 포맷)을 엄격히 지켜야 하는 생성 작업에서 품질 저하 없이 정밀도를 높일 수 있는 실용적인 방법론입니다.

✅ 추천 액션 (Actionable Items)

기존 조건부 모델의 피드백 루프 구현 가능성 검토
미분 불가능한 제약 조건(JPEG 등)에 대한 Zero-order variant 적용 실험
학습 시 피드백 신호의 노이즈 수준에 따른 수렴성 테스트

View on Hugging Face View PDF (arXiv)