FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining

Paper ID: 2606.20506 • 18 Upvotes

Generative AI Diffusion Models LoRA Image Synthesis RAG Vision Benchmark Evaluation Safety

FreeStyle: Free Control of Style-Content Dual-Reference Generation from Community LoRA Mining

📝 핵심 요약

커뮤니티 LoRA를 활용하여 스타일과 콘텐츠가 분리된 고품질 듀얼 레퍼런스 이미지 생성 프레임워크 제안

📖 상세 내용

스타일과 콘텐츠를 분리하여 생성하는 듀얼 레퍼런스 작업은 스타일 정보가 콘텐츠에 침투하는 '의미적 누출(semantic leakage)' 문제가 주요 과제입니다. 기존에는 정제된 대규모 스타일-콘텐츠 쌍 데이터셋이 부족하여 학습에 어려움이 있었습니다. 본 논문은 커뮤니티 LoRA를 활용해 대규모 스타일-콘텐츠 트리플릿 데이터를 구축하는 FreeStyle 프레임워크를 제안합니다. 학습 과정에서는 어텐션 수준의 제약과 주파수 인지형 RoPE 변조 전략을 통해 스타일 누출을 억제하는 2단계 커리큘럼 학습을 도입했습니다. 실험 결과, 제안된 방식은 스타일 정렬과 콘텐츠 보존 사이의 균형을 효과적으로 유지하며 우수한 성능을 보였습니다.

🔑 주요 내용 (Key Points)

커뮤니티 LoRA 마이닝을 통한 대규모 스타일-콘텐츠 트리플릿 데이터셋 구축
스타일 누출 방지를 위한 어텐션 제약 및 주파수 인지형 RoPE 변조 전략 도입
스타일 불변 콘텐츠 정렬 점수(CAS) 및 VLM 기반 거부 점수를 포함한 새로운 벤치마크 제안

💡 실무적 가치 (Relevance)

특정 스타일을 유지하면서도 원본 이미지의 구조를 깨뜨리지 않아야 하는 디자인 자동화 및 에셋 생성 파이프라인 구축에 유용합니다.

✅ 추천 액션 (Actionable Items)

커뮤니티 LoRA 데이터셋을 활용한 데이터 파이프라인 구축 실험
제안된 2단계 커리큘럼 학습(Attention constraint vs RoPE modulation)의 효과 비교
기존 ControlNet 등과 비교하여 콘텐츠 보존력 및 스타일 전이 성능 검증

View on Hugging Face View PDF (arXiv)