Diffusion Model Latent Representation Image Generation Video Generation Vision

Unified Latents (UL): How to train your latents

Paper ID: 2602.17270 • 19 Upvotes

📝 핵심 요약

Unified Latents (UL) 프레임워크는 diffusion prior와 diffusion model을 사용하여 잠재 표현 학습 성능을 높이고, ImageNet-512 및 Kinetics-600 데이터셋에서 SOTA를 달성하여 이미지 및 비디오 생성 모델의 효율성과 품질을 향상시킬 수 있다.

📖 상세 내용

잠재 표현 학습은 이미지 및 비디오 생성 모델의 성능에 큰 영향을 미친다. 기존 방식은 학습 효율성이 낮거나 생성 품질이 떨어지는 문제가 있었다. 본 논문에서는 diffusion prior와 diffusion model로 공동 정규화된 잠재 표현을 학습하는 Unified Latents (UL) 프레임워크를 제안한다. UL은 인코더의 출력 노이즈를 prior의 최소 노이즈 레벨에 연결하여 간단하면서도 tight한 bitrate upper bound를 제공하는 학습 목표를 사용한다. ImageNet-512에서 FID 1.4를 달성하며, Stable Diffusion 잠재 공간 기반 모델보다 적은 FLOPs로 높은 재구성 품질(PSNR)을 보인다. Kinetics-600에서는 FVD 1.3으로 새로운 SOTA를 달성했다.

🔑 주요 내용 (Key Points)

Diffusion prior와 diffusion model을 활용한 새로운 잠재 표현 학습 프레임워크 (UL) 제안
Latent bitrate upper bound를 tight하게 제공하는 간단한 학습 목표 개발
ImageNet-512 및 Kinetics-600에서 SOTA 성능 달성 (적은 FLOPs로 높은 품질)

💡 실무적 가치 (Relevance)

UL 프레임워크는 이미지 및 비디오 생성 모델 개발 시 학습 효율성을 높이고 생성 품질을 향상시키는 데 활용될 수 있으며, 특히 제한된 컴퓨팅 자원 환경에서 더욱 유용하다.

✅ 추천 액션 (Actionable Items)

UL 프레임워크를 기존 이미지/비디오 생성 모델에 적용하여 성능 향상 실험
UL 학습 목표를 다른 종류의 잠재 표현 학습 방식과 결합하여 새로운 방법론 탐색
UL의 hyperparameter (noise level 등) 튜닝을 통해 특정 데이터셋에 최적화

View on Hugging Face View PDF (arXiv)