The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation

Paper ID: 2606.20536 • 2 Upvotes

Generative Models Evaluation Metric Reproducibility Computer Vision Vision Evaluation

The FID Lottery: Quantifying Hidden Randomness in Generative-Model Evaluation

📝 핵심 요약

FID 수치는 모델의 성능뿐만 아니라 학습/샘플링 시의 무작위성에 크게 의존하므로, 단일 수치 보고가 아닌 오차 범위를 포함한 평가 프로토콜이 필요합니다.

📖 상세 내용

이미지 생성 모델 평가의 표준인 FID는 대개 단일 모델과 단일 시드에 대한 수치로만 보고되어 재현성 문제가 존재합니다. 본 논문은 FID를 학습 시드와 생성 시드라는 두 축을 가진 확률 변수로 취급하여 수백 개의 SiT 네트워크를 통해 변동성을 정량화했습니다. 연구 결과, 모델 재학습에 따른 FID 변화가 단순 샘플 재추출보다 훨씬 크며, 이는 초기화, 데이터 순서, 학습 노이즈에 의해 발생함을 밝혀냈습니다. 또한 모델 크기를 키워도 FID의 변동 계수(CoV)는 일정 수준 유지되며, 운 좋은 시드가 훨씬 적은 연산으로도 높은 성능을 낼 수 있음을 확인했습니다. 이를 바탕으로 저자들은 오차 범위를 포함한 새로운 FID 평가 프로토콜을 제안합니다.

🔑 주요 내용 (Key Points)

모델 재학습 시 발생하는 FID 변동성이 샘플링 시의 변동성보다 약 3.2배 더 큼
모델 크기 증가가 FID의 상대적 변동성(CoV)을 획기적으로 줄이지 못함
학습 시드(초기화, 데이터 순서 등)에 따른 성능 편차가 상당하며 이는 연산 효율에 영향을 미침

💡 실무적 가치 (Relevance)

모델 성능 비교 시 단일 FID 수치에 매몰되지 말고, 재현성을 위해 여러 시드에 대한 통계적 유의성을 확인해야 함을 시사합니다.

✅ 추천 액션 (Actionable Items)

모델 성능 비교 시 단일 수치가 아닌 여러 시드에 대한 평균과 표준편차(Error Bar)를 함께 기록하기
두 모델 간의 FID 차이가 실험적 변동성 범위(약 1.3% CoV) 내에 있다면 성능 차이가 없는 것으로 간주하기
최적의 성능을 위해 Classifier-Free Guidance(CFG) 튜닝을 포함한 평가 프로토콜 적용하기

View on Hugging Face View PDF (arXiv)