DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis

Paper ID: 2604.13416 • 9 Upvotes

Computer Vision NeRF 3D Gaussian Splatting Dataset RAG Vision Benchmark Evaluation

DF3DV-1K: A Large-Scale Dataset and Benchmark for Distractor-Free Novel View Synthesis

📝 핵심 요약

방해 요소(distractor)가 포함된 실제 환경에서도 깨끗한 뷰를 생성할 수 있는 대규모 벤치마크 데이터셋 DF3DV-1K 제안

📖 상세 내용

최근 Radiance Field 기술의 발전에도 불구하고, 실제 환경의 복잡한 방해 요소가 포함된 대규모 데이터셋은 부족한 실정입니다. 이를 해결하기 위해 연구진은 1,048개의 장면과 약 9만 장의 이미지를 포함하는 DF3DV-1K 데이터셋을 구축했습니다. 이 데이터셋은 깨끗한 이미지와 방해 요소가 포함된 이미지를 쌍으로 제공하여 모델의 강건성을 평가할 수 있게 합니다. 연구진은 이를 통해 기존 9가지 방법론과 3D Gaussian Splatting을 벤치마킹하여 성능을 비교했습니다. 또한, 확산 모델 기반의 2D 인핸서를 결합하여 뷰 합성 품질을 개선하는 응용 사례도 제시했습니다.

🔑 주요 내용 (Key Points)

1,048개 장면, 89,924장의 이미지를 포함하는 대규모 실세계 데이터셋 DF3DV-1K 구축
방해 요소 제거(distractor-free) 성능 평가를 위한 정교한 벤치마크 및 41개 장면의 큐레이션된 서브셋(DF3DV-41) 제공
Diffusion 기반 2D 인핸서를 활용한 Radiance Field 품질 개선 가능성 입증

💡 실무적 가치 (Relevance)

실제 카메라로 촬영된 복잡한 환경(가구, 잡동사니 등)에서 특정 물체만 깨끗하게 렌더링해야 하는 AR/VR 및 디지털 트윈 기술 개발에 직접적인 도움을 줍니다.

✅ 추천 액션 (Actionable Items)

제공된 데이터셋을 사용하여 현재 사용 중인 NeRF/3DGS 모델의 방해 요소 제거 성능 테스트
DF3DV-41 서브셋을 활용하여 모델의 극한 상황(challenging scenarios)에 대한 강건성 검증
Diffusion 기반 인핸서 기법을 기존 뷰 합성 파이프라인에 결합하여 화질 개선 실험

View on Hugging Face View PDF (arXiv)