ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning

Paper ID: 2604.24300 • 53 Upvotes

Vision VLM 3D Evaluation Benchmark Reasoning Video

ReVSI: Rebuilding Visual Spatial Intelligence Evaluation for Accurate Assessment of VLM 3D Reasoning

📝 핵심 요약

VLM의 3D 공간 추론 능력 평가가 기존 방식의 한계를 넘어 실제 입력에 기반한 정확하고 진단 가능한 새로운 벤치마크 ReVSI를 제시하여 모델 개선에 기여합니다.

📖 상세 내용

기존 VLM의 공간 지능 평가는 3D 주석의 부정확성 및 모델의 실제 입력(희소 프레임)과 다른 전제 때문에 체계적으로 유효하지 않았습니다. 이러한 문제를 해결하기 위해, 본 연구는 ReVSI라는 새로운 벤치마크와 프로토콜을 도입했습니다. ReVSI는 5개 데이터셋의 381개 장면에 대해 객체와 기하학적 정보를 재주석하고, 엄격한 편향 완화 및 인간 검증을 통해 QA 쌍을 재생성하여 평가의 유효성을 높였습니다. 또한, 다양한 프레임 예산과 객체 가시성 메타데이터를 제공하여 진단 분석의 제어 가능성을 향상시켰습니다. ReVSI를 통한 평가 결과, 기존 벤치마크에서는 가려졌던 VLM의 체계적인 실패 모드를 밝혀내어 공간 지능에 대한 더 신뢰할 수 있는 진단적 평가를 가능하게 했습니다.

🔑 주요 내용 (Key Points)

VLM 3D 추론 평가의 유효성 및 정확성 향상
실제 모델 입력에 기반한 새로운 벤치마크 및 프로토콜 ReVSI 제시
엄격한 재주석, QA 쌍 재생성 및 인간 검증을 통한 데이터 품질 개선

💡 실무적 가치 (Relevance)

개발자는 ReVSI 벤치마크를 활용하여 자신들의 VLM이 3D 공간 추론에서 어떤 약점을 가지는지 정확히 파악하고, 이를 바탕으로 모델의 신뢰성과 성능을 향상시킬 수 있습니다.

✅ 추천 액션 (Actionable Items)

자신이 개발한 VLM을 ReVSI 벤치마크로 평가하여 3D 추론 성능을 진단해 보세요.
ReVSI가 제공하는 다양한 프레임 예산(16/32/64/all)으로 모델을 테스트하여 입력 프레임 수에 따른 성능 변화를 분석해 보세요.
ReVSI에서 밝혀진 VLM의 체계적인 실패 모드를 참고하여 모델 개선 방향을 모색해 보세요.

View on Hugging Face View PDF (arXiv)