WorldMark: A Unified Benchmark Suite for Interactive Video World Models

Paper ID: 2604.21686 • 34 Upvotes

Benchmark World Model Video Generation Interactive AI Vision Video Evaluation Safety

WorldMark: A Unified Benchmark Suite for Interactive Video World Models

📝 핵심 요약

다양한 Interactive Video World Model들을 동일한 환경에서 비교 평가할 수 있는 통합 벤치마크 WorldMark를 제시하여, 모델 간 공정한 성능 비교 및 발전을 가속화한다.

📖 상세 내용

Interactive video generation 모델들은 빠르게 발전하고 있지만, 각 모델이 자체적인 벤치마크를 사용하여 모델 간 비교가 어려웠다. 기존 벤치마크는 유용한 지표를 제공하지만, 표준화된 테스트 환경이 부족했다. WorldMark는 동일한 장면, 액션 시퀀스, 제어 인터페이스를 제공하여 이러한 문제를 해결한다. 구체적으로, 모델 간 액션 매핑 레이어를 제공하고, 다양한 시점과 스타일을 포함하는 계층적 테스트 스위트를 구축했으며, 시각적 품질, 제어 정확도, 세계 일관성을 평가하는 모듈식 평가 툴킷을 제공한다. 또한, 온라인 플랫폼 World Model Arena를 통해 모델 간 실시간 경쟁을 지원한다.

🔑 주요 내용 (Key Points)

통합 액션 매핑 레이어를 통해 다양한 모델의 제어 방식을 표준화
다양한 시점, 스타일, 난이도를 포괄하는 계층적 테스트 스위트 제공
시각적 품질, 제어 정확도, 세계 일관성을 평가하는 모듈식 평가 툴킷 제공

💡 실무적 가치 (Relevance)

Interactive video generation 모델 개발 시, WorldMark를 활용하여 모델 성능을 객관적으로 평가하고, 다양한 모델과의 비교를 통해 개선 방향을 설정할 수 있다.

✅ 추천 액션 (Actionable Items)

WorldMark 벤치마크를 사용하여 기존 모델의 성능을 평가
WorldMark의 평가 툴킷을 활용하여 새로운 메트릭 개발 및 통합
World Model Arena에서 모델 간 경쟁을 통해 성능 개선

View on Hugging Face View PDF (arXiv)