DV-World: Benchmarking Data Visualization Agents in Real-World Scenarios

Paper ID: 2604.25914 • 36 Upvotes

Benchmark Data Visualization Agent MLLM Evaluation Safety

DV-World: Benchmarking Data Visualization Agents in Real-World Scenarios

📝 핵심 요약

DV-World는 실제 데이터 시각화 환경의 복잡성을 반영한 새로운 벤치마크로, 기존 모델의 부족한 성능을 드러내 기업 워크플로우에 필요한 다재다능한 전문성 개발을 촉진합니다.

📖 상세 내용

기존 데이터 시각화 벤치마크는 제한적인 환경, 단일 언어, 완벽한 의도 가정 등의 문제점이 있었습니다. 이러한 격차를 해소하기 위해 실제 업무 환경을 반영한 260개의 태스크로 구성된 DV-World 벤치마크를 소개합니다. DV-World는 스프레드시트 조작, 시각적 artifact 재구성, 사용자 의도 정렬의 세 가지 도메인을 포함합니다. Table-value Alignment와 MLLM-as-a-Judge를 통합한 평가 프레임워크를 통해 모델을 평가한 결과, 최첨단 모델의 성능이 50% 미만으로 나타났습니다. DV-World는 실제 데이터 시각화의 복잡한 문제를 해결하고 기업 워크플로우에 필요한 다재다능한 전문성 개발을 위한 현실적인 테스트베드를 제공합니다.

🔑 주요 내용 (Key Points)

실제 데이터 시각화 환경을 반영한 새로운 벤치마크 DV-World 제시
스프레드시트 조작, artifact 재구성, 사용자 의도 정렬의 세 가지 도메인으로 구성
Table-value Alignment와 MLLM-as-a-Judge를 통합한 하이브리드 평가 프레임워크

💡 실무적 가치 (Relevance)

데이터 시각화 에이전트 개발 시 실제 업무 환경에서의 성능을 평가하고 개선하는 데 유용한 벤치마크를 제공하며, 특히 스프레드시트, 다양한 프로그래밍 패러다임, 사용자 의도 해석 등 실제 개발에서 마주치는 복잡성을 고려할 수 있습니다.

✅ 추천 액션 (Actionable Items)

DV-World 벤치마크를 사용하여 기존 데이터 시각화 모델의 성능 평가
DV-World의 세 가지 도메인(DV-Sheet, DV-Evolution, DV-Interact)별 성능 분석 및 개선
Table-value Alignment와 MLLM-as-a-Judge를 활용한 평가 방식 적용

View on Hugging Face View PDF (arXiv)