VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
멀티턴 대화 중 이전 맥락(시각 정보 및 이전 답변)을 유지하는 능력을 측정하기 위한 새로운 비디오 메모리 벤치마크 제안
논문이 다루는 내용
최근 MLLM은 장시간 비디오를 처리할 수 있게 되었으나, 기존 비디오 QA 벤치마크는 독립적인 질문 위주로 구성되어 대화 맥락 유지 능력을 측정하지 못합니다. 본 논문은 이전 대화의 시각적 에피소드나 모델의 이전 답변을 참조해야만 풀 수 있는 '인컨텍스트 비디오 메모리' 능력을 평가하기 위해 VideoMemBench를 제안합니다. 이를 위해 Planner, Generator, Judger로 구성된 LLM 파이프라인과 전문가 검수를 통해 의존성과 비누출성을 보장하는 데이터셋을 구축했습니다. 326개의 비디오와 2,476개의 대화 턴을 포함하는 이 벤치마크를 통해 20여 종의 MLLM을 평가했습니다. 실험 결과, 최고 성능 모델인 Claude Opus 5조차 45.7%의 낮은 점수를 기록하며 기존 모델들의 메모리 유지 능력이 매우 부족함을 입증했습니다.
핵심 결과
-
이전 시각 정보(Episodic)와 이전 답변(Answer)을 모두 활용해야 하는 멀티턴 의존성 설계
-
질문의 필수성(Necessity)과 정보 누출 방지(Non-leakage)를 보장하는 LLM 기반 구축 파이프라인
-
기존 벤치마크가 측정하지 못하는 '인컨텍스트 비디오 메모리'라는 새로운 평가 지표 제시
실무에서 볼 만한 점
에이전트 기반의 긴 비디오 대화 시스템 개발 시, 모델이 이전 맥락을 얼마나 정확히 유지하는지 검증하는 데 필수적인 벤치마크입니다.
읽을 때 확인할 점
-
현재 개발 중인 멀티턴 비디오 모델을 VideoMemBench에 적용하여 성능 비교
-
모델의 메모리 유지 능력을 높이기 위한 프롬프트 엔지니어링 전략 테스트
-
장기 대화 시 발생하는 정보 손실 문제를 해결하기 위한 아키텍처 검토