Beyond the Timeline: Augmenting Long-Video Memory with Grounded Entity Biographies
장기 비디오 분석을 위해 개별 객체의 물리적 정체성을 유지하며 생애 기록(Biography)을 구축하는 메모리 프레임워크 제안
논문이 다루는 내용
장기 비디오에서 질문에 답하기 위해서는 시간 차를 두고 발생하는 동일 객체 관련 이벤트를 연결하는 능력이 필수적입니다. 기존의 연대기적 설명이나 텍스트 기반 엔티티 추출은 서로 다른 객체를 혼동하거나 동일 객체의 분산된 관찰 기록을 연결하지 못하는 한계가 있습니다. 이를 해결하기 위해 본 논문은 시각적으로 근거가 확보된 관찰값들을 하나의 생애 기록으로 그룹화하는 GEB(Grounded Entity Biographies) 프레임워크를 제안합니다. GEB는 메모리 구축 단계에서 물리적 인스턴스 간의 정체성 링크를 유지하며, 질의 시 에피소드 증거와 함께 생애 기록을 함께 검색합니다. 실험 결과, 일주일 단위의 장기 녹화 데이터를 포함한 벤치마크에서 기존 프레임워크 대비 우수한 성능을 입증했습니다. 특히 EgoLifeQA에서 최고 성능을 경신하며 정체성 연결과 생애 기록 읽기 방식의 효과를 검증했습니다.
핵심 결과
-
물리적 인스턴스 기반의 '생애 기록(Biography)' 중심 메모리 구조 설계
-
시각적 근거를 바탕으로 서로 다른 클립 간 동일 객체를 식별하고 연결하는 기술
-
질의 시 에피소드 증거와 객체 생애 기록을 동시에 활용하는 검색 메커니즘
실무에서 볼 만한 점
RAG 시스템이 단순 텍스트 검색을 넘어, 시각적 정체성을 유지하며 객체의 변화 과정을 추적하는 고도화된 메모리 관리 기법을 제공합니다.
읽을 때 확인할 점
-
멀티 카메라 환경에서 동일 객체 식별(Re-ID) 성능이 GEB의 성능에 미치는 영향 테스트
-
매우 긴 비디오 시퀀스에서 생애 기록의 크기가 커질 때의 검색 효율성 검증
-
텍스트 설명 위주의 기존 RAG와 GEB 방식의 정체성 유지 능력 비교 실험