EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos
실제 환경의 도구 사용 능력을 학습하고 평가하기 위한 대규모 1인칭 시점(Egocentric) 데이터셋 및 벤치마크 제안
논문이 다루는 내용
현실 세계의 로봇 및 에이전트 작업은 도구 사용을 통한 물리적 상호작용이 핵심적이지만, 기존 멀티모달 모델은 도구 중심의 추론 능력이 부족합니다. 이는 실생활 1인칭 데이터와 정밀한 진단 용 벤치마크의 부재로 인해 발생해 왔습니다. 본 논문은 이를 해결하기 위해 100시간 분량의 정교한 1인칭 데이터셋인 EgoTools-Data와 4가지 추론 트랙을 포함한 벤치마크인 EgoTools-Bench를 제안합니다. 실험 결과, 최신 모델들도 시각적 근거에 기반한 도구 사용 능력은 여전히 부족함을 확인했습니다. 또한, 제안된 데이터셋을 활용한 미세 조정(SFT)이 모델의 도구 이해 성능을 유의미하게 향상시킴을 입증했습니다.
핵심 결과
-
100시간 규모의 1인칭 도구 사용 중심 데이터셋(EgoTools-Data) 구축
-
지각, 기하학, 절차, 인과 관계를 아우르는 4개 트랙의 진단 벤치마크(EgoTools-Bench) 개발
-
데이터셋을 활용한 SFT가 모델의 도구 중심 추론 성능을 개선함을 검증
실무에서 볼 만한 점
로봇 제어, AR/VR 에이전트, 가사 보조 AI 개발 시 필수적인 '도구 상호작용' 능력을 학습하고 평가할 수 있는 실질적 프레임워크를 제공합니다.
읽을 때 확인할 점
-
제안된 데이터셋을 활용하여 기존 VLM 모델의 도구 사용 추론 성능 측정
-
EgoTools-Data를 활용한 도구 중심 SFT(Supervised Fine-Tuning) 실험 수행
-
시각적 근거(Grounding)와 인과 추론 간의 상관관계 분석