Gaze as Evidence for Common Grounding: A Cross-Corpus Analysis of MapTask and MUNDEX
비대칭 정보 협업 상황에서 시선(Gaze) 데이터가 상호 이해(Grounding)를 어떻게 반영하는지 분석한 연구
논문이 다루는 내용
비대칭 정보를 가진 협업 작업에서 참여자들은 상호작용을 통해 서로의 이해도를 조정합니다. 본 연구는 시선 데이터가 이러한 상호 이해(Groundization)의 증거가 될 수 있는지 두 가지 태스크(MapTask, MUNDEX)를 통해 검증합니다. 연구진은 두 코퍼스를 공통된 어휘로 매핑하고 대화 단위별 시선 특징을 추출했습니다. 분석 결과, 참조 해석이 일치하거나 이해가 확인된 시점에서는 과업 지향적 시선이 증가하고 파트너 지향적 시선은 감소하며, 시선 엔트로피와 전환 빈도가 낮아지는 경향을 보였습니다. 이러한 효과는 과업을 주도하는 참여자에게서 가장 뚜렷하게 나타났습니다. 결론적으로 시선은 과업 및 대화 맥락과 함께 상호 이해를 판단하는 중요한 보조 지표로 활용될 수 있습니다.
핵심 결과
-
상호 이해(Grounding)가 이루어지는 시점에는 시선 엔트로피가 낮아지고 과업 중심적 시선이 증가함
-
과업 주도자(Giver/Explainer)의 시선 패턴이 상호 이해의 성공 여부와 더 밀접하게 연관됨
-
시선 데이터는 단독 지표보다는 과업 및 대화 맥락과 결합될 때 유의미한 예측력을 가짐
실무에서 볼 만한 점
멀티모달 AI 에이전트가 인간과 협업할 때, 사용자의 시선 패턴을 통해 의사소통의 성공/실패 여부를 실시간으로 판단하는 피드백 루프를 설계할 수 있습니다.
읽을 때 확인할 점
-
멀티모달 LLM에 시선 엔트로피 및 과업 지향성 지표를 입력 피처로 포함하는 실험
-
에이전트가 인간의 시선 변화에 따라 대화 전략(설명 vs 확인)을 변경하는 로직 구현
-
비대칭 정보 상황을 가정한 시뮬레이션 환경에서 시선 데이터의 예측력 검증