HumanCLAW: Can Vision-Language Models Act Through a Body?

VLM의 의사결정과 물리적 제어 사이의 간섭을 분리하여 에이전트의 행동 지능을 정밀하게 평가하는 프레임워크 제안

기존 VLM 평가 방식은 모델의 판단 오류와 물리적 제어(모터, 균형 등) 실패를 구분하기 어려워 에이전트의 순수 지능을 측정하는 데 한계가 있었습니다. 이를 해결하기 위해 의사결정과 저수준 실행을 분리하는 HumanCLAW 프레임워크를 도입했습니다. VLM이 원자적 스킬 명령을 내리면, 이를 물리 법칙이 적용되는 연속적인 동작으로 변환하여 실행함으로써 제어 오차를 배제하고 모델의 행동 지능만을 측정합니다. 이를 바탕으로 41개 실내 장면에서 1,218개의 에피소드로 구성된 HumanCLAW-Bench를 구축했습니다. 실험 결과, 최신 VLM 모델들도 낮은 성공률을 보였으며, 이는 모델이 자신의 신체 상태를 인지하는 '체화된 자기 인식(embodied self-awareness)' 능력이 부족함을 시사합니다.

로봇 에이전트 개발 시, 모델의 지능 문제인지 하드웨어 제어 문제인지 명확히 구분하여 디버깅할 수 있는 방법론을 제시합니다.