Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
프로그래밍, 접근성(AX), 시각적 인터페이스를 결합하여 에이전트의 작업 효율과 성공률을 극대화하는 통합 인터페이스 프레임워크 제안
논문이 다루는 내용
최근 컴퓨터 사용 에이전트는 스크린샷과 마우스/키보드 중심의 인터페이스로 인해 불필요한 화면 해석 과정을 반복하며 컴퓨터의 잠재적 기능을 충분히 활용하지 못하는 문제가 있습니다. 이를 해결하기 위해 본 논문은 프로그래밍적 도구, 접근성(AX) 데이터, 시각적 GUI를 결합한 Hybrid Computer Use(HCU) 인터페이스를 제안합니다. HCU는 효율적인 AX 상호작용을 지원하며, 채널 전환 시 발생할 수 있는 상태 불일치 문제를 방지합니다. 또한 모델이 상황에 맞춰 최적의 채널을 선택하고 조정할 수 있는 보조 기술을 포함합니다. 실험 결과, HCU는 OSWorld 2.0 벤치마크에서 기존 시스템 대비 가장 높은 성능을 기록했습니다. 분석 결과, 모든 모델이 HCU를 통해 성능이 향상되었으며 작업 효율과 성공률 측면에서 우수한 성과를 보였습니다.
핵심 결과
-
프로그래밍(Code/CLI), 접근성(AX), 시각적(GUI) 채널을 결합한 통합 인터페이스 구축
-
AX 도구를 통한 압축된 관찰값 제공 및 배치 실행, AX diff를 통한 상태 변화 보고로 통신 오버헤드 감소
-
채널 간 상태 불일치 방지 및 모델의 유연한 채널 선택/조합을 지원하는 프레임워크 설계
실무에서 볼 만한 점
단순히 화면을 보고 클릭하는 방식을 넘어, API나 접근성 트리 같은 구조적 데이터를 활용함으로써 에이전트의 추론 비용을 줄이고 작업 성공률을 높이는 실무적 방법론을 제시합니다.
읽을 때 확인할 점
-
기존 GUI 기반 에이전트에 AX(Accessibility) 트리 데이터 결합 실험
-
에이전트가 작업 단계별로 어떤 채널(Code vs AX vs GUI)을 선택하는지 로그 분석
-
상태 변화를 'diff' 형태로 전달하는 방식이 모델의 컨텍스트 윈도우에 미치는 영향 테스트