논문Hugging Face
Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
논문 ID: 2607.28227252 추천
#Agent#GUI#Automation#Reinforcement Learning#Vision#Benchmark#Evaluation
핵심 요약
모바일, PC, 웹을 아우르는 실세계 중심의 차세대 통합 GUI 에이전트 프레임워크 개발
상세 내용
기존 GUI 에이전트는 실세계의 복잡한 워크플로우와 다양한 플랫폼 간의 상호작용을 처리하는 데 한계가 있었습니다. 이를 해결하기 위해 모바일, 컴퓨터, 웹 환경을 통합 지원하는 Qwen-UI-Agent를 제안합니다. 이 모델은 GUI 조작과 CLI 실행을 결합한 통합 액션 공간을 사용하며, 대규모 실기기 런타임과 자동화된 데이터 플라이휠을 통해 학습합니다. 또한 온라인 RL을 통해 장기적인 작업 수행 능력을 확보했습니다. 실험 결과, 모바일 환경에서 SOTA 성능을 달성했으며 컴퓨터 및 브라우저 사용 작업에서도 최첨단 모델들과 경쟁 가능한 성능을 보여주었습니다.
주요 내용
- 모바일, PC, 웹, DeepSearch를 아우르는 통합 GUI/CLI 액션 공간 설계
- AutoResearch 스타일의 데이터 플라이휠을 통한 자동화된 태스크 생성 및 실패 진단
- 10,000개 이상의 동시 환경과 온라인 RL을 활용한 대규모 장기 워크플로우 학습
실무에서 볼 만한 점
단순한 화면 클릭을 넘어 CLI와 GUI를 결합한 복합 워크플로우 자동화의 실질적인 가능성을 제시합니다.
참고할 행동
- 제시된 모바일/컴퓨터 통합 액션 공간의 구조 분석
- 대규모 환경에서의 RL 학습 효율성 및 데이터 플라이휠 메커니즘 검토
- 기존 GUI 에이전트와 CLI 결합 방식의 비교 실험