MobileForge: Annotation-Free Adaptation for Mobile GUI Agents with Hierarchical Feedback-Guided Policy Optimization

최근 MLLM 기반 모바일 GUI 에이전트가 발전하고 있으나, 빈번한 앱 업데이트와 방대한 태스크로 인해 수동 데이터 구축 비용이 매우 높습니다. 기존의 비지도 학습 방식은 탐색, 커리큘럼 생성, 피드백 루프가 통합되지 않아 신뢰할 수 있는 정책 최적화가 어렵다는 문제가 있습니다. 이를 해결하기 위해 MobileForge는 실시간 앱 상호작용을 통한 태스크 생성 및 평가를 지원하는 MobileGym과 계층적 피드백 기반 정책 최적화(HiFPO)를 제안합니다. HiFPO는 결과뿐만 아니라 단계별 피드백과 교정 힌트를 활용하여 GRPO 방식으로 정책을 업데이트합니다. 실험 결과, MobileForge는 AndroidWorld 벤치마크에서 강력한 성능을 보이며 오픈 데이터 기반 모바일 GUI 에이전트로서 최고 수준의 성능을 입증했습니다.