UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning

Paper ID: 2607.04425 • 62 Upvotes

Agent GUI Continual Learning Distillation RAG Multimodal

UI-MOPD: Multi-Platform On-Policy Distillation for Continual GUI Agent Learning

📝 핵심 요약

멀티 플랫폼 환경에서 발생하는 망각 현상을 방지하며 새로운 GUI 환경에 적응하는 온폴리시 증류 기반의 지속적 학습 방법론

📖 상세 내용

최근 멀티모달 모델의 발전으로 크로스 플랫폼 GUI 에이전트의 필요성이 커졌으나, 고품질 데이터 부족과 플랫폼 간 상호작용 관습 차이로 인한 성능 저하 및 망각 문제가 발생합니다. 이를 해결하기 위해 고품질 크로스 플랫폼 데이터셋인 Uni-GUI를 구축하고, 새로운 방법론인 UI-MOPD를 제안합니다. UI-MOPD는 환경에 따라 플랫폼별 교사 모델을 동적으로 선택하는 멀티 티처 온폴리시 증류 방식을 사용합니다. 이를 통해 플랫폼별 행동 양식을 공유 정책에 효과적으로 전이하며, 새로운 플랫폼 적응과 기존 능력 유지 사이의 균형을 맞춥니다. 실험 결과 OSWorld와 MobileWorld 벤치마크에서 우수한 성공률을 기록하며 그 효과를 입증했습니다.

🔑 주요 내용 (Key Points)

고품질 크로스 플랫폼 GUI 상호작용 데이터셋 'Uni-GUI' 구축
플랫폼별 특화된 지식을 공유 정책으로 전이하는 '멀티 티처 온도형 증류' 기법 제안
지속적 학습(Continual Learning) 환경에서 플랫폼 간 간섭 및 망각 문제 해결

💡 실무적 가치 (Relevance)

단일 플랫폼을 넘어 다양한 OS(Windows, Android 등)를 넘나드는 범용 GUI 에이전트를 개발할 때 발생하는 성능 저하 문제를 해결하는 실전적인 프레임워크를 제시합니다.

✅ 추천 액션 (Actionable Items)

Uni-GUI 데이터셋을 활용한 에이전트 학습 파이프라인 구축 테스트
플랫폼별 교사 모델(Teacher)과 학생 모델(Student) 간의 지식 전이 효율성 검증
기존의 단순 파인튜닝 방식과 UI-MOPD의 망각 방지 성능 비교 실험

View on Hugging Face View PDF (arXiv)