PyoSignal Logo
PyoSignal
Back to Research
GUI Automation Agent Multi-Platform RL Tool-Calling Reasoning Benchmark

Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents

Paper ID: 2602.16855 β€’ 18 Upvotes
Mobile-Agent-v3.5: Multi-platform Fundamental GUI Agents

πŸ“ 핡심 μš”μ•½

λ‹€μ–‘ν•œ ν”Œλž«νΌμ—μ„œ GUI μžλ™ν™”λ₯Ό μœ„ν•œ μ—μ΄μ „νŠΈ λͺ¨λΈ GUI-Owl-1.5λ₯Ό 곡개, κ°œλ°œμžλ“€μ΄ UI μžλ™ν™” 및 ν…ŒμŠ€νŠΈλ₯Ό 효율적으둜 μˆ˜ν–‰ν•  수 μžˆλ„λ‘ λ•λŠ”λ‹€.

πŸ“– 상세 λ‚΄μš©

GUI μžλ™ν™”λŠ” λ‹€μ–‘ν•œ ν”Œλž«νΌμ—μ„œ μΌκ΄€λœ μ‚¬μš©μž κ²½ν—˜μ„ μ œκ³΅ν•˜λŠ” 데 μ€‘μš”ν•œ 역할을 ν•˜μ§€λ§Œ, ν”Œλž«νΌλ³„ ν˜Έν™˜μ„± λ¬Έμ œμ™€ λ³΅μž‘ν•œ UI ꡬ쑰둜 인해 어렀움을 κ²ͺμŠ΅λ‹ˆλ‹€. 이 λ…Όλ¬Έμ—μ„œλŠ” λ°μŠ€ν¬νƒ‘, λͺ¨λ°”일, μ›Ή λ“± λ‹€μ–‘ν•œ ν”Œλž«νΌμ„ μ§€μ›ν•˜κ³  ν΄λΌμš°λ“œ-엣지 ν˜‘μ—…μ΄ κ°€λŠ₯ν•œ GUI μ—μ΄μ „νŠΈ λͺ¨λΈ GUI-Owl-1.5λ₯Ό μ†Œκ°œν•©λ‹ˆλ‹€. GUI-Owl-1.5λŠ” ν•˜μ΄λΈŒλ¦¬λ“œ 데이터 ν”ŒλΌμ΄νœ , ν†΅ν•©λœ 사고 ν•©μ„± νŒŒμ΄ν”„λΌμΈ, 닀쀑 ν”Œλž«νΌ ν™˜κ²½ RL μŠ€μΌ€μΌλ§ κΈ°μˆ μ„ 톡해 GUI μžλ™ν™”, κ·ΈλΌμš΄λ”©, 툴 μ‚¬μš©, 지식 μŠ΅λ“ λŠ₯λ ₯을 ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€. λ‹€μ–‘ν•œ GUI λ²€μΉ˜λ§ˆν¬μ—μ„œ μ΅œμ²¨λ‹¨ μ„±λŠ₯을 λ‹¬μ„±ν–ˆμœΌλ©°, λͺ¨λΈκ³Ό 데λͺ¨λ₯Ό μ˜€ν”ˆμ†ŒμŠ€λ‘œ κ³΅κ°œν•˜μ—¬ 접근성을 λ†’μ˜€μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ£Όμš” λ‚΄μš© (Key Points)

  • λ‹€μ–‘ν•œ ν”Œλž«νΌ 지원 (λ°μŠ€ν¬νƒ‘, λͺ¨λ°”일, μ›Ή)
  • ν•˜μ΄λΈŒλ¦¬λ“œ 데이터 ν”ŒλΌμ΄νœ μ„ ν†΅ν•œ 데이터 νš¨μœ¨μ„± 및 ν’ˆμ§ˆ ν–₯상
  • MRPO μ•Œκ³ λ¦¬μ¦˜μ„ μ‚¬μš©ν•œ 닀쀑 ν”Œλž«νΌ ν™˜κ²½μ—μ„œμ˜ RL μŠ€μΌ€μΌλ§

πŸ’‘ 싀무적 κ°€μΉ˜ (Relevance)

GUI-Owl-1.5λŠ” κ°œλ°œμžλ“€μ΄ GUI μžλ™ν™” ν…ŒμŠ€νŠΈ 및 UI 기반 μž‘μ—… μžλ™ν™”λ₯Ό 더 쉽고 효율적으둜 μˆ˜ν–‰ν•  수 μžˆλ„λ‘ μ§€μ›ν•˜λ©°, 특히 λ‹€μ–‘ν•œ ν”Œλž«νΌμ„ μ§€μ›ν•˜λ―€λ‘œ 크둜슀 ν”Œλž«νΌ μ•± κ°œλ°œμ— μœ μš©ν•˜λ‹€.

βœ… μΆ”μ²œ μ•‘μ…˜ (Actionable Items)

  • κΉƒν—ˆλΈŒμ—μ„œ GUI-Owl-1.5 λͺ¨λΈ λ‹€μš΄λ‘œλ“œ 및 둜컬 ν™˜κ²½ ν…ŒμŠ€νŠΈ
  • 제곡된 ν΄λΌμš°λ“œ-μƒŒλ“œλ°•μŠ€ 데λͺ¨λ₯Ό 톡해 GUI-Owl-1.5의 κΈ°λŠ₯ 직접 μ²΄ν—˜
  • GUI μžλ™ν™” ν…ŒμŠ€νŠΈ νŒŒμ΄ν”„λΌμΈμ— GUI-Owl-1.5 톡합 μ‹œλ„
View on Hugging Face View PDF (arXiv)