RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation
Paper ID: 2607.06559 β’ 72 Upvotes
Robotics World Models Diffusion Models 4D Vision Embodied AI Vision Video
π ν΅μ¬ μμ½
RGB-Dμ κ΄ν νλ¦μ κ²°ν©ν 4D μλ λͺ¨λΈμ ν΅ν΄ λ‘λ΄μ μ λ°ν μμ μ‘°μ μ±λ₯μ κ·Ήλνν μ°κ΅¬
π μ£Όμ λ΄μ© (Key Points)
- RGB-Dμ Optical Flowλ₯Ό κ²°ν©νμ¬ κΈ°ννμ ꡬ쑰μ μμ§μμ λμμ ν¬μ°©νλ 4D νν λ°©μ μ μ
- λ¨μΌ νμ° νλ‘μΈμ€ λ΄μμ μκ°μ μΈν, κΉμ΄, μμ§μμ μΌκ΄λκ² μμ±νλ Tri-branch μν€ν μ² μ€κ³
- 2.5μ΅ νλ μ μ΄μμ λκ·λͺ¨ λ°μ΄ν°μ (Rynn4DDataset 1.0) κ΅¬μΆ λ° μμν ν€λλ₯Ό ν΅ν ν¨μ¨μ μ μ± νμ΅
π‘ μ€λ¬΄μ κ°μΉ (Relevance)
λ¨μ 2D λΉλμ€ μμΈ‘μ λμ΄ λ¬Όλ¦¬μ κ΅¬μ‘°κ° λ°μλ 4D λ°μ΄ν°λ₯Ό μμ±ν¨μΌλ‘μ¨, λ‘λ΄μ λ§λ¨ μ₯μΉ(End-effector) μ μ΄μ μ¦μ νμ© κ°λ₯ν νν 곡κ°μ μ 곡ν©λλ€.
β μΆμ² μ‘μ (Actionable Items)
- μ 곡λ Rynn4DDatasetμ λ°μ΄ν° νμ§κ³Ό Pseudo-labelμ μ λ’°λ λΆμ
- RynnWorld-4D-Policyμ μμν ν€λλ₯Ό κΈ°μ‘΄ λ‘λ΄ μ μ΄ μκ³ λ¦¬μ¦κ³Ό κ²°ν©νλ μ€ν
- λ€μν μ‘°μ νκ²½μμμ 4D μμ± λͺ¨λΈμ μ곡κ°μ μΌκ΄μ± κ²μ¦