RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation
Paper ID: 2607.06558 โข 67 Upvotes
Robot Learning World Model Diffusion Model Sim2Real Data Engine Agent Vision Video Inference Distillation
๐ ํต์ฌ ์์ฝ
๋ฌผ๋ฆฌ์ ์ ์ฝ ์์ด ๊ฐ์ ์ธ๊ณ ๋ชจ๋ธ์ ํตํด ๊ณ ํ์ง ๋ก๋ด ํ์ต ๋ฐ์ดํฐ๋ฅผ ์์ฑํ๋ '๋์งํธ ํ
๋ ์คํผ๋ ์ด์
' ํ๋ ์์ํฌ ์ ์
๐ ์ฃผ์ ๋ด์ฉ (Key Points)
- ๋ฌผ๋ฆฌ์ ์ ์ฝ์ ํํผํ '๋์งํธ ํ ๋ ์คํผ๋ ์ด์ ' ํจ๋ฌ๋ค์ ์ ์
- ํธ๋ ํฌ์ฆ ๊ธฐ๋ฐ์ ๊ณ ์ ๋ฐ 1์ธ์นญ ๋น๋์ค ์์ฑ ๋ฐ ํ๋์จ์ด ๋ ๋ฆฝ์ ๋ฐ์ดํฐ ์์ฑ
- Diffusion Transformer์ ์ฆ๋ฅ(Distillation) ๊ธฐ์ ์ ํตํ ์ค์๊ฐ(40+ FPS) ์์ฑ ์์ง ๊ตฌํ
๐ก ์ค๋ฌด์ ๊ฐ์น (Relevance)
๋ฌผ๋ฆฌ์ ๋ก๋ด ์์ด๋ ๊ฐ์ ํ๊ฒฝ์์ ๋๊ท๋ชจ ๊ณ ํ์ง ํ์ต ๋ฐ์ดํฐ๋ฅผ ์์ฑํ ์ ์์ด, ๋ฐ์ดํฐ ์์ง ๋น์ฉ์ ํ๊ธฐ์ ์ผ๋ก ๋ฎ์ถ๊ณ ๋ค์ํ ๋ก๋ด ํ๋์จ์ด๋ก์ ํ์ฅ์ด ์ฉ์ดํฉ๋๋ค.
โ ์ถ์ฒ ์ก์ (Actionable Items)
- ์ ๊ณต๋ ํธ๋ ํฌ์ฆ ๋ฐ์ดํฐ์ ์์ฑ๋ ๋น๋์ค ๊ฐ์ ์ ๋ ฌ(Alignment) ํ์ง ๊ฒ์ฆ
- ์์ฑ๋ ๋ฐ์ดํฐ๋ก ํ์ต๋ ์ ์ฑ ์ ๋ค์ํ ๋ก๋ด ํ๋์จ์ด(Retargeting) ์ ์ฉ ํ ์คํธ
- ์ค์ ๋ก๋ด ๋ฐ์ดํฐ์ ์์ฑ ๋ฐ์ดํฐ์ ํผํฉ ๋น์จ์ ๋ฐ๋ฅธ ์ฑ๋ฅ ๋ณํ ์คํ