DreamX-Phi 1.0: Action-Conditioned Video World Model for Robotic Manipulation

로봇 조작을 위한 액션 조건부 비디오 월드 모델로, 기하학적 정밀도와 객체 일관성을 동시에 확보한 생성 모델

로봇 조작을 위한 비디오 월드 모델은 현실적인 영상 생성뿐만 아니라 명령된 액션에 대한 충실한 예측이 필수적입니다. 기존 모델은 시각적 사실성은 높더라도 명령된 로봇 팔의 움직임을 무시하거나 조작 중인 객체를 놓치는 문제가 발생합니다. 이를 해결하기 위해 PRoPE 방식의 기하학적 인코딩을 통해 로봇 팔의 SE(3) 변환을 어텐션에 주입하고, 깊이 분기(depth branch)와 SAM3/V-JEPA 기반 마스크를 결합하여 장면 기하 및 객체 일관성을 유지합니다. 또한 효율적인 배포를 위해 다단계 생성기를 소수 단계 학생 모델로 증류하는 방식을 채택했습니다. 그 결과 WorldArena 2.0 챌린지에서 상위권을 기록하며 성능을 입증했습니다.

로봇 제어 루프에서 시뮬레이션과 현실 사이의 간극을 줄이는 고정밀 비디오 예측 모델의 설계 패턴을 제공합니다.