Orca: The World is in Your Mind

기존의 모델들은 단순한 다음 토큰이나 프레임 예측에 치중하여 복잡한 세계의 변화를 온전히 담아내지 못하는 한계가 있었습니다. 이를 해결하기 위해 Orca는 차세대 상태 예측(Next-State-Prediction)을 목표로 하는 범용 월드 파운데이션 모델을 제안합니다. 모델은 연속적인 비디오를 통한 '무의식적 학습'과 언어 기반 이벤트를 통한 '의식적 학습'이라는 두 가지 상호 보완적 패러다임을 통해 통합된 잠재 공간을 학습합니다. 125K 시간의 비디오와 1.6억 개의 이벤트 주석을 포함한 대규모 데이터셋으로 사전 학습을 진행했습니다. 실험 결과, 학습된 잠재 공간이 텍스트 생성, 이미지 예측, 로봇 행동 생성 등 다양한 다운스트림 태스크에서 뛰어난 성능을 보임을 입증했습니다.