mistral.ai AI & LLM
Robostral Navigate: single-camera AI navigation - mistral.ai
2026년 7월 10일 오후 05:40
원문 보기
Infra AI Computer Vision Mistral AI Benchmark
📝 한국어 요약
Mistral AI가 단일 RGB 카메라만을 사용하여 복잡한 환경에서 자율 주행을 수행하는 8B 규모의 Embodied AI 모델인 'Robostral Navigate'를 공개했습니다. 이 모델은 별도의 LiDAR나 Depth 센서 없이도 높은 성공률을 기록하며, 시뮬레이션 기반의 효율적인 학습을 통해 로봇의 범용적 내비게이션 능력을 입증했습니다.
🧠 기술적 의미
Robostral Navigate는 R2R-CE(Room-to-Room in Continuous Environments) 벤치마크에서 미학습 환경(unseen) 기준 76.6%의 성공률을 달성하며, 기존의 다중 센서 기반 시스템보다 높은 성능을 보여주었습니다. 기술적으로는 'Pointing-based navigation' 방식을 채택하여 카메라의 내적 파라미터 변화에 강건하게 대응하며, 'Prefix-caching' 기반의 트리 구조 Attention-masking 전략을 통해 학습 토큰 수를 22배 절감하는 효율성을 확보했습니다. 또한, CISPO 알고리즘을 활용한 Online Reinforcement Learning을 통해 시행착오를 통한 학습과 분포 변화(Distribution Shift) 문제를 해결했습니다.
🔑 핵심 포인트
- • 단일 RGB 카메라와 자연어 명령만으로 작동하며, LiDAR나 Depth 센서 없이도 정교한 이동이 가능합니다.
- • 40만 개의 궤적(Trajectory)과 6,000개의 장면을 포함한 시뮬레이션 데이터셋을 통해 학습되어 다양한 로봇 플랫폼(바퀴형, 다족형, 비행형)에 범용적으로 적용 가능합니다.
- • Pointing 기반의 좌표 추론 방식과 로컬 좌표계 이동 방식을 결합하여 시야 밖의 목표 지점까지도 효과적으로 도달합니다.
- • Prefix-caching 기술을 통해 수개월이 걸릴 학습 과정을 며칠 단위로 단축시키는 압도적인 학습 효율성을 구현했습니다.