Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation

Paper ID: 2607.07608 • 44 Upvotes

VLA Robotics Memory-Augmented Latent Space Reasoning Multimodal Vision

Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation

📝 핵심 요약

과거 경험을 잠재 공간(Latent Space) 내 토큰으로 재구성하여 VLA 모델의 추론 과정에 직접 통합하는 이중 메모리 프레임워크

📖 상세 내용

기존의 VLA 모델은 현재 관찰값에만 의존하는 마르코프 가정을 따르기 때문에 장기적인 작업 수행에 어려움을 겪습니다. 기존 메모리 방식은 관찰 창을 넓히거나 외부 컨텍스트로 정보를 가져오지만, 메모리가 모델의 고유한 잠재 임베딩 공간 밖에 존재하여 추론과 유기적으로 결합되지 못하는 문제가 있습니다. 이를 해결하기 위해 LaMem-VLA는 과거 경험을 잠재 메모리 토큰으로 재구성하여 추론 과정에 직접 엮는 프레임워크를 제안합니다. 이 시스템은 경험을 정리하는 Curator, 정보를 검색하는 Seeker, 토큰을 압축하는 Condenser, 그리고 이를 현재 관찰과 결합하는 Weaver라는 네 가지 구성 요소로 작동합니다. 실험 결과, SimplerEnv 및 LIBERO 벤치마크에서 기존 방식보다 뛰어난 성능을 입증했습니다.

🔑 주요 내용 (Key Points)

과거 경험을 모델의 고유한 잠재 임베딩 공간 내 토큰으로 변환하여 추론과 직접 결합
단기 및 장기 메모리 저장소를 분리하여 효율적인 정보 관리 및 검색 구조 구축
Curator, Seeker, Condenser, Weaver로 이어지는 체계적인 메모리 관리 파이프라인 도입

💡 실무적 가치 (Relevance)

로봇 제어 모델에서 외부 RAG 방식이 아닌, 모델 내부의 임베딩 공간을 활용한 효율적인 장기 기억(Long-term Memory) 구현 방식을 제시합니다.

✅ 추천 액션 (Actionable Items)

제시된 4가지 구성 요소(Curator, Seeker, Condenser, Weaver)의 모듈별 독립 성능 테스트
메모리 토큰 압축률(Condenser) 변화에 따른 추론 정확도 및 연산 비용 상관관계 분석
단기/장기 메모리 비율 변화가 복잡한 장기 작업(Long-horizon) 성공률에 미치는 영향 확인

View on Hugging Face View PDF (arXiv)