From Pixels to Actions - Towards Native Vision-Language-Action Policies
고정된 인코더 출력 대신 계층적 시각 정보를 직접 활용하는 'Encoder-free' 구조를 통해 로봇 제어 성능을 극대화한 VLA 프레임워크 제안
논문이 다루는 내용
기존의 VLA 모델은 시각 인코더로 정보를 압축한 뒤 액션 추론을 시작하는 구조를 가져, 정밀한 조작에 필요한 국소적 기하학 정보가 손실되는 문제가 있었습니다. 본 논문은 고정된 시각 엔드포인트 대신 진화하는 시각 연산 과정에 직접 접근하는 NEO-VLA 프레임워크를 제안합니다. NEO-VLA는 경량 패치 컨볼루션 레이어로 이미지를 토큰화하며, 언어와 시각 정보가 백본 전체에서 공동으로 진화하도록 설계되었습니다. 실험 결과, 인코더 기반 모델보다 우수한 성능을 보였으며, 액션에 중요한 신호가 최종 레이어가 아닌 중간 계층에서 피크를 형성함을 확인했습니다. 결과적으로 다양한 조작 환경과 분포 변화 속에서도 더 강력하고 견고한 제어 성능을 달성했습니다.
핵심 결과
-
Encoder-free 구조: 고정된 인코더 출력 대신 계층적 시각 표현을 직접 활용
-
Joint Evolution: 시각과 언어 토큰이 백본 전반에 걸쳐 상호작용하며 진화
-
Multi-depth Access: Flow-matching 액션 전문가가 다양한 깊이의 시각 표현을 활용
실무에서 볼 만한 점
로봇 제어 시 단순한 이미지 압축이 아닌, 계층적 특징(Geometry, Depth 등)을 액션 정책에 직접 전달하는 것이 성능의 핵심임을 시사합니다.
읽을 때 확인할 점
-
기존 VLA 모델의 중간 레이어 특징(Feature)을 액션 헤드에 연결하는 실험 수행
-
Patch-based 토큰화 방식과 기존 ViT 인코더 방식의 제어 정밀도 비교
-
데이터 스케일 증가 시 인코더 기반 모델과의 성능 격차 변화 관찰