논문Hugging Face
Alaya-EVOKE: From Linear-Scaling Supervision to Endless World
논문 ID: 2608.1354681 추천
#World Model#Video Generation#Efficient Attention#Memory Management#RAG#Vision#Evaluation#Inference
핵심 요약
외부 메모리 뱅크와 선형 스케일링 감독 방식을 결합하여, 긴 생성 시간과 메모리 비용 문제를 해결한 고성능 인터랙티브 월드 모델
상세 내용
기존의 인터랙티브 월드 모델은 긴 세션 유지와 저지연 상호작용 사이의 트레이드오프 문제로 인해 메모리 비용과 생성 성능의 한계에 직면해 있었습니다. 이를 해결하기 위해 Alaya-EVOKE는 장면 기하 정보를 외부 카메라 인덱스 기반의 월드 상태 뱅크에 저장하여 컨텍스트 크기를 일정하게 유지하는 방식을 제안합니다. 또한, 긴 호라이즌 감독을 위해 청크 단위 그룹화와 선형 어텐션을 결합한 새로운 티처 모델을 설계하여 메모리 증가를 선형적으로 제어했습니다. 30초 분량의 분포 매칭 목적 함수를 통해 학습된 3단계 스튜던트 모델은 CFG 없이도 드리프트 저항성과 응답성을 동시에 확보했습니다. 결과적으로 단일 H200에서 실시간에 가까운 속도로 긴 호라이즌의 오픈 엔드 생성을 구현하며 SOTA 성능을 달성했습니다.
주요 내용
- 외부 카메라 인덱스 기반 월드 상태 뱅크를 통한 컨텍스트 크기 바운딩
- 선형 스케일링이 가능한 청크 기반 그룹화 및 선형 어텐션 설계
- 3단계 스튜던트 모델로 CFG 없이도 드리프트 저항성과 빠른 응답성 확보
실무에서 볼 만한 점
메모리 사용량을 일정하게 유지하면서도 긴 시간 동안 일관성을 유지하는 생성 모델 아키텍처 설계 패턴을 제공합니다.
참고할 행동
- 외부 메모리 뱅크와 KV 캐시 간의 데이터 동기화 효율성 테스트
- 청크 단위 조건부 제어(Prompt/Event)가 장기 일관성에 미치는 영향 분석
- 제한된 하드웨어 자원에서의 선형 어텐션 vs 풀 어텐션 성능 비교