Multi-layer Indexer: Overlapping Selection and Attention in DeepSeek Sparse Attention
레이어 간 인덱스 재사용을 통해 모델 재학습 없이 긴 문맥 추론 속도를 높이는 효율적인 Sparse Attention 최적화 기법
논문이 다루는 내용
최근 LLM은 긴 문맥 처리를 위해 Sparse Attention을 사용하지만, 매 레이어마다 전체 캐시를 스캔하는 인덱서 작업이 디코딩 병목을 유발합니다. 인접한 레이어들이 유사한 토큰을 선택한다는 점에 착안하여, 이전 레이어의 선택 결과를 다음 레이어가 재사용하는 Multi-layer Indexer(MLI)를 제안합니다. 이 방식은 모델의 가중치를 변경하거나 재학습할 필요가 없으며, 기존 SGLang 프로토콜과 호환됩니다. 실험 결과, MLI는 IndexCache와 결합하여 기존 방식보다 더 빠른 디코딩 성능을 보여주면서도 높은 정확도를 유지했습니다. 결과적으로 긴 문맥 환경에서 연산 효율을 극대화하면서도 성능 저하를 최소화했습니다.
핵심 결과
-
인접 레이어 간 인덱스 선택 결과의 중복성을 활용한 MLI(Multi-layer Indexer) 제안
-
모델 재학습 및 가중치 변경 없이 기존 인프라(SGLang 등)에서 즉시 적용 가능
-
IndexCache와 결합하여 레이어별 인덱싱 부하를 분산하고 디코딩 처리량(Throughput) 극대화
실무에서 볼 만한 점
모델 구조를 건드리지 않고도 긴 문맥(Long-context) 추론 시 발생하는 인덱싱 병목을 해결할 수 있어, 실무 환경의 서빙 최적화에 매우 유용합니다.
읽을 때 확인할 점
-
SGLang 환경에서 DeepSeek-V3.2 모델에 MLI 프로토콜 적용 테스트
-
문맥 길이가 길어짐에 따른 인덱싱 스캔 시간과 처리량 변화 측정
-
IndexCache와 MLI를 결합한 다양한 레이어 유지 비율(Retention)별 성능 벤치마크