LoopVQ: Sub 1-bit KV Cache Quantization for Looped Transformers
Looped Transformer의 루프 간 중복성을 활용하여 0.5비트 수준의 초저비트 KV 캐시 양자화를 달성하는 기술
논문이 다루는 내용
Looped Transformer는 파라미터 효율성을 위해 동일 레이어를 반복 사용하지만, 루프 단계마다 KV 캐시가 쌓여 메모리 병목 현상이 발생합니다. 연구진은 루프 축을 따라 KV 캐시 데이터가 매우 중복적이며, 각 루프 단계별 양자화 민감도가 다르다는 점을 발견했습니다. 이를 해결하기 위해 여러 루프 단계의 채널을 공동 코딩하는 벡터 양자화 방식인 LoopVQ를 제안합니다. 제안된 방식은 코드북 미세 조정을 통해 0.5비트에서도 기존 LLM 양자화 방식을 능가하는 성능을 보여줍니다. 결과적으로 SGLang 구현 시 32K 컨텍스트에서 디코딩 지연 시간을 절반으로 줄이고 처리량을 대폭 향상시켰습니다.
핵심 결과
-
Looped Transformer의 루프 간 데이터 중복성을 활용한 공동 채널 코딩 방식 제안
-
0.5비트 및 0.25비트(TaSQ 결합 시) 수준의 초저비트 KV 캐시 양자화 달성
-
SGLang 구현을 통해 긴 컨텍스트 환경에서 디코딩 지연 시간 감소 및 처리량 극대화
실무에서 볼 만한 점
메모리 제약이 큰 환경에서 긴 컨텍스트(Long-context) 모델을 효율적으로 서빙할 수 있는 실질적인 최적화 기법입니다.
읽을 때 확인할 점
-
Looped Transformer 구조(Ouro, Huginn 등)를 활용한 추론 엔진 성능 벤치마크 수행
-
SGLang 프레임워크에 LoopVQ 알고리즘을 이식하여 처리량 변화 측정
-
초저비트 양자화 시 발생하는 모델 성능 저하(Perplexity)와 추론 속도 간의 Trade-off 분석