ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving

Paper ID: 2607.00466 • 19 Upvotes

LLM Serving MoE Load Balancing Distributed Systems Evaluation Inference

ELDR: Expert-Locality-Aware Decode Routing for PD-Disaggregated MoE Serving

📝 핵심 요약

MoE 모델의 전문가(Expert) 활성화 패턴을 고려한 라우팅을 통해 PD 분리 환경에서 디코딩 지연 시간을 단축하는 기술

📖 상세 내용

LLM의 Prefill-Decode(PD) 분리 서빙 환경에서 기존의 부하 분산 방식은 MoE 모델의 특성을 충분히 반영하지 못합니다. 단순히 워커의 부하를 맞추는 것만으로는 각 요청이 활성화하는 전문가(Expert) 가중치 로딩에 따른 지연 시간 차이를 해결할 수 없기 때문입니다. 이를 해결하기 위해 ELDR는 프리필 단계의 전문가 활성화 패턴을 기반으로 '전문가 시그니처'를 생성합니다. 오프라인에서는 K-means로 시그니처 공간을 분할하고, 온라인에서는 시그니처가 유사하면서 부하가 적은 워커로 요청을 보내는 Locality-band 라우팅을 수행합니다. 또한 KV 캐시와 연동된 시그니처 캐시를 통해 프리픽스 캐싱 환경에서도 정확도를 유지합니다. 실험 결과, vLLM에 구현된 ELDR는 기존 부하 분산 방식 대비 TPOT(Time Per Output Token)를 최대 13.9%까지 개선하였습니다.

🔑 주요 내용 (Key Points)

프리필 단계의 전문가 활성화 패턴을 활용한 '전문가 시그니처' 추출
시그니처 유사도와 워커 부하를 동시에 고려하는 Locality-band 라우팅 알고리즘
KV 캐시 블록 단위의 시그니처 캐싱을 통한 프리픽스 캐싱 대응

💡 실무적 가치 (Relevance)

MoE 모델을 사용하는 대규모 분산 서빙 환경에서, 단순 부하 분산이 아닌 모델 내부의 연산 특성을 고려한 효율적인 스케줄링 전략을 제시합니다.

✅ 추천 액션 (Actionable Items)

vLLM 환경에서 MoE 모델(Mixtral 등)을 활용한 부하 분산 알고리즘 비교 실험
프리픽스 캐싱(Prefix Caching) 사용 시 시그니처 정확도 및 성능 변화 측정
다양한 GPU 클러스터 규모에서의 확장성(Scalability) 테스트

View on Hugging Face View PDF (arXiv)