SeLMRoute: Probabilistic Semantic Evidence for Large Language Model Routing
질의의 의도를 확률적 의미 정보로 분리하여 모델 선택의 정확도와 비용 효율성을 동시에 높이는 라우팅 프레임워크
논문이 다루는 내용
LLM 라우팅은 각 질의에 가장 적합한 모델을 선택하는 것을 목표로 하지만, 기존 방식은 질의의 구체적인 요구사항을 명확히 반영하지 못하는 경우가 많습니다. 본 논문은 후보 모델과 독립적인 '의미적 증거(semantic evidence)' 추출과 모델 성능 학습을 분리하는 SeLMRoute 프레임워크를 제안합니다. 먼저 의사결정 모델이 추론 요구사항이나 외부 지식 필요성 등 해석 가능한 질문들을 통해 확률 분포 형태의 의미 상태를 생성합니다. 이 상태를 경량 라우터가 활용하여 후보 모델의 성능을 추정하며, 최종 라우팅 목적(성능 또는 비용)은 마지막 단계에서 적용됩니다. 실험 결과, SeLMRoute는 기존 방식보다 높은 정확도를 기록하며 성능과 비용 사이의 균형 잡힌 의사결정을 지원함을 입증했습니다.
핵심 결과
-
의미적 증거(Semantic Evidence)와 모델 성능 학습의 분리를 통한 구조적 최적화
-
해석 가능한 질문들을 활용한 확률적 의미 상태(Probabilistic Semantic State) 추출
-
동일한 의미 정보를 바탕으로 성능 중심 또는 비용 중심의 유연한 라в팅 목적 적용 가능
실무에서 볼 만한 점
질의의 의도를 명확히 파악하면서도 모델별 성능과 비용을 독립적으로 관리할 수 있어, 운영 비용을 최적화하면서도 서비스 품질을 유지해야 하는 실무 환경에 유용합니다.
읽을 때 확인할 점
-
제시된 해석 가능한 질문(Reasoning, Knowledge 등) 세트를 실제 도메인 질의에 적용해보기
-
동일한 의미 상태를 유지하며 비용(Cost) 가중치를 변경했을 때의 라우팅 변화 관찰하기
-
기존 임베딩 기반 라우터와 SeLMRoute의 의사결정 차이 비교 실험