Pretrain Once, Route Anywhere: Towards a Foundation Model for LLM Routing
모델의 정체성에 의존하지 않고 행동 데이터만으로 모델 능력을 파악하여 최적의 경로를 결정하는 범용 라우팅 파운데이션 모델 제안
논문이 다루는 내용
LLM 라우팅은 쿼리에 가장 적합한 모델을 선택하여 효율성을 높이는 기술이지만, 기존 방식은 특정 워크로드나 모델 풀에 종속되어 환경 변화 시 재학습이 필요하다는 문제가 있다. 본 논문은 라우팅 능력을 범용적인 파운데이션 모델로 구축하여 다양한 환경에 대응하는 것을 목표로 한다. 이를 위해 제안된 RouteFM은 모델의 고정된 정체성 대신 행동 맥락을 통해 익명 후보 모델의 능력을 추론하는 에피소드 사전 학습 방식을 사용한다. 실험 결과, RouteFM은 도메인, 모달리티, 후보 모델 풀이 바뀌는 환경에서도 높은 전이 성능을 보였다. 특히 데이터가 제한적인 상황에서도 기존 베이스라인을 상회하는 성능을 기록하며 범용 라우팅의 가능성을 입증했다.
핵심 결과
-
모델 ID가 아닌 행동 맥락(Behavioral Context)을 기반으로 모델 능력을 추론하는 범용 라우팅 프레임워크 개발
-
에피소드 기반 사전 학습을 통해 새로운 환경에서도 재학습 없이 컨텍스트만으로 적응 가능한 능력 확보
-
도메인, 모달리티, 후보 모델 풀 변화에 강건한 제로샷/퓨샷 전이 성능 입증
실무에서 볼 만한 점
모델 인프라가 수시로 변하는 프로덕션 환경에서, 라우터 모델을 매번 재학습할 필요 없이 즉시 배포하고 운영할 수 있는 효율적인 운영 체계를 제공한다.
읽을 때 확인할 점
-
제공된 코드를 활용하여 다양한 소형 모델(SLM) 풀에서의 라우팅 성능 테스트
-
데이터가 극도로 적은 상황(Few-shot)에서의 라우팅 정확도 변화 관찰
-
도메인이 완전히 다른 쿼리(예: 코딩 -> 창작)로의 전이 성능 검증