논문
SkillSeek: Revisiting Agent Skill Retrieval at Marketplace Scale
에이전트 스킬 라이브러리가 거대해짐에 따라, 고비용의 LLM 루프 대신 표준 IR(정보 검색) 기법을 활용해 비용과 성능을 동시에 잡는 효율적인 스킬 검색 방법론을 제시합니다.
핵심 결과
-
LLM 중심의 고비용 스킬 선택 루프를 표준 IR(Bi-encoder + Cross-encoder) 방식으로 대체
-
SkillsBench 벤치마크에서 기존 LLM 기반 방식과 대등한 성능(Parity) 달성
-
에이전트 작업당 발생하는 토큰 비용을 획기적으로 절감
실무에서 볼 만한 점
에이전트 시스템 구축 시, 모든 검색 과정을 LLM에 맡기는 대신 검색 엔진(RAG) 구조를 도입함으로써 운영 비용을 낮추고 성능을 최적화할 수 있는 실무적 가이드를 제공합니다.
읽을 때 확인할 점
-
현재 운영 중인 에이전트의 스킬 검색 로직을 BM25 또는 Bi-encoder 기반으로 교체해보기
-
스킬 풀 규모에 따른 검색 성능과 비용 간의 Trade-off 분석하기
-
LLM 기반 쿼리 생성 대신 소형 Cross-encoder를 활용한 재정렬(Reranking) 적용해보기