AgSpec: Pushing the Limits of Retrieval-Based Speculative Decoding in Coding Agent Pipelines
코딩 에이전트의 반복적인 코드 생성 패턴을 활용하여 추론 속도를 최대 4.76배 향상시킨 검색 기반 투기적 디코딩 프레임워크
논문이 다루는 내용
기존의 검색 기반 투기적 디코딩(SD)은 코딩 에이전트가 생성하는 코드, 로그, 이전 시도와 같은 재사용 가능한 텍스트를 효과적으로 활용하지 못하는 한계가 있었습니다. 특히 에이전트 파이프라인에서 발생하는 세션 데이터 누락과 가변적인 초안 길이 문제를 해결해야 했습니다. 본 논문은 AgSpec 프레임워크를 제안하며, 세션·워크스페이스·글로벌 코퍼스를 통합 관리하고 에이전트별 최적의 초안 길이를 동적으로 조절하는 정책을 도입했습니다. 실험 결과, AgSpec은 기존 방식 및 EAGLE-3보다 우수한 성능을 보였으며, 배치 사이즈에 따라 오토레그레시브 디코딩 대비 최대 4.76배의 처리량을 달상했습니다. 이는 코딩 에이전트 환경 전반에서 범용적인 성능 향상을 입증합니다.
핵심 결과
-
세션, 워크스페이스, 글로벌 코퍼스를 통합하여 에이전트의 작업 맥락을 유지하는 검색 엔진 구축
-
오프라인 프로파일링과 온라인 피드백을 결합한 적응형 초안 길이(Draft-length) 정책 도입
-
코딩 에이전트 특화 데이터 포맷 인덱싱을 통한 검색 정확도 및 생성 효율 극대화
실무에서 볼 만한 점
코딩 에이전트 운영 시 발생하는 높은 추론 비용과 지연 시간을 획기적으로 줄여, 더 빠르고 효율적인 자동화 파이프라인 구축이 가능합니다.
읽을 때 확인할 점
-
현재 사용 중인 코딩 에이전트의 생성 패턴(토큰 반복성) 분석
-
에이전트 작업 로그를 활용한 검색 기반 SD 프레임워크 적용 테스트
-
다중 에이전트 환경에서의 동적 초안 길이 조절 알고리즘 프로토타이핑