FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines

Paper ID: 2606.19605 • 4 Upvotes

LLM-Agent Prompt-Engineering Pipeline-Optimization Automation RAG Reasoning Benchmark Evaluation

FAPO: Fully Autonomous Prompt Optimization of Multi-Step LLM Pipelines

📝 핵심 요약

프롬프트 수정부터 파이프라인 구조 변경까지 자동 수행하는 자율형 LLM 파이프라인 최적화 프레임워크

📖 상세 내용

멀티스텝 LLM 파이프라인은 검색, 추론, 포맷팅 단계 간의 상호작용으로 인해 병목 현상이 발생하기 쉽습니다. 기존의 프롬프트 중심 최적화는 이러한 구조적 문제를 해결하는 데 한계가 있습니다. 이를 해결하기 위해 FAPO는 코드베이스 내에서 파이프라인을 평가, 진단, 수정 및 검증하는 자율 최적화 프레임워크를 제안합니다. FAPO는 먼저 프롬프트를 수정하고, 필요 시 구조적 병목을 식별하여 체인 구조까지 변경하는 계층적 접근 방식을 취합니다. 실험 결과, FAPO는 다양한 벤치마크에서 기존 GEPA 방식보다 우수한 성능을 보였으며 특히 구조적 변경이 필요한 복잡한 작업에서 압도적인 성능 향상을 기록했습니다.

🔑 주요 내용 (Key Points)

프롬프트 수정과 구조적 변경을 결합한 계층적 자율 최적화 전략
중간 단계 검사 및 실패 진단을 통한 정밀한 병목 지점 식별
일반 작업 및 보안 작업(CVE-to-CWE 등) 모두에서 검증된 높은 성능

💡 실무적 가치 (Relevance)

단순히 프롬프트를 고치는 것을 넘어, 복잡한 LLM 워크플로우의 구조적 결함을 자동 탐지하고 수정할 수 있는 자동화된 엔지니어링 방법론을 제시합니다.

✅ 추천 액션 (Actionable Items)

현재 운영 중인 멀티스텝 LLM 파이프라인의 중간 단계 로그를 수집하여 병목 지점 분석하기
프롬프트 최적화만으로 해결되지 않는 작업에 대해 구조적 변경(Chain-of-Thought 등) 적용 실험하기
FAPO의 진단 로직을 벤치마킹하여 자체 파이프라인 디버깅 툴 구축하기

View on Hugging Face View PDF (arXiv)