논문Hugging Face
Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
논문 ID: 2607.0896443 추천
#AI Agent#Benchmark#Planning#Software Engineering#Agent#RAG#Multimodal#Evaluation
핵심 요약
장기적 계획과 복잡한 워크플로우 수행 능력을 검증하기 위해 설계된 고난도 에이전트 벤치마크 제안
상세 내용
기존의 에이전트 벤치마크는 단기 작업과 최종 결과 중심의 평가에 치중되어 있어, 중간 과정의 진척도나 복잡한 워크플로우를 충분히 반영하지 못하는 한계가 있었습니다. 이를 해결하기 위해 9개 카테고리의 46개 장기 과제를 포함하는 'Long-Horizon-Terminal-Bench'를 도입했습니다. 이 벤치마크는 참조 솔루션이나 시뮬레이션을 기반으로 하되, 과제를 세분화된 하위 작업으로 분해하여 밀도 높은 보상(dense reward)을 제공합니다. 실험 결과, 최신 모델들도 매우 낮은 성공률을 보이며 장기 계획과 반복적 디버깅 능력이 여전히 부족함을 입증했습니다. 연구진은 에이전트의 성능 향상을 위해 이 벤치마크를 공개했습니다.
주요 내용
- 장기적 계획(Long-horizon)과 긴 컨텍스트 관리가 필요한 46개의 복잡한 태스크 구성
- 최종 결과뿐만 아니라 중간 단계의 진척도를 평가할 수 있는 밀도 높은 보상 체계 도입
- 소프트웨어 엔지니어링, 과학 계산 등 실무 중심의 다양한 도메인 포함
실무에서 볼 만한 점
단순한 질의응답을 넘어, 실제 개발 환경처럼 수 시간 동안 지속되는 복잡한 워크플로우를 수행하는 에이전트의 성능을 측정하는 데 유용합니다.
참고할 행동
- 에이전트의 계획 수립 능력을 테스트하기 위해 해당 벤치마크 환경 구축
- 모델의 컨텍스트 윈도우 크기에 따른 작업 완수율 변화 관찰
- 에이전트의 중간 단계 오류 패턴 분석을 통한 디버깅 전략 수립