논문Hugging Face
Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable
논문 ID: 2607.13285160 추천
#AI Agent#Software Engineering#LLM-assisted Coding#Code Analysis#Agent
핵심 요약
복잡하게 얽힌 AI 에이전트 프레임워크에서 특정 동작을 구현하는 코드 위치를 자동으로 식별하고 관리하는 방법론 제안
상세 내용
현대 AI 에이전트의 성능은 프롬프트 구성, 상태 관리, 도구 호출 등을 담당하는 '하네스(Harness)'에 크게 의존합니다. 그러나 에이전트 시스템이 커질수록 코드가 복잡하게 결합되어 있어, 특정 동작을 수정하기 위해 관련 코드를 찾는 데 많은 시간이 소요됩니다. 이를 해결하기 위해 정적 분석과 LLM을 결합하여 동작 중심의 표현을 생성하는 'Harness Handbook'을 제안합니다. 또한, 고수준 동작에서 세부 구현으로 단계별 탐색을 유도하는 'Behavior-Guided Progressive Disclosure(BGPD)' 기법을 도입했습니다. 실험 결과, 이 방식은 분산된 코드나 복잡한 모듈 간 상호작용이 발생하는 상황에서 코드 위치 식별과 편집 계획의 품질을 크게 향상시켰습니다.
주요 내용
- Harness Handbook: 정적 분석과 LLM을 통해 코드베이스에서 동작 중심의 구조를 자동 생성
- BGPD(Behavior-Guided Progressive Disclosure): 고수준 동작에서 세부 구현으로 이어지는 단계적 탐색 가이드 제공
- 행동-코드 매핑 최적화: 복잡한 에이전트 시스템의 수정 위치를 찾는 병목 현상 해결
실무에서 볼 만한 점
대규모 에이전트 시스템을 유지보수할 때, 특정 기능이 어디에 구현되어 있는지 찾는 데 드는 시간을 줄이고 수정 오류를 방지할 수 있습니다.
참고할 행동
- 기존의 복잡한 에이전트 프레임워크에 정적 분석 도구를 적용하여 의존성 맵을 시각화해보기
- LLM 기반 코드 탐색 시, 기능 단위(Behavior)로 인덱싱하는 전략 도입 검토
- 코드 수정 전, 동작 중심의 명세와 실제 구현 코드를 매핑하는 워크플로우 테스트