MILO: Automated Harness Discovery via Orchestrated Multi-Agent Evolution

현대적 에이전트 시스템은 모델과 실행 환경(Harness)의 결합으로 작동하지만, 복잡한 환경 설계는 막대한 수동 작업과 모델 변경 시 재작업을 요구합니다. 기존 자동화 방식은 프롬프트나 특정 스킬에만 국한되어 탐색 범위가 좁고 최적해를 찾기 어렵다는 한계가 있습니다. 이를 해결하기 위해 MILO는 에이전트 하네스와 이를 찾는 전략을 동시에 진화시키는 메타 진화 프레임워크를 제안합니다. MILO는 계층적 계보 메모리, 섬 기반(Island-based) 변이 에이전트, 그리고 탐색 전략을 조정하는 오케스트레이터를 결합하여 작동합니다. 실험 결과, MILO는 다양한 벤치마크에서 기존 SOTA 방식들을 압도하며 효율적인 하네스 설계를 입증했습니다.

• 하네스 설계와 탐색 전략을 동시에 최적화하는 메타 진화(Meta-evolutionary) 프레임워크 제안

• 계층적 계보 메모리와 섬 기반 구조를 활용하여 거대한 탐색 공간에서 효율적인 진화 수행

• 기존 방식 대비 적은 토큰 사용량으로도 더 높은 성능의 에이전트 환경 구축 가능

• 특정 도메인(예: 코딩, 수학) 전용 에이전트 환경 구축 시 MILO 프레임워크 적용 검토

• 기존 수동 프롬프트/환경 설정과 MILO 자동 생성 결과 간의 성능 차이 비교 실험

• 사용 중인 모델(LLM)의 특성에 따른 하네스 최적화 효율성 측정