Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI
고정된 모델 가중치 환경에서 에이전트 성능을 극대화하기 위해, 실행 환경(Harness)을 동적으로 설계하는 메타 스킬 학습 방법론을 제안합니다.
논문이 다루는 내용
에이전트의 성능은 추론 능력뿐만 아니라 상호작용하는 환경에 따라 결정됩니다. 본 연구는 모델 가중치가 고정된 상태에서 빌더(Builder)가 타겟(Target)을 위한 최적의 실행 환경을 구축하는 'Test-time AI4AI'를 탐구합니다. 이를 위해 언제 어떤 리소스가 필요한지 정의하는 '메타 스킬(Meta-Skill)' 개념을 도입하여 빌더의 경험을 재사용 가능한 원칙으로 변환합니다. 빌더는 개발 세트의 피드백을 통해 이 원칙을 학습하며, 학습된 스킬 뱅크를 통해 미학습 태스크에 대한 최적의 하네스를 구축합니다. 실험 결과, 메타 스킬을 활용했을 때 직접적인 리소스 제공 방식보다 성능이 크게 향상됨을 확인했습니다. 이는 경험을 실행 가능한 지원 체계로 변환하는 것이 시스템 수준의 자가 개선에 핵심적임을 시사합니다.
핵심 결과
-
고정된 가중치 환경에서 환경 설계(Harness Design)를 통한 에이전트 성능 최적화
-
경험을 재사용 가능한 원칙으로 변환하는 '메타 스킬(Meta-Skill)' 프레임워크 도입
-
빌더-타겟 구조를 통한 테스트 타임(Test-time) 환경 구축 및 성능 향상 입증
실무에서 볼 만한 점
모델 자체를 재학습시키지 않고도, 에이전트가 작업할 수 있는 도구(Tool)나 환경을 동적으로 구성함으로써 성능을 끌어올리는 전략적 접근법을 제시합니다.
읽을 때 확인할 점
-
동일한 모델을 빌더와 타겟으로 설정하여 환경 설계 역량의 전이 가능성 테스트
-
특정 도구(Tool) 제공 여부에 따른 에이전트 성능 변화를 메타 스킬로 정형화하는 실험
-
다양한 태스크 셋에서 학습된 스킬 뱅크의 일반화 성능 검증