Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development

에이전트의 최종 점수 너머, 문제 해결 과정의 동역학을 분석하여 진정한 자율 연구 역량을 평가하는 프레임워크 제안

자율 에이전트가 장기적인 실험을 통해 기술적 산물을 개선하는 능력이 커지고 있으나, 기존의 최종 점수 중심 평가는 과정상의 문제나 경험 축적 효과를 파악하기 어렵습니다. 본 논문은 7개의 최첨단 모델을 대상으로 36개의 장기 과제를 수행하며, 해결 프레임워크, 실행, 피드백 제어라는 세 가지 측면에서 행동을 분석하는 새로운 평가 프레임워크를 제안합니다. 실험 결과, 현재의 에이전트들은 완전한 자율 연구자보다는 공학적 최적화 도구에 가깝다는 것이 밝혀졌습니다. 이들은 실용적인 솔루션을 구현할 수 있지만, 성능 변동성이 크고 기존 기술의 조합에 의존하며 독창적인 방법론 도출은 드물었습니다. 이러한 분석은 모델 학습, 추론 전략, 경험 관리 및 평가 환경 설계의 개선 방향을 제시합니다.

에이전트 개발 시 최종 결과물뿐만 아니라 중간 과정의 병목과 경험 관리 전략이 성능 안정성에 미치는 영향을 이해하는 것이 필수적임을 시사합니다.