Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

에이전트 벤치마크가 급증하고 있으나, 기존 벤치마크는 실제 배포 시 발생하는 다양한 차원을 충분히 반영하지 못합니다. 본 논문은 14개의 병렬 구현 연구와 7개의 기존 벤치마크를 통합 분석하여, 단순 합산 점수 기반의 리더보드가 새로운 환경(out-of-distribution)에서의 성능을 예측하지 못함을 입증합니다. 이를 해결하기 위해 단순 평균이 아닌, 샘플 내 순위와 샘플 외 순위 간의 상관관계인 '예측 타당성(Predictive Validity)'을 기준으로 하는 새로운 랭킹 구성을 제안합니다. 또한 기존 벤치마크가 놓치는 배포 관련 차원을 드러내는 12단계 측정 장치를 제시합니다. 연구 결과, 기존 방식의 순위 불안정성을 확인하였으며 차세대 에이전트 벤치마크를 위한 새로운 설계 방향을 제시합니다.