SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring

기존 벤치마크의 테스트 결함과 데이터 오염 문제를 해결한 대규모 다국어 코드 리팩토링 벤치마크 제안

최근 AI 코딩 에이전트가 복잡한 작업을 수행함에 따라 기존 벤치마크의 테스트 품질 저하와 데이터 오염 문제가 심각해지고 있습니다. 특히 기존 벤치마크는 테스트가 너무 좁거나 넓어 정확한 평가가 어렵고, 모델이 학습 데이터를 그대로 복제하는 문제가 존재합니다. 이를 해결하기 위해 본 논문은 7개 언어를 지원하며 정교하게 큐레이션된 170개의 리팩토링 작업인 SWE-Bench ProMax를 도입합니다. 모든 인스턴스는 모호함을 제거하기 위해 이슈 설명이 새로 작성되었으며, 테스트 스위트 또한 수동 검토를 거쳐 정밀도를 높였습니다. 실험 결과, 최신 모델들의 해결률이 41.2%에 그쳐 기존 벤치마크보다 훨씬 도전적이고 유효한 평가 도구임을 입증했습니다.

단순 코드 생성을 넘어, 여러 파일을 동시에 수정해야 하는 실제 소프트웨어 엔지니어링 워크플로를 평가할 수 있는 기준을 제공합니다.