ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks
완성된 웹 앱의 동작을 분석하여 코드로 재현하는 능력을 평가하는 자동화된 벤치마크 프레임워크 제안
논문이 다루는 내용
기존 코딩 에이전트 평가는 주로 텍sal 텍스트 기반의 이슈나 지시사항에 의존하여 실제 웹 개발 환경의 복잡성을 반영하기 어려웠습니다. 본 논문은 동작하는 소프트웨어에서 기능을 추론하고 이를 불완전한 애플리케이션에 구현하는 능력을 평가하기 위해 ProgramDistill을 제안합니다. 연구진은 애플리케이션을 다양한 입도(granularity)의 기능 단위로 분해하고, 골드 패치를 통해 재현 가능한 동작을 연결하는 'mine-craft-patch' 파이프라인을 구축했습니다. 이를 통해 인간의 개입 없이 26개 앱에서 4,063개의 태스크를 생성했습니다. 실험 결과, 에이전트의 복원 깊이가 깊어질수록 성공률이 하락하는 양상을 보였으며, 이는 에이전트의 성능 진단과 커리큘럼 학습을 위한 확장 가능한 벤치마크로서의 가치를 입증합니다.
핵심 결과
-
동작하는 참조 앱에서 기능을 추출하여 코딩 태스크를 생성하는 자동화 파이프라인(mine-craft-patch) 개발
-
텍스트 지시문이 아닌, 실행 가능한 동작(replayable behaviors) 기반의 검증 가능한 벤치마크 구축
-
애플리케이션 복원 깊이에 따른 에이전트의 성능 저하를 정밀하게 측정할 수 있는 환경 제공
실무에서 볼 만한 점
단순 코드 작성을 넘어, 기존 소프트웨어의 동작을 이해하고 이를 새로운 코드베이스에 이식하는 실무적인 에이전트 평가 기준을 제시합니다.
읽을 때 확인할 점
-
제시된 mine-craft-patch 파이프라인을 활용해 특정 도메인 특화 벤치마크 구축 시도
-
에이전트의 코드 복원 능력을 테스트하기 위해 점진적 난이도(restoration depth) 설정 실험
-
LLM 기반 에이전트의 기능 추론 능력을 정량화하기 위한 평가 지표로 활용