SWE-benchBenchmark Newsbenchmark update
Introducing CodeClash, our new eval of LMs as goal (not task) oriented developers! [ Link ]
2025년 11월 27일 오후 03:00
#SWE-bench#CodeClash#LLM_Evaluation
요약
SWE-bench 팀이 언어 모델을 단순 작업 수행자가 아닌 목표 지향적 개발자로 평가하기 위한 새로운 벤치마크인 CodeClash를 소개합니다. 이 평가는 모델이 주어진 과제를 넘어 최종 목표를 달성하는 능력을 측정하는 데 중점을 둡니다.
주요 내용
- 새로운 벤치마크인 CodeClash 도입
- 단순 task 수행이 아닌 goal-oriented 개발자로서의 능력을 평가
- LLM의 소프트웨어 엔지니어링 역량 측정 방식의 변화 시도
원문 설명
Introducing CodeClash, our new eval of LMs as goal (not task) oriented developers! [ Link ]