커뮤니티GeekNews / Hada
HarnessTax: 코딩 에이전트에서 하네스는 얼마나 중요할까?
Claude Code, Codex CLI, Pi 등 7개 모델을 서로 다른 하네스 환경에 연결하여 성능과 비용을 비교 분석했습니다. 실험 결과 동일한 모델이라도 하네스 구성에 따라 작업 성공률은 비슷하게 유지되면서 토큰 비용은 최대 5배까지 차이가 났습니다. 특히 읽기, 쓰기, 편집, bash 기능만 제공하는 단순한 구조의 Pi 하네스가 SWE-bench Lite 벤치마크에서 비용 대비 높은 성공률을 기록했습니다.
주요 내용
-
동일 모델이라도 하네스 설계에 따라 토큰 비용이 최대 5배까지 차이 날 수 있습니다.
-
단순한 기능 위주의 Pi 하네스가 SWE-bench Lite에서 비용 대비 우수한 성능을 보였습니다.
-
에이전트의 작업 성공률을 유지하면서 비용을 절감하는 하네스 최적화가 핵심입니다.