ASI-Bench: At the Dawn of Artificial Superintelligence

AI의 자율적 과학 연구 역량을 측정하기 위해 인간의 개입을 단계적으로 줄여가며 평가하는 새로운 벤치마크 ASI-Bench 제안

현재의 AI는 기존 지식을 학습하고 적용하는 데 특화되어 있어, 새로운 지식을 탐구하거나 자율적으로 연구를 수행하는 능력을 평가하기 어렵습니다. 기존 벤치마크는 정답 여부나 인간의 가이드 하에서의 작업 수행 능력에만 집중하는 한계가 있습니다. 이를 해결하기 위해 11개 과학 분야 60개 프로젝트를 포함하며, 인간의 방법론적 가이드를 점진적으로 제거하며 자율성을 테스트하는 ASI-Bench를 도입합니다. 실험 결과, 가이드가 줄어듦에 따라 에이전트의 성능이 급격히 하락하여 현재 시스템이 인간의 가이드에 크게 의존하고 있음을 확인했습니다. 이는 현존하는 AI가 자율적인 엔드투엔드 과학 연구 단계에 도달하지 못했음을 시사합니다.

단순 질의응답을 넘어, 스스로 문제를 정의하고 해결책을 찾아가는 '자율형 에이전트' 개발의 성능 지표로 활용 가능합니다.