FrontierPhysics: Evaluating Agents for End-to-End Physics Research

AI 에이전트가 물리학 연구에 중요한 역할을 하고 있으나, 기존 벤치마크는 고정된 문제나 단편적인 작업에 국한되어 연구의 질을 평가하기 어려웠습니다. 이를 해결하기 위해 42명의 물리학자가 참여하여 이론, 계산, 실험 등 9개 분야의 56개 태스크를 포함한 FrontierPhysics를 도입했습니다. 이 벤치마크는 문헌 검토부터 연구 계획 수립, 실험 수행, 논문 작성까지 이어지는 연구의 전 과정을 평가합니다. 결정론적 검증기와 전문가 루브릭을 결합하여 연구의 정확성과 출판 가능성을 동시에 검증합니다. 실험 결과, 현재의 최첨단 모델들은 연구 수행 과정에서 심각한 한계를 보였습니다. 분석 결과, 에이전트의 주요 약점은 지식 부족보다는 논리적 엄밀함과 전문가적 직관의 부족으로 나타났습니다.

• 연구 전 과정을 평가하는 56개 태식의 엔드투엔드 벤치마크 구축

• 물리학 전문가들이 직접 설계한 9개 도메인의 고난도 태스크 제공

• 단순 정답 여부를 넘어 연구의 질과 출판 가능성을 평가하는 프레임워크

• 에이전트의 추론 루프(Reasoning Loop) 설계 시 논리적 엄밀성 강화 실험

• 전문가 도메인 지식을 에이전트의 계획 수립 단계에 통합하는 방법론 연구

• 연구 결과물의 구조화된 출력을 위한 멀티모달/텍스트 생성 파이프라인 테스트