AREX: Towards a Recursively Self-Improving Agent for Deep Research

검증과 탐색의 비대칭성을 활용하여 스스로 정답을 정교화하는 재귀적 자기 개선(RSI) 연구 에이전트 프레임워크

심층 연구는 여러 제약 조건을 동시에 만족하는 답을 찾는 과정으로, 탐색 비용은 높지만 검증은 상대적으로 용이한 비대칭적 특성을 가집니다. 기존의 단순 검색 방식은 복잡한 문제 해결에 한계가 있어, 연구 에이전트가 중간 결과를 검증하고 이를 바탕으로 답을 개선하는 재귀적 구조가 필요합니다. 본 논문은 내적 연구 루프와 외적 자기 개선 루프를 교차 수행하는 AREX 프레임워크를 제안합니다. 특히 긴 작업 내용을 유지하기 위해 외부 모델 없이도 이력을 압축하는 자율 컨텍스트 업데이트 도구를 도입했습니다. 합성 데이터와 강화 학습을 통해 학습된 AREX는 다양한 벤치마크에서 동급 규모 모델 대비 압도적인 성능을 보여주었습니다.

단순한 RAG를 넘어, 에이전트가 스스로 작업 과정을 검토하고 오류를 수정하며 복잡한 문제를 해결하는 고도화된 워크플로우 설계 방식을 제시합니다.