AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

Paper ID: 2607.02255 • 39 Upvotes

LLM-Agent Memory-Management Long-Horizon Evaluation-Framework Agent RAG Benchmark Evaluation

AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

📝 핵심 요약

장기 의사결정 에이전트의 메모리 구조를 격리 및 제어 가능한 형태로 설계한 새로운 테스트베드 제안

📖 상세 내용

기존의 LLM 에이전트는 과거의 모든 기록을 프롬프트에 단순히 추가하는 방식을 사용하여, 메모리 구성 요소 간의 효과를 개별적으로 검증하기 어렵다는 문제가 있었습니다. 이를 해결하기 위해 본 논문은 모든 의사결정이 정형화된 검색(typed retrieval)을 통해 조립된 새로운 메시지로부터 이루어지는 '경계가 있는 메모리(bounded-memory)' 계약 방식을 도입합니다. 이 방식은 프롬프트 길이를 일정하게 유지하면서 특정 메모리 레이어의 효과를 독립적으로 분석할 수 있게 합니다. 연구진은 이를 복잡한 전략이 필요한 게임인 'Slay the Spire 2' 환경에서 검증하였습니다. 실험 결과, 전략적 스킬 레이어를 활성화했을 때 승률이 유의미하게 향상됨을 확인했습니다. 최종적으로 에이전트 설계와 방법론 검증을 위한 재현 가능한 데이터셋과 분석 스크립트를 공개합니다.

🔑 주요 내용 (Key Points)

과거 기록을 무분별하게 쌓는 대신, 정형화된 검색을 통해 프롬프트를 재구성하는 'Bounded-Memory' 계약 방식 제안
프롬프트 길이를 일정하게 유지하여 장기 실행 시에도 메모리 레이어별 독립적 분석(Ablation)이 가능하도록 설계
복잡한 전략적 의사결정이 필요한 게임 환경을 통한 에이전트 성능 및 메모리 구조 검증

💡 실무적 가치 (Relevance)

에이전트의 컨텍스트가 길어질 때 발생하는 성능 저하와 혼선 문제를 해결하기 위해, 메모리 관리 구조를 어떻게 모듈화하고 제어해야 하는지에 대한 방법론을 제시합니다.

✅ 추천 액션 (Actionable Items)

에이전트 개발 시 모든 히스토리를 넣는 대신, 특정 정보만 추출하여 프롬프트를 재구성하는 구조 적용해보기
메모리 레이어(기록, 요약, 스킬 등)를 분리하여 각 요소가 의사결정에 미치는 영향력을 측정하는 실험 설계
장기 작업(Long-horizon) 환경에서 프롬프트 토큰 제한 문제를 해결하기 위한 데이터 정제 전략 수립

View on Hugging Face View PDF (arXiv)