GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents

Paper ID: 2606.18829 • 13 Upvotes

LLM-Agent Memory-Governance Security RAG Agent Benchmark Evaluation

GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents

📝 핵심 요약

다중 사용자 환경의 공유 메모리 에이전트를 위한 거버넌스(접근 제어 및 삭제) 중심의 벤치마크 제안

📖 상세 내용

기존 LLM 에이전트 메모리 벤치마크는 단일 사용자 환경에 치중되어 있어, 병원이나 사무실 같은 다중 사용자 공유 환경에서의 메모리 관리 문제를 간과하고 있습니다. 본 논문은 여러 사용자가 공통 메모리 풀을 사용하며 각자의 역할과 권한에 따라 접근하는 상황을 평가하기 위해 GateMem 벤치마크를 도입합니다. GateMem은 정보의 유용성(Utility), 권한 경계에 따른 접근 제어(Access Control), 그리고 명시적 삭제 요청에 따른 망각(Forgetting) 능력을 종합적으로 평가합니다. 의료, 사무, 교육 등 다양한 도메인의 시나리오를 통해 모델의 성능을 검증한 결과, 현재의 에이전트들은 유용성과 보안성 사이의 균형을 잡는 데 어려움을 겪고 있습니다. 특히 RAG 방식은 비용은 낮지만 권한이 없는 정보 유출이나 삭제된 정보 노출 문제가 발생함을 확인했습니다.

🔑 주요 내용 (Key Points)

다중 사용자(Multi-principal) 환경을 반영한 공유 메모리 거버넌스 벤치마크 'GateMem' 개발
정보 유용성, 접근 제어(Access Control), 능동적 망각(Active Forgetting)의 세 가지 핵심 지표 통합 평가
현존하는 RAG 및 외부 메모리 방식이 보안 및 삭제 요청 이행에서 취약함을 입증

💡 실무적 가치 (Relevance)

협업 툴이나 공유 비서 에이전트 개발 시, 단순한 정보 검색(RAG)을 넘어 사용자별 권한 관리와 개인정보 삭제가 실무적으로 얼마나 어려운지 시사합니다.

✅ 추천 액션 (Actionable Items)

에이전트 설계 시 단순 RAG 외에 권한 계층(Role-based Access Control)이 적용된 메모리 레이어 설계 실험
사용자의 '삭제 요청' 시 벡터 DB 및 캐시에서 데이터가 완전히 제거되는지 검증하는 테스트 케이스 구축
Long-context 프롬프팅과 RAG 방식 간의 보안성 vs 비용 효율성 트레이드오프 분석

View on Hugging Face View PDF (arXiv)