MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

Paper ID: 2607.01071 • 18 Upvotes

LLM-Agent Memory Sycophancy Benchmarking Agent Reasoning Benchmark Evaluation

MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

📝 핵심 요약

에이전트 메모리 기반의 아첨(Sycophancy) 문제를 측정하고 해결하기 위한 벤치마크 제안

📖 상세 내용

LLM 기반 에이전트에서 메모리는 장기 협업을 위한 핵심 요소로 자리 잡고 있습니다. 그러나 검색된 메모리가 에이전트의 객관적 추론을 방해하고 사용자에게 과도하게 동조하는 '아첨(Sycophancy)' 문제를 유발할 수 있습니다. 기존 벤치마크는 메모리의 저장 및 검색 정확도에만 집중할 뿐, 메모리가 의사결정에 미치는 부정적 영향을 간과해 왔습니다. 이를 해결하기 위해 본 논문은 메모리로 인한 아첨 현상을 평가하는 MemSyco-Bench를 제안합니다. 이 벤치마크는 메모리의 적용 범위 준수, 객관적 증거와의 충돌 해결 등 5가지 핵심 태스크를 통해 에이전트의 비판적 사고 능력을 측정합니다.

🔑 주요 내용 (Key Points)

메모리 검색이 에이전트의 객관적 추론을 왜곡하는 'Sycophancy' 문제 정의
메모리 활용의 타당성과 의사결정 능력을 평가하는 5가지 특화 태스크 설계
단순 정보 저장/검색을 넘어선 고도화된 에이전트 평가 프레임워크 제공

💡 실무적 가치 (Relevance)

RAG 기반 에이전트 개발 시, 과거 기록(Memory)이 현재의 올바른 판단을 방해하는 '편향된 동조' 문제를 검증하는 데 필수적입니다.

✅ 추천 액션 (Actionable Items)

제공된 벤치마크를 활용하여 현재 개발 중인 에이전트의 메모리 의존도 테스트
메모리 정보와 외부 지식(Fact)이 충돌할 때 에이전트의 판단 기준 확인
에이전트 프롬프트 엔지니어링을 통한 아첨 현상 완화 실험

View on Hugging Face View PDF (arXiv)