When Users Change Their Minds: Measuring and Repairing Intent Drift in LLM Agents
사용자의 의도 변화가 에이전트의 수행 결과에 미치는 '의도 드리프트(Intent Drift)' 현상을 정의하고 이를 해결하는 프레임워크를 제안합니다.
논문이 다루는 내용
LLM 에이전트는 멀티턴 대화 중 사용자의 의도가 변하는 상황에서 과거의 정보가 현재 작업에 영향을 미치는 '의도 드리프트' 문제를 겪습니다. 연구진은 검증 가능한 태스크를 의도 변화가 포함된 대화로 변환하는 벤치마크인 IntentFlux를 도입했습니다. 실험 결과, 대화 내에 폐기된 정보가 많아질수록 모델의 정답률이 유의미하게 하락하는 현상이 관찰되었습니다. 이를 해결하기 위해 생성 전 활성 요구사항을 명시적으로 유지하는 StateForge 방식을 제안했습니다. 실험 결과 StateForge는 모델의 작업 점수를 크게 개선하며, 명시적인 상태 유지 방식이 의도 드리프트 완화에 효과적임을 입증했습니다.
핵심 결과
-
사용자의 의도 변화로 인해 과거 정보가 현재 작업에 간섭하는 'Intent Drift' 현상 규명
-
의도 변화가 포함된 대화 환경을 테스트하기 위한 벤치마크 'IntentFlux' 개발
-
활성 요구사항을 명시적으로 관리하는 'StateForge'를 통한 성능 개선
실무에서 볼 만한 점
사용자의 요구사항이 수시로 바뀌는 실무형 에이전트 개발 시, 과거 대화 맥락이 현재 작업에 방해가 되는 문제를 방지하는 설계 전략을 제공합니다.
읽을 때 확인할 점
-
에이전트 프롬프트에 '현재 유효한 요구사항'만 별도로 추출하는 단계 추가하기
-
과거 대화 내용 중 현재 작업과 무관한 정보를 필터링하는 로직 테스트하기
-
멀티턴 대화 시 의도 변화 시나리오를 포함한 벤치마크 적용해보기