논문Hugging Face
SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning
논문 ID: 2607.1477765 추천
#Agent#Reinforcement Learning#LLM#Self-Evolving#Vision#Distillation
핵심 요약
희소한 보상 문제를 해결하기 위해 에이전트의 경험에서 스스로 기술(Skill)을 추출하고 이를 정책 학습에 반영하는 자기 진화형 RL 프레임워크
주요 내용
- Hindsight Skill: 완료된 궤적에서 재사용 가능한 워크플로우를 자연어로 추출하여 학습 데이터로 활용
- Self-Evolving Loop: 정책 모델이 데이터 수집과 기술 분석을 동시에 수행하여 학습이 진행됨에 따라 분석 능력도 함께 진화
- Dense Distillation Signal: 희소한 결과 보상을 토큰 수준의 밀집한 증류 신호로 변환하여 학습 효율 극대화
실무에서 볼 만한 점
보상이 드물게 주어지는 복잡한 에이전트 환경에서, 모델이 자신의 경험을 스스로 구조화하여 학습하는 효율적인 방법론을 제시합니다.
참고할 행동
- 자연어 기반의 Skill 추출 프롬프트가 모델의 성능에 미치는 영향 분석
- 기존 Outcome-based RL과 SEED의 보상 비중(Weight) 조절 실험
- 에이전트의 작업 복잡도 증가에 따른 Skill 추출의 유효성 검증