OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning

결과 기반 강화학습(Outcome-based RL)은 안정적이지만 희소한 보상 문제로 인해 중간 단계의 의사결정 가이드를 제공하기 어렵습니다. 기존의 스킬 기반 방식은 외부 메모리나 검색된 컨텍스트에 의존하여 현재 정책의 상태 분포와 불일치할 위험이 있습니다. 이를 해결하기 위해 OPID는 완료된 온폴리시 궤적에서 직접 스킬을 추출하는 프레임워크를 제안합니다. 에피소드 수준과 스텝 수준의 계층적 스킬을 정의하고, 'Critical-first routing'을 통해 중요한 시점에 적절한 스킬을 주입합니다. 이를 통해 정책이 동일한 응답을 스킬이 포함된 컨텍스트에서 재평가하게 하여 밀도 높은 토큰 단위의 자기 증류 이득을 생성합니다. 실험 결과, ALFWorld 및 WebShop 등에서 성능과 샘플 효율성 모두에서 우수한 성과를 보였습니다.