The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

Paper ID: 2606.29526 • 121 Upvotes

LLM Reinforcement Learning Optimization Inference-Training Mismatch RAG Reasoning Inference Safety

The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

📝 핵심 요약

학습과 추론 엔진 간의 확률 불일치 문제를 해결하여 LLM RL의 안정성과 성능을 높이는 새로운 최적화 프레임워크 제안

📖 상세 내용

LLM의 RL 학습 과정에서 학습 엔진과 추론 엔진의 차이로 인해 발생하는 '학습-추역 불일치(training-inference mismatch)' 문제가 모델의 불안정성을 초래합니다. 기존 연구들은 오프-폴리시(off-policyness) 문제를 해결하려 했으나, 학습 시의 업데이트가 실제 배포 시의 추론 성능 향상을 보장하지 못하는 목적 함수 불일치 문제를 간과했습니다. 본 논문은 학습 엔진의 업데이트가 추론 성능 향으로 직결되도록 하는 Monotonic Inference Policy Improvement(MIPI) 목적 함수를 제안합니다. 이를 구현하기 위해 샘플러 참조 후보 업데이트와 추론 측 격차 프록시를 활용하는 두 단계 프레임워크인 MIPU를 도입했습니다. 실험 결과, 높은 불일치 환경에서도 추론 성능과 학습 안정성이 모두 개선됨을 확인했습니다.

🔑 주요 내용 (Key Points)

학습 엔진와 추론 엔진 간의 확률 불일치로 인한 목적 함수 불일치 문제 규명
추론 성능 향을 보장하는 새로운 목적 함수인 MIPI(Monotonic Inference Policy Improvement) 제안
샘플러 참조 및 격차 프록시를 활용한 두 단계 프레임워크 MIPU 개발

💡 실무적 가치 (Relevance)

실제 서비스 배포 환경(Inference)과 학습 환경(Training)의 엔진 차이로 인해 발생하는 성능 저하 및 학습 붕괴 문제를 해결할 수 있는 실무적인 가이드를 제공합니다.

✅ 추천 액션 (Actionable Items)

현재 사용 중인 RL 학습 프레임워크와 실제 추론 엔진 간의 확률 차이(Mismatch) 측정
MIPU 프레임워크를 기존 RL 파이프라인에 이식하여 학습 안정성 변화 관찰
추론 엔진의 정밀도/속도 설정 변화에 따른 성능 변화 실험

View on Hugging Face View PDF (arXiv)