논문Hugging Face
Weak-to-Strong Generalization via Direct On-Policy Distillation
논문 ID: 2607.0539491 추천
#Reinforcement Learning#Knowledge Distillation#Model Scaling#Reasoning#RAG#Vision#Distillation
핵심 요약
작은 모델의 RL 학습 결과(Policy Shift)를 큰 모델로 전이하여 효율적으로 성능을 끌어올리는 Direct-OPD 기법 제안
상세 내용
최근 RLVR(Reinforcement Learning with Verifiable Rewards)은 추론 능력을 높이는 데 효과적이지만, 모델 규모가 커질수록 생성 비용이 급증하는 문제가 있습니다. 단순히 작은 모델의 최종 정책을 복제하는 방식은 모델 자체의 한계까지 전이되는 문제가 발생합니다. 이를 해결하기 위해 저자들은 RL로 인해 발생한 정책 변화량(log-ratio)만을 추출하여 학생 모델에 전달하는 Direct-OPd 방식을 제안합니다. 이 방식은 RL로 얻은 '학습 신호'만을 정교하게 분리하여 더 큰 모델의 온폴리시(on-policy) 상태에 적용합니다. 실험 결과, 이 방법은 적은 비용으로도 작은 모델의 RL 성과를 큰 모델로 성공적으로 전이하며 기존 방식보다 우수한 성능을 보였습니다.
주요 내용
- Direct-OPD: RL 전후의 로그 비율(log-ratio)을 밀집 보상(dense reward)으로 활용하는 새로운 증류 방식
- Weak-to-Strong Generalization: 작은 모델의 RL 성과를 큰 모델의 성능 향상으로 효율적으로 전이
- 비용 효율성: 타겟 모델에서 직접 RL을 수행하는 대신, 이미 학습된 교사 모델의 정책 변화량만 활용
실무에서 볼 만한 점
모델 규모가 커짐에 따라 발생하는 RL 학습 비용 문제를 해결할 수 있는 실질적인 워크플로우를 제시합니다.
참고할 행동
- 작은 모델의 RL 전후 체크포인트를 활용한 log-ratio 추출 실험
- 다양한 규모의 모델 쌍(Teacher-Student)에 대한 전이 성능 벤치마크
- 기존의 단순 정책 증류(Policy Distillation) 방식과의 성능 비교