On the Generalization Limitation of On-Policy Distillation for Post-RL Consolidation
On-Policy Distillation(OPD)이 학습 데이터 범위(IND) 내 성능은 높지만, 모델의 일반화(OOD) 및 복합 능력 전이에는 한계가 있음을 규명하고 이를 해결하는 기법을 제안함
논문이 다루는 내용
최근 RL 이후 모델 통합을 위해 Multi-teacher On-Policy Distillation(MOPD)이 사용되지만, 이는 분포 외(OOD) 일반화 능력을 충분히 전이하지 못하는 문제를 안고 있습니다. 연구진은 수학적 추론, 코딩, 에이전트 등 다양한 태스크에서 MOPD가 학습 데이터 내 성능은 높게 유지하지만, 외삽(Extrapolation) 및 조합(Compositional) 일반화 성능은 교사 모델에 비해 크게 떨어진다는 점을 발견했습니다. 이러한 격차의 원인이 교사 모델의 역량과 데이터 커버리지 부족에 있음을 확인했습니다. 이를 해결하기 위해 기하학적 패칭(Geometry-based patching)과 베이스 보존 리플레이(Base-preserving replay) 기법을 제안합니다. 결과적으로 제안된 방법은 IND 성능을 유지하면서도 OOD 성능을 효과적으로 개선했습니다.
핵심 결과
-
MOPD가 학습 데이터 내(IND) 성능은 우수하나, 분포 외(OOD) 일반화 및 복합 능력 전이에는 취약함을 입증
-
OOD 성능 저하의 원인을 교사 모델의 역량 및 데이터 커버리지 병목 현상으로 분석
-
기하학적 패칭 및 베이스 보존 리플레이를 통해 IND 성능을 유지하며 OOD 성능을 개선하는 방법론 제시
실무에서 볼 만한 점
LLM을 특정 태스크에 맞춰 미세 조정(Fine-tuning)하거나 증류(Distillation)할 때, 학습 데이터에만 과적합되어 모델의 범용적인 추론 능력이 상실되는 위험을 방지하는 데 중요합니다.
읽을 때 확인할 점
-
모델 증류 시 IND 성능뿐만 아니라 OOD/외삽 성능을 평가 지표에 포함하여 검증하기
-
제안된 'Base-preserving replay' 기법을 기존 RL/Distillation 파이프라인에 적용해 보기
-
교사 모델의 데이터 커버리지가 타겟 태스크의 일반화 범위를 충분히 커버하는지 분석하기