논문Hugging Face
Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning
논문 ID: 2607.1239578 추천
#Reinforcement Learning#LLM Scaling#Reasoning#CoT#Benchmark#Evaluation#Inference
핵심 요약
1조 파라미터 규모의 Zero RL 스케일링을 통해 인간의 개입 없이도 정교한 추론 능력을 이끌어내는 방법론 제시
상세 내용
인간의 데이터 없이 검증 가능한 보상만으로 추론 능력을 학습하는 Zero RL은 강력한 패러다임이지만, 기존 연구는 연산 제약으로 인해 소형 모델에 국한되어 있었습니다. 대규모 모델로 확장 시 발생하는 가독성 저하, 토큰 중복, 적응적 추론 깊이 부족 문제를 해결하기 위해 안정적이고 효율적인 학습 파이프라인을 제안합니다. Clipped importance sampling, training-inference ratio correction, mixed-precision control 등의 최적화를 통해 1T 규모의 스케일링을 구현했습니다. 실험 결과, 1T 파라미터 스케일링은 샘플 효율성과 성능 한계를 크게 높였으며, 모델이 자발적으로 자기 검증 및 구조화된 형식을 갖추는 창발적 행동을 보였습니다. 최종적으로 제안된 모델은 수학적 벤치마크에서 경쟁력 있는 성능을 보이며 효율적인 추론 경로를 생성함을 입증했습니다.
주요 내용
- 1T 파라미터 규모로의 성공적인 Zero RL 스케일링 및 안정적 학습 파이프라인 구축
- 학습 과정이 '탐색(Discovery)' 단계에서 '정교화(Sharpening)' 단계로 순차적 진행됨을 발견
- 인간의 개입 없이도 자기 검증, 병렬 추론 등 고도화된 인지적 행동이 창발됨을 확인
실무에서 볼 만한 점
대규모 모델에서 인간의 데이터 없이 보상 함수만으로 고도화된 추론(CoT)을 유도하는 스케일링 법칙을 실증함
참고할 행동
- 소규모 모델에서 제안된 Clipped importance sampling 및 Ratio correction 기법 적용 실험
- 학습 단계별(Discovery vs Sharpening) 모델의 추론 로그 변화 모니터링
- 최종 정답뿐만 아니라 가독성/재현성/효율성을 포함한 다차원 CoT 평가 프레임워크 도입