Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent

Paper ID: 2606.30616 • 65 Upvotes

Agent MoE Knowledge Distillation Long-horizon RAG Benchmark Distillation Safety

Scaling the Horizon, Not the Parameters: Reaching Trillion-Parameter Performance with a 35B Agent

📝 핵심 요약

35B 규모의 MoE 모델로 1T급 성능을 구현하는 '에이전트 호라이즌(Agent Horizon)' 확장 전략 제시

📖 상세 내용

거대 모델의 파라미터 수를 늘리는 대신 에이전트의 작업 범위를 확장하여 성능을 높이는 연구를 진행했습니다. 기존의 파라미터 스케일링 방식에서 벗어나, 긴 작업 경로(long-horizon)와 이질적인 도메인 능력을 결합하는 데 집중했습니다. 이를 위해 외부 지식, 행동, 관찰, 검증 결과가 통합된 45K 토큰 규모의 장기 궤적 인프라를 구축했습니다. 학습은 전 도메인 SFT, 도메인별 교사 모델 학습, 그리고 다중 교사 기반의 도메인 라우팅 온-폴리시 증류(Distillation)의 3단계로 진행되었습니다. 그 결과, 35B 모델인 Agents-A1이 Kimi-K2.6이나 DeepSeek-V4-pro와 같은 1T급 모델에 필적하는 벤치마크 성능을 달성했습니다.

🔑 주요 내용 (Key Points)

파라미터 확장 대신 작업 경로(Horizon)를 확장하여 효율적인 성능 확보
45K 토큰에 달하는 장기 지식-행동 궤적(Long-horizon trajectory) 인프라 구축
다중 교사 도메인 라우팅 및 어휘 정렬을 통한 고효율 지식 증류 기법 적용

💡 실무적 가치 (Relevance)

모델 크기를 무작정 키우지 않고도 데이터의 질과 작업 경로의 길이를 최적화함으로써 고성능 에이전트를 구축할 수 있는 실질적인 방법론을 제공합니다.

✅ 추천 액션 (Actionable Items)

장기 작업 수행을 위한 데이터 파이프라인(Knowledge-Action-Observation) 설계 실험
특화된 도메인 교사 모델을 활용한 지식 증류(Distillation) 워크플로우 테스트
모델 크기 대비 작업 복잡도(Horizon) 간의 성능 상관관계 분석

View on Hugging Face View PDF (arXiv)