MoE Large Language Model Sparse Model

Arcee Trinity Large Technical Report

Paper ID: 2602.17004 • 9 Upvotes

📝 핵심 요약

Arcee에서 개발한 MoE 모델 Trinity 시리즈(Large, Mini, Nano)를 공개했으며, 특히 Large 모델은 새로운 로드 밸런싱 전략 SMEBU를 통해 안정적인 학습을 보였다. 개발자들은 Hugging Face에서 모델을 다운로드하여 사용할 수 있다.

📖 상세 내용

최근 대규모 언어 모델의 효율성을 높이기 위해 Mixture-of-Experts (MoE) 모델이 주목받고 있다. Arcee는 400B 파라미터의 Trinity Large를 포함한 Trinity 시리즈를 개발하여 공개했다. 이 모델들은 interleaved local/global attention, gated attention 등의 현대적인 구조를 채택했으며, Trinity Large는 SMEBU라는 새로운 MoE 로드 밸런싱 전략을 사용한다. Muon 옵티마이저를 사용하여 학습했으며, Trinity Large는 17조 토큰으로 학습되었다. 해당 모델들은 Hugging Face에서 사용할 수 있다.

🔑 주요 내용 (Key Points)

400B 파라미터의 MoE 모델 Trinity Large 공개 (token 당 13B 활성화)
새로운 MoE 로드 밸런싱 전략 Soft-clamped Momentum Expert Bias Updates (SMEBU) 제안
Hugging Face를 통해 모델 체크포인트 제공

💡 실무적 가치 (Relevance)

MoE 모델을 활용하여 모델 크기를 키우면서도 효율적인 추론이 가능하다. 특히 SMEBU는 MoE 모델 학습의 안정성을 높이는 데 기여할 수 있으며, 개발자들은 해당 모델을 기반으로 다양한 실험 및 fine-tuning을 진행할 수 있다.

✅ 추천 액션 (Actionable Items)

Hugging Face에서 Trinity Large 모델 다운로드 후 성능 테스트
SMEBU 로드 밸런싱 전략을 기존 MoE 모델에 적용하여 성능 개선 시도
Trinity 시리즈 모델을 기반으로 특정 task에 fine-tuning 진행

View on Hugging Face View PDF (arXiv)