OmniOpt: Taxonomy, Geometry, and Benchmarking of Modern Optimizers

대규모 모델 학습 시 옵티마이저 선택은 컴퓨팅, 메모리, 튜닝 예산 등 다양한 제약 조건에 영향을 받는 중요한 설계 결정이지만, 기존 방법론들은 파편화되어 있습니다. 본 논문은 연구 커뮤니티를 위해 통합된 서베이 및 큐북인 OmniOpt를 제안합니다. 연구진은 모든 옵티마이저 업데이트를 5단계 메타 파이프라인으로 구조화하고, LMO(Norm-constrained Linear Minimization Oracles)를 통해 서로 다른 알고리즘들을 통합했습니다. 이를 바탕으로 메커니즘과 학습 목적을 축으로 하는 이중 차원 분류 체계를 구축했습니다. 마지막으로 다양한 모델 규모와 학습 환경(언어 모델, 이미지 분류 등)을 아우르는 벤치마크를 통해 각 방법론의 트레이드오프를 체계적으로 분석했습니다.