Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

Paper ID: 2606.20381 • 1 Upvotes

LLM Pretraining Quantization FP4 Numerical Stability Optimization

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

📝 핵심 요약

FP4 정밀도 학습 시 발생하는 수치적 편향(Shrinkage Bias)의 원인을 규명하고, 이를 해결하기 위한 균일 그리드 기반의 UFP4 학습 레시피를 제안함

📖 상세 내용

LLM 사전 학습 시 메모리 및 연산 비용 절감을 위해 FP4 형식을 활용하려는 시도가 늘고 있으나, 현재의 E2M1 중심 방식은 수치적 불안정성을 야기합니다. 연구진은 E2M1과 같은 비균일 포맷이 기하학적 비대칭성으로 인해 발생하는 'Shrinkage Bias(수축 편향)'가 층을 거치며 누적된다는 점을 발견했습니다. 이러한 편향은 RHT(Random Hadamard Transform)와 결합할 때 더욱 증폭되어 학습 불안정성을 초래합니다. 이를 해결하기 위해 균일한 그리드를 사용하는 E1M2/INT4 방식이 더 효과적임을 입증하고, RHT를 활용하면서도 편향을 최소화하는 UFP4 레시피를 제안합니다. 실험 결과, UFP4는 대규모 MoE 모델을 포함한 다양한 규모의 사전 학습에서 기존 E2M1 방식보다 낮은 손실(loss)을 기록하며 우수한 성능을 보였습니다.

🔑 주요 내용 (Key Points)

E2M1 포맷의 기하학적 비대칭성으로 인한 'Shrinkage Bias' 현상 규명
비균일 포맷이 RHT와 결합할 때 발생하는 수치적 불안정성 원인 분석
균일 그리드(E1M2/INT4) 기반의 UFP4 학습 레시피 제안 및 성능 검증

💡 실무적 가치 (Relevance)

차세대 저정밀도(4-bit) 하드웨어 가속기를 활용한 LLM 학습 시, 단순한 포맷 적용을 넘어 수치적 안정성을 확보하기 위한 최적의 데이터 포맷과 학습 전략을 제시합니다.

✅ 추천 액션 (Actionable Items)

현재 사용 중인 FP4 기반 학습 워크로드에 RHT 적용 시 발생하는 수치적 변화 관찰
E2M1과 E1M2/INT4 포맷 간의 학습 안정성 및 수렴 속도 비교 실험
모델 규모별(Dense vs MoE) 저정밀도 학습 시의 Loss 변화 추이 분석

View on Hugging Face View PDF (arXiv)