Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

Paper ID: 2606.16429 • 2 Upvotes

Model Distillation Linear Attention Transformer Efficient Inference Inference Distillation Safety

Taylor-Calibrate: Principled Initialization for Hybrid Linear Attention Distillation

📝 핵심 요약

사전 학습된 Transformer를 효율적인 Hybrid Linear Attention 모델로 변환할 때 발생하는 초기화 문제를 해결하는 Taylor 급수 기반의 정밀 초기화 기법

📖 상세 내용

최근 긴 문맥 처리를 위해 Transformer를 Hybrid Linear Attention 모델로 변환하려는 시도가 늘고 있으나, 단순 가중치 복사 방식은 모델의 동역학(dynamics) 불일치로 인해 성능 저하를 야기합니다. 기존 방식은 모델이 학습 초기 단계에서 초기화 문제를 해결하는 데 너무 많은 토큰을 소모하는 비효율성이 존재합니다. 본 논문은 Taylor 급수를 활용해 교사(Teacher) 모델의 어텐션 통계량을 분석하고, 이를 기반으로 학생(Student) 모델의 가중치와 게이트를 설정하는 Taylor-Calibrate 기법을 제안합니다. 이 방법은 각 레이어를 교사 모델의 출력에 맞추는 짧은 정렬 단계를 포함합니다. 실험 결과, 제안 기법은 제로샷 성능을 대폭 향상시켰으며 기존 방식 대비 훨씬 적은 학습 토큰만으로도 목표 성능에 도달할 수 있음을 입증했습니다.

🔑 주요 내용 (Key Points)

Taylor 급수 기반의 정밀한 초기화로 학생 모델의 동역학(decay, write, output-gate) 최적화
교사 모델의 어텐션 통계량을 활용한 가중치 및 게이트 설정 알고리즘 개발
학습 토큰 소모량을 획기적으로 줄이면서도 높은 제로샷 및 복구 성능 달성

💡 실무적 가치 (Relevance)

기존 거대 모델(Transformer)을 효율적인 추론용 모델(Linear Attention)로 전환할 때, 학습 비용을 줄이고 성능 손실을 최소화하는 실질적인 가이드를 제공합니다.

✅ 추천 액션 (Actionable Items)

기존 Transformer 모델을 Gated DeltaNet 구조로 변환 시 단순 복사 방식과 Taylor-Calibrate 방식의 성능 비교 실험
다양한 레이어 유지 정책(retained-layer policies)에 따른 초기화 안정성 테스트
학습 토큰 수 변화에 따른 수렴 속도 및 최종 성능 상관관계 분석

View on Hugging Face View PDF (arXiv)