_Free_img.jpg)
Decoding Looped Transformers Better for (Almost) Free
Looped Transformer의 중간 연산 과정을 활용하여 추가 학습 없이 추론 성능을 높이고 연산 비용을 절감하는 대조적 디코딩 기법
논문이 다루는 내용
Looped Transformer는 동일한 블록을 반복 실행하여 파라미터 효율성을 높이지만, 기존 방식은 이전 루프의 중간 상태를 버리고 최종 결과만 사용합니다. 이 과정에서 발생하는 루프 간의 예측 차이는 별도의 학습 없이도 유용한 가이드 신호가 될 수 있습니다. 본 논문은 최종 예측과 이전 루프의 예측을 대조하는 학습 불필요 프레임워크인 LoopCD를 제안합니다. LoopCD는 로짓 공간(Logits) 또는 은닉 상태(Hidden-state) 공간에서 동작하며, 연산 오버헤드를 최소화하면서 성능을 개선합니다. 실험 결과, LoopCD는 성능 향상과 동시에 루프 횟수를 줄여 추론 FLOPs를 대폭 절감하는 효과를 입증했습니다.
핵심 결과
-
학습 없이 중간 루프 상태를 활용하는 대조적 디코딩(LoopCD) 프레임워크 제안
-
Logits 방식과 Hidden-state 방식 두 가지 모드를 통해 연산 효율성 확보
-
루프 횟수를 줄이면서도 기존 전체 루프 모델과 대등하거나 더 높은 성능 달성
실무에서 볼 만한 점
모델 재학습 없이 기존 Looped Transformer 구조의 추론 성능을 즉각적으로 개선하고, 연산 비용(FLOPs)을 최적화할 수 있는 실용적인 기법입니다.
읽을 때 확인할 점
-
기존 Recurrent/Looped 모델에 LoopCD-Hidden 로직을 적용하여 추론 속도 변화 측정
-
루프 횟수를 절반으로 줄였을 때의 성능 유지 여부 검증
-
Logits 방식과 Hidden-state 방식 간의 성능-비용 트레이드오프 비교