논문Hugging Face
Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers
논문 ID: 2607.1913965 추천
#Diffusion Transformer#Interpretability#Model Pruning#Generative AI#Vision#Evaluation
핵심 요약
DiT의 텍스트 템플릿 토큰이 객체 정체성을 유지하는 '암묵적 시맨틱 레지스터' 역할을 함을 발견하고, 이를 활용한 효율적인 프루닝 기법을 제안함
상세 내용
최근 텍스-이미지 확산 트랜스포머(DiT)는 텍스트와 이미지 토큰을 함께 처리하지만, 내부 연산 메커니즘에 대한 이해는 부족한 상태입니다. 본 논문은 어텐션 분해와 타겟 개입을 결합한 인과적 해석 가능성 프레임워크를 도입하여 DiT의 내부 동작을 분석합니다. 분석 결과, 프롬프트 구조를 담당하는 템플릿 토큰이 이미지-텍스트 어텐션의 싱크(sink) 역할을 하며 객체 정체성을 유지하는 핵심 레지스터로 작용함을 발견했습니다. 이러한 발견을 바탕으로 프롬프트 토큰에 강하게 의존하는 헤드를 제거하는 학습 불필요(training-free) 프루닝 규칙을 설계했습니다. 결과적으로 성능 저하를 최소화하면서 연산량을 20% 절감하는 성과를 거두었습니다.
주요 내용
- 텍스트 템플릿 토큰이 객체 정체성을 유지하는 '암묵적 시맨틱 레지스터' 역할을 수행함을 규명
- 프롬프트 정보가 템플릿 토큰으로 직접 전달되는 것이 아니라, 이미지 잠재 변수를 거쳐 간접적으로 주입됨을 확인
- 프롬프트 토큰에 과도하게 집중하는 헤드를 제거하여 성능 저하 없이 연산량을 줄이는 프루닝 기법 제안
실무에서 볼 만한 점
모델의 내부 메커니즘을 이해함으로써 불필요한 연산을 줄이는 효율적인 모델 경량화 및 최적화 전략을 수립할 수 있습니다.
참고할 행동
- 제안된 프루닝 규칙을 기존 DiT 모델(예: Stable Diffusion 3 등)에 적용하여 성능/속도 트레이드오프 테스트
- 특정 레이어/헤드에서 템플릿 토큰의 어텐션 맵 시각화 및 정체성 유지 기능 검증
- 이미지 잠재 변수와 템플릿 토큰 간의 정보 순환 구조를 활용한 새로운 생성 제어 기법 구상