OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers

최신 이미지 및 비디오 생성 모델인 Diffusion Transformers(DiT)는 높은 연산 비용이 발생하지만, 기존 PTQ 방식은 타임스텝이나 프롬프트에 따라 변하는 활성화 값 때문에 매번 새로운 데이터로 보정해야 하는 문제가 있었습니다. 이를 해결하기 위해 OrbitQuant는 데이터 범위 추정 없이 정규화된 회전 기저(rotated basis)에서 양자화를 수행하는 방식을 제안합니다. RPBH(Randomized Permuted Block-Hadamard) 회전을 통해 모든 입력 조건에서도 일정한 분포를 갖도록 좌표를 집중시켰으며, 이를 통해 단일 코드북만으로 다양한 레이어와 모달리티를 처리합니다. 가중치 행렬에 회전 연산을 오프라인으로 흡수시켜 런타임 연산 효율을 높였으며, 이미지와 비디오 모델 모두에 튜닝 없이 적용 가능합니다. 결과적으로 FLUX.1, Wan 2.1 등 최신 모델에서 SOTA 성능을 달성하고 W2A4 수준의 극한 양자화에서도 우수한 품질을 유지했습니다.