Scaling Properties of Text Conditioning in Visual Generation

텍스트 프롬프트 내 구조적 정보량에 따른 확산 모델의 스케일링 법칙을 발견하고, 이를 활용해 생성 성능을 극대화하는 방법론 제시

기존의 텍스트 조건부 시각 생성 모델에서는 확산 손실(diffusion loss)이 프롬프트 토큰 수와 비례하지 않아 스케일링 법칙을 측정하기 어려웠습니다. 본 연구는 프롬프트 내 '구조적 언어(structured language)'가 확산 손실과 밀접한 관계가 있음을 발견했습니다. 이를 정량화하기 위해 화이트박스 방식(GPG)과 블랙박스 방식(ED)의 지표를 도입하여 스케일링 법칙을 입증했습니다. 이러한 법칙을 바탕으로 이미지의 의미적/기하학적 주석을 포함한 구조적 프롬프트를 구성하여 생성 능력을 개선했습니다. 또한, 정교한 프롬프터 학습을 통해 오픈 웨이트 모델임에도 불구하고 최상위 폐쇄형 모델에 필적하는 성능을 달성했습니다.

단순히 긴 프롬프트가 아니라, 모델이 이해하기 쉬운 '구조적 정보'를 포함하는 것이 생성 품질의 핵심임을 시사합니다.