논문Hugging Face
Self-Supervised Visual On-Policy Distillation
논문 ID: 2608.14144143 추천
#Self-Supervised#Knowledge Distillation#Data Augmentation#Vision-Language#Vision#Benchmark#Distillation
핵심 요약
정답 데이터 없이도 데이터 증강(Augmentation)의 비대칭성을 이용해 강력한 교사 모델 효과를 내는 자기주도 학습법
상세 내용
기존의 시각적 온폴리시 증류(On-policy distillation)는 정답이나 강력한 교사 모델 같은 특권 정보(Privileged information)에 의존해 성능을 높였습니다. 하지만 정답 데이터가 없는 상황에서 어떻게 정보의 비대칭성을 확보할 것인가라는 근본적인 문제가 존재합니다. 본 논문은 교사에게 정보를 더하는 대신 학생으로부터 정보를 빼는 역발상적 접근법을 제안합니다. 이를 통해 제안된 S^2VODP는 원본 이미지 기반의 교사 분포를 강한 증강이 적용된 학생 분포로 증류하는 방식입니다. 실험 결과, 별도의 정답 없이도 기존의 특권 정보 기반 방식의 96% 성능을 회복하며 최첨단 모델들을 상회하는 성능을 보였습니다.
주요 내용
- 특권 정보(정답, 강력한 교사) 없이 데이터 증강의 비대칭성만으로 학습 신호 생성
- S^2VOPD: 원본 이미지(Teacher)와 강한 증강 이미지(Student) 간의 분포 차이를 이용한 자기주도 학습
- 증강의 강도와 태스크 일관성(Task-consistency)이 성능의 핵심 요소임을 규명
실무에서 볼 만한 점
라벨링된 정답 데이터가 부족한 상황에서, 기존 모델의 성능을 데이터 추가 없이 증강 기법만으로 끌어올릴 수 있는 효율적인 방법론을 제시합니다.
참고할 행동
- 현재 사용 중인 Vision 모델에 다양한 강도의 Augmentation을 적용하여 성능 변화 관찰
- Task-relevant한 정보가 유지되는 범위 내에서 증강 강도 최적화 실험
- Symmetric(대칭적) 증강이 아닌 Asymmetric(비대칭적) 증강 구조로 파이프라인 설계