논문Hugging Face
Video Generation Models are General-Purpose Vision Learners
논문 ID: 2607.0902437 추천
#Video-Generation#Foundation-Model#Computer-Vision#Self-Supervised-Learning#RAG#Vision#Video#Safety
핵심 요약
대규모 비디오 생성 모델을 사전 학습 도구로 활용하여 범용 시각 지능을 달성하는 GenCeption 프레임워크 제안
상세 내용
NLP 분야가 차세대 토큰 예측을 통해 범용 모델로 진화했듯, 컴퓨터 비전에서도 이를 가능케 할 촉매제가 필요합니다. 본 논문은 대규모 텍inal-to-video 생성이 시공간적 사전 지식과 시각-언어 정렬을 제공하는 강력한 사전 학습 패러다임임을 주장합니다. 이를 위해 사전 학습된 비디오 생성 확산 모델을 피드포워드 인지 모델로 변환하는 GenCeption을 소개합니다. 실험 결과, GenCeption은 깊이 추정, 세그멘테이션, 3D 키포인트 예측 등 다양한 작업에서 기존 전문 모델들을 능가하거나 대등한 성능을 보였습니다. 또한, 적은 데이터로도 높은 효율성을 보이며 합성 데이터로 학습해도 실세계 데이터로 일반화되는 놀라운 성능을 입증했습니다.
주요 내용
- 비디오 생성 모델을 범용 시각 인지 모델로 전환하는 GenCeption 프레임워크 제안
- 기존의 V-JEPA나 Video MAE보다 우수한 시공간적 사전 학습 효과 입증
- 매우 적은 양의 데이터로도 전문 모델 수준의 성능을 내는 높은 데이터 효율성 및 일반화 능력
실무에서 볼 만한 점
특정 작업용 모델을 따로 만드는 대신, 강력한 비디오 생성 모델을 기반으로 다양한 시각 태스크를 수행할 수 있는 새로운 학습 경로를 제시합니다.
참고할 행동
- 제공된 프로젝트 페이지의 데모를 통해 다양한 시각 태스크(Depth, Segmentation 등) 성능 검증
- 합성 데이터 기반 학습이 실세계 데이터로 얼마나 잘 일반화되는지 벤치마크 테스트
- 기존의 특정 작업용 모델(SAM, DepthAnything 등)과 GenCeption의 추론 속도 및 효율성 비교