논문Hugging Face
VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding
논문 ID: 2607.14935106 추천
#Video-Understanding#Efficiency#Open-Source#Multimodal#Vision#Video#Benchmark#Inference
핵심 요약
효율적인 spatiotemporal 표현과 대규모 합성 데이터셋을 결합하여 범용성과 효율성을 동시에 잡은 4B 규모의 오픈소스 비디오 MLLM
상세 내용
최근 비디오 이해 기술은 발전하고 있으나, 기존 오픈소스 모델들은 특정 도메인에 국한된 일반화 능력 부족, 높은 연산 비용, 그리고 데이터 및 코드의 불완전한 공개라는 문제를 안고 있습니다. 이를 해결하기 위해 본 논문은 완전 공개형이며 효율적인 범용 비디오 MLLM인 VideoChat3를 제안합니다. 효율성을 위해 Inflated 3D ViT와 적응형 프레임 해상도 기술을 도입하여 시공간 표현 효율을 높이고 연산 비용을 절감했습니다. 또한, 일반/장편/스트리밍 시나리오를 아우르는 세 가지 고품질 합성 데이터셋을 구축하여 모델의 범용성을 확보했습니다. 실험 결과, VideoChat3는 4B라는 상대적으로 적은 파라미터로도 기존의 더 큰 모델들을 능가하는 성능과 높은 효율성을 입증했습니다.
주요 내용
- I3D-ViT 및 적응형 프레임 해상도를 통한 효율적인 시공상 표현 및 연산 비용 절감
- 일반, 장편, 스트리밍 시나리오를 커버하는 3종의 대규모 합성 데이터셋 구축
- 4B 파라미터 규모에서 달성한 높은 범용성과 효율성의 균형
실무에서 볼 만한 점
적은 연산 자원으로도 고성능 비디오 이해가 가능하므로, 실시간 스트리밍 서비스나 모바일 환경의 비디오 분석 애플리케이션 개발에 유용합니다.
참고할 행동
- 제공된 3종의 합성 데이터셋을 활용한 도메인 특화 미세 조정(Fine-tuning) 실험
- I3D-ViT 구조를 활용한 다양한 해상도/프레임 레이트 환경에서의 추론 속도 벤치마크
- 기존 대형 비디오 모델과의 성능 대비 추론 비용(Latency/Throughput) 비교