Selective Synergistic Learning for Video Object-Centric Learning

Paper ID: 2606.15527 • 2 Upvotes

Video Understanding Object-Centric Learning Self-Supervised Learning Efficiency RAG Video Distillation Safety

Selective Synergistic Learning for Video Object-Centric Learning

📝 핵심 요약

불필요한 정보 정렬을 배제하고 인코더와 디코더의 강점만 선택적으로 결합하여 비디오 객체 분할 성능과 효율성을 높인 학습 프레임워크

📖 상세 내용

기존의 비디오 객체 중심 학습(VOCL)은 인코더의 어텐션 맵과 디코더의 객체 맵 사이의 정렬을 시도하지만, 모든 패치를 일괄적으로 정렬하는 방식은 노이즈 전파와 연산량 급증 문제를 야기합니다. 이를 해결하기 위해 제안된 SSync는 모든 패치를 비교하는 대신, 인코더는 경계 정밀화에, 디코더는 내부 노이즈 제거에만 집중하도록 선택적 증류(Selective Distillation)를 수행합니다. 또한, 중복된 슬롯 문제를 해결하기 위해 시공간적 활성화 일관성을 기반으로 한 전이적 의사 라벨 병합(Transitive Pseudo-label Merging) 기법을 도입했습니다. 결과적으로 SSync는 선형 복잡도로 연산 효율을 확보하면서도 객체 분해 품질을 크게 향상시켰습니다.

🔑 주요 내용 (Key Points)

선택적 증류(Selective Distillation): 인코더(경계)와 디코더(내부)의 강점만을 활용하여 오류 전파 방지
선형 복잡도 구현: 모든 패치 간 비교가 아닌 의사 라벨링을 통해 연산 비용을 획기적으로 절감
전이적 의사 라벨 병합: 중복된 슬롯을 통합하여 객체 분해의 정확도와 견고함 확보

💡 실무적 가치 (Relevance)

기존의 연산 집약적인 밀집 정렬 방식에서 벗어나 효율적인 객체 분할이 가능하므로, 실시간성이 중요한 비디오 분석 파이프라인에 플러그인 형태로 적용하기 적합합니다.

✅ 추천 액션 (Actionable Items)

기존 Slot-based 모델에 SSync의 의사 라벨링 로직을 적용하여 성능 변화 관찰
다양한 해상도 및 프레임 수 환경에서 연산량(Complexity) 변화 테스트
중복 슬롯 제거를 위한 병합 알고리즘의 임계값(Threshold) 최적화 실험

View on Hugging Face View PDF (arXiv)