Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

Paper ID: 2601.16211 • 41 Upvotes

Action Recognition Zero-Shot Learning Computer Vision Deep Learning Vision

Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

📝 핵심 요약

객체 정보에 의존하는 지름길 학습(Shortcut Learning)을 방지하여 새로운 동사-객체 조합의 행동 인식을 개선하는 기술

📖 상세 내용

Zero-Shot Compositional Action Recognition(ZS-CAR)은 학습되지 않은 새로운 동사-객체 조합을 인식하는 것이 목표입니다. 기존 모델들은 시간적 증거 대신 특정 객체 클래스에 의존하여 동사를 예측하는 '객체 주도 지름길(Object-driven shortcuts)' 문제를 겪습니다. 이는 희소한 구성적 감독과 학습 비대칭성으로 인해 발생하며, 결과적으로 미학습 조합에 대한 일반화 성능을 저하시킵니다. 이를 해결하기 위해 제안된 RCORE 프레임워크는 공존 우선순위 정규화(CPR)와 구성적 시간 순서 정규화(TORC)를 사용합니다. CPR은 빈번한 공존 패턴을 하드 네거티브로 처리하여 지름길 학습을 억제하고, TORC는 시간적 순서 민감도를 높여 동사 표현을 학습합니다. 실험 결과, RCORE는 지름길 현상을 줄이고 새로운 조합에 대한 일반화 성능을 향상시켰습니다.

🔑 주요 내용 (Key Points)

객체 정보에만 의존하여 동사를 예측하는 지름길 학습(Shortcut Learning) 문제 규명
Co-occurrence Prior Regularization(CPR)을 통한 빈번한 객체-동사 결합 의존성 억제
Temporal Order Regularization for Composition(TORC)을 통한 시간적 맥락 기반 동사 표현 학습

💡 실무적 가치 (Relevance)

로봇 제어나 비디오 분석 시, 특정 물체만 보고 동작을 오판하는 문제를 해결하여 더 정교한 행동 인식을 구현할 수 있습니다.

✅ 추천 액션 (Actionable Items)

기존 행동 인식 모델의 객체-동사 상관관계(Co-occurrence) 편향성 측정
학습 데이터에 없는 새로운 객체 조합을 입력했을 때의 성능 변화 모니터링
제안된 CPR/TORC 방식과 유사한 정규화 기법을 기존 모델에 적용 실험

View on Hugging Face View PDF (arXiv)