EventEgoHands++: Event-based Egocentric 3D Hand Mesh Reconstruction with Real Dataset
이벤트 카메라를 활용하여 저조도 및 모션 블러 환경에서도 정밀한 1인칭 시점 3D 손 메쉬 재구성을 가능하게 하는 프레임워크입니다.
논문이 다루는 내용
기존 카메라 기반 3D 손 재구성은 저조도나 움직임이 심한 환경에서 성능이 저하되는 한계가 있습니다. 이벤트 카메라는 높은 동적 범위와 시간 해상도를 제공하지만, 1인칭 시점에서는 배경 노이즈로 인해 손 신호가 가려지는 문제가 발생합니다. 기존 방식은 좌우 손을 구분하지 못해 인스턴스별 정보가 부족하고 상호작용 예측이 부정확했습니다. 본 논문에서는 인스턴스 수준의 바운딩 박스와 마스크를 추정하는 Hand Detector와 손 간의 관계를 학습하는 Adaptive Attention을 결합한 EventEgoHands++를 제안합니다. 또한, 대규모 실세계 데이터셋인 EEH-R을 구축하여 성능을 검증했습니다. 실험 결과, 제안 방법은 합성 및 실세계 데이터셋 모두에서 기존 모델을 상회하는 성능을 보였습니다.
핵심 결과
-
좌우 손을 구분하는 인스턴스 수준의 Hand Detector 도입
-
손 간의 공간적 관계와 상호작용을 학습하는 Adaptive Attention 메커니즘 제안
-
100만 프레임 규모의 대규모 실세계 이벤트 기반 데이터셋(EEH-R) 구축
실무에서 볼 만한 점
AR/VR 및 로봇 제어 환경처럼 조명이 불규칙하거나 움직임이 많은 실무 현장에서 안정적인 3D 손 추적 기술을 구현할 수 있습니다.
읽을 때 확인할 점
-
제안된 Adaptive Attention 구조를 기존 RGB 기반 손 재구성 모델에 이식해보기
-
EEH-R 데이터셋을 활용하여 저조도 환경에서의 강건성 테스트 수행하기
-
실시간성을 확보하기 위해 Hand Detector의 연산 비용 최적화 실험하기