Geometric and Semantic Coupling for Interaction Understanding in 3D Scenes

3D 장면에서의 상호작용 이해를 위해서는 움직이는 부품, 움직임, 그리고 조작 가능한 영역에 대한 통합적인 설명이 필요합니다. 본 논문은 부품과 핸들 사이의 물리적 관계를 활용하여 이들을 연결하는 Segment-Snap을 제안합니다. 학습된 예측기를 통해 부품 표면과 핸들을 식별한 후, 기하학적 디코더가 평면 및 수직 제약 조건을 사용하여 움직임을 제한하고 힌지 라인을 선택합니다. 또한, 부품과 핸들을 동시에 예측하는 방식을 통해 추가적인 후보를 확보하고 의미론적 맥락으로 클래스를 정제합니다. 실험 결과, 핸드 가이드를 통해 움직임 기반 AP를 크게 향상시켰으며, 기하학적 증거와 의미론적 증거의 결합이 상호작용 이해에 미치는 이점을 입증했습니다.

• 기하학적 제약(평면, 수직)과 의미론적 정보를 결합한 상호작용 이해 프레임워크 개발

• 별도의 모션 회귀기 없이 힌지 라인을 선택하는 기하학적 디코더 설계

• 부품과 핸드 후보군을 상호 보완적으로 활용하여 움직임 예측 정확도 향상

• Articulate3D 데이터셋을 활용한 제안 모델의 벤치마크 성능 재현

• 다양한 복잡한 기하 구조를 가진 3D CAD 모델에 대한 일반화 성능 테스트

• 실시간 로봇 제어 루프에 적용 가능한 수준의 추론 속도 검증