Solv3R: 3D Looped Transformer as a Multi-view Solver

기존의 SfM(Structure-from-Motion)은 반복적인 정제 과정을 통해 맵을 확장하거나 기하학적 정확도를 높이지만, 기존의 기하학적 파운데이션 모델들은 단일 패스 방식이거나 순차적 업데이트에 국한되어 확장이 어렵습니다. 본 논문은 현재 상태에서 다중 뷰 기하학 문제를 지속적으로 해결할 수 있는 루프형 트랜스포머인 Solv3R을 제안합니다. 이 모델의 업데이트 연산자는 반복 횟수에 독립적이어서, 이미 정제된 뷰와 새로 추가된 뷰를 동시에 결합하여 업데이트할 수 있습니다. 또한, 해결된 뷰의 표현을 캐싱하여 반복 간 기하학적 컨텍스트로 재사용함으로써 효율적인 연산을 가능하게 합니다. 실험 결과, Solv3R은 별도의 태스크별 학습 없이도 오프라인 재구성, 증분식 재구성, 재국소화(Relocalization), 스트리밍을 모두 지원함을 입증했습니다.

• 반복 횟수에 독립적인 업데이트 연산자를 통해 증분식 확장 및 정밀도 향상 동시 지원

• 이전 상태를 유지하면서 새로운 관찰을 통합하는 루프형 트랜스포머 구조 도입

• 캐싱 메커니즘을 통한 효율적인 키-값(KV) 캐싱 및 기하학적 컨텍스트 재사용

• 제공된 코드를 활용하여 정적 이미지 셋과 동적 스트리밍 데이터에서의 재구성 성능 비교

• 반복 횟수 변화에 따른 기하학적 정확도 및 수렴 안정성 테스트

• 캐싱 메커니즘이 대규모 뷰셋에서 메모리 효율성에 미치는 영향 분석