SILSA: Sliding-Window Slice Latents for Topology-Preserving High-Resolution 3D Generation
슬라이딩 윈도우 방식의 슬라이스 잠재 변수를 활용하여 토큰 수를 획기적으로 줄이면서도 위상 구조를 유지하는 고해상도 3D 생성 프레임워크
논문이 다루는 내용
고해상도 3D 생성을 위해 기존에는 복잡한 복셀 토큰이나 다단계 파이프라인을 사용했으나, 이는 생성 비용을 높이고 얇거나 연결된 구조의 위상적 일관성을 해치는 문제가 있었습니다. 이를 해결하기 위해 SILSA는 세 축을 따라 겹치는 슬라이스들을 사용하는 슬라이딩 s-윈도우 슬라이스 잠재 변수 방식을 제안합니다. Slice VAE를 통해 방향성 표면 샘플을 인코딩하고, Volumetric Anchor Lattice를 통해 방향별 슬라이스 스트림을 조정하며, Betti 전이를 정렬하는 위상 감독(Topology Supervision)을 도입했습니다. 실험 결과, 기존 방식 대비 토큰 수를 대폭 절감하면서도 구조적 충실도와 위상적 정확도를 크게 향상시켰습니다. 결과적으로 학습 메모리 사용량을 40.4% 줄이고 추론 시간을 58.5% 단축하는 성과를 거두었습니다.
핵심 결과
-
슬라이딩 윈도우 기반의 3축 슬라이스 잠재 변수를 통한 효율적인 3D 표현
-
Betti 전이 정렬을 통한 슬라이스 수준의 위상 구조 유지 기법 도입
-
Sparse Volumetric Decoder와 Volumetric Anchor Lattice를 통한 정교한 3D 재구성
실무에서 볼 만한 점
3D 생성 모델의 고질적인 문제인 연산 비용과 위상적 불일치(끊김 현상)를 동시에 해결할 수 있는 효율적인 아키텍처 설계 방식을 제시합니다.
읽을 때 확인할 점
-
제시된 Slice VAE와 Volumetric Decoder의 연산 효율성 벤치마크 테스트
-
복잡한 위상 구조(그물망, 얇은 막 등)를 가진 데이터셋에서의 재구성 성능 검증
-
기존 Voxel/Sparse 기반 모델과의 메모리 및 추론 속도 비교 실험