GaussianRenderFormer: Transformer-based Rendering of 3D Gaussian Splats
래스터라이저 없이 트랜스포머만으로 3D 가우시안 스플래팅을 직접 렌더링하는 새로운 방식 제안
논문이 다루는 내용
기존 3D 가우시안 스플래팅은 래스터라이저를 필수적으로 사용하지만, 신경망이 이를 직접 학습할 수 있는지에 대한 의문이 제기되었습니다. 본 논문은 가우시안 집합과 카메라 정보를 입력받아 이미지를 직접 생성하는 GaussianRenderFormer를 제안합니다. 각 가우시안을 토큰화하는 뷰 독립적 인코더와 카메라 레이 패치를 픽셀로 변환하는 뷰 의존적 디코더 구조를 사용합니다. 실험 결과, 2만 개의 가우시안을 사용해 미학습 객체에 대해 38.08 dB PSNR을 달성하며 래스터라이징 방식(44.02 dB)과의 성능 차이를 확인했습니다. 분석 결과, 디코더가 가우시안의 투영된 풋프린트 정보를 명시적으로 전달받지 못하는 것이 성능 병목의 주요 원인으로 나타났습니다.
핵심 결과
-
래스터라이저 없이 가우시안 토큰과 카메라 정보를 이용한 End-to-End 렌더링 구현
-
뷰 독립적 인코더(Gaussian-to-token)와 뷰 의존적 디코더(Token-to-pixel) 구조 채택
-
가우시안의 기하학적 정보(Footprint) 전달 여부에 따른 성능 차이 규명
실무에서 볼 만한 점
전통적인 그래픽스 파이프라인(래스터라이저) 없이 딥러닝 모델만으로 3D 장면을 재구성할 수 있는 가능성을 제시합니다.
읽을 때 확인할 점
-
가우시안의 투영된 풋프린트 정보를 디코더에 추가하여 성능 향상 여부 확인
-
더 적은 수의 가우시안 토큰을 사용했을 때의 렌더링 효율성 테스트
-
대규모 데이터셋에서의 스케일링 법칙(Scaling Law) 검증