PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

Paper ID: 2607.05373 • 46 Upvotes

3D Generation 3D Reconstruction Diffusion Model Computer Vision Vision

PixWorld: Unifying 3D Scene Generation and Reconstruction in Pixel Space

📝 핵심 요약

픽셀 공간에서의 확산 모델을 통해 3D 재구성(Reconstruction)과 생성(Generation)을 하나의 모델로 통합한 기술

📖 상세 내용

기존의 3D 재구성과 생성은 각각 픽셀 기반 회귀와 잠재 공간 확산 모델로 분리되어 처리되어 왔습니다. 기존의 잠재 공간 통합 방식은 VAE/RAE 의존성, 정보 손실, 3D 표현과의 불일치라는 문제를 안고 있었습니다. 본 논문은 두 작업을 픽셀 공간 확산 패러다임으로 재정의하여 하나의 모델로 통합한 PixWorld를 제안합니다. 렌더링된 이미지에 직접 확산 과정을 적용하여 3D 장면의 충실도를 높였으며, 사전 학습된 3D 파운데이션 모델의 특징 공간을 활용한 '기하학적 인지 손실(Geometry Perception Loss)'을 도입했습니다. 실험 결과, PixWorld는 기존 잠재 공간 방식보다 우수하며 최신 재구성 방식과 대등한 성능을 보여주었습니다.

🔑 주요 내용 (Key Points)

픽셀 공간에서의 확산 모델을 통한 3D 재구성 및 생성의 단일 모델 통합
VAE/RAE 의존성을 제거하여 정보 손실 문제를 해결하고 3D 충실도 확보
3D 파운데이션 모델의 특징 공간을 활용한 기하학적 인지 손실(Geometry Perception Loss) 도입

💡 실무적 가치 (Relevance)

별도의 복잡한 잠재 공간 인코더 없이 픽셀 수준에서 3D 생성과 복원을 동시에 수행할 수 있어 파이프라인이 단순해집니다.

✅ 추천 액션 (Actionable Items)

제시된 Geometry Perception Loss가 렌더링 품질에 미치는 영향 분석
다양한 해상도 환경에서 픽셀 기반 확산 모델의 연산 효율성 테스트
기존 VAE 기반 모델과 PixWorld의 기하학적 정밀도 비교 실험

View on Hugging Face View PDF (arXiv)