JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising

Paper ID: 2606.20563 • 14 Upvotes

3D Generation Diffusion Models Computer Vision SDF Safety

JanusMesh: Fast and Zero-Shot 3D Visual Illusion Generation via Cross-Space Denoising

📝 핵심 요약

학습 없이 3~5분 만에 서로 다른 의미를 가진 두 가지 형상을 구현하는 고품질 3D 비주얼 일루전 생성 프레임워크

📖 상세 내용

다양한 시점에서 서로 다른 의미를 전달하는 3D 비주얼 일루전 생성은 기존 최적화 방식의 느린 속도와 기하학적 불일치 문제로 인해 어려움이 있었습니다. 본 논문은 별도의 학습이 필요 없는 fast and training-free 프레임워크인 JanusMesh를 제안합니다. 먼저, 크로스 스페이스 듀얼 브랜치 디노이징을 통해 3D 잠재 공간을 복셀 공간으로 디코딩하여 CLIP 가이드 정렬과 SDF 블렌딩을 통한 매끄러운 기하학적 융합을 수행합니다. 이후 뷰 조건부 텍스처 합성 모듈을 통해 2D 확산 모델의 사전 지식을 융합된 기하 구조에 투영합니다. 실험 결과, 제안 방법은 3~5분 내에 높은 기하학적 무결성과 의미적 인식도를 가진 3D 일루전을 생성하며 기존 방식보다 뛰어난 효율성을 입증했습니다.

🔑 주요 내용 (Key Points)

학습이 필요 없는(Training-free) 고속 3D 일루전 생성 프레임워크 제안
SDF 블렌딩과 CLIP 가이드를 결합한 크로스 스페이스 듀얼 브랜치 디노이징 기술
2D 확산 모델의 사전 지식을 활용한 뷰 조건부 텍스처 합성 모듈

💡 실무적 가치 (Relevance)

최적화 과정 없이 짧은 시간 내에 복잡한 기하 구조와 텍스처를 생성하므로, 3D 콘텐츠 제작 파이프라인의 효율성을 극대화할 수 있습니다.

✅ 추천 액션 (Actionable Items)

제공된 프로젝트 페이지의 데모를 통해 생성된 메쉬의 기하학적 정밀도 확인
SDF 블렌딩 방식이 복잡한 형상에서 어떻게 심리스(seamless)한 결과를 내는지 분석
기존 2D 확산 모델 기반 3D 생성 기법과 비교하여 생성 속도 및 품질 벤치마킹

View on Hugging Face View PDF (arXiv)