PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

Paper ID: 2606.19534 • 49 Upvotes

Vision Diffusion Efficiency Multimodal RAG Benchmark Evaluation Inference

PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

📝 핵심 요약

Diffusion Language Model(DLM)의 병렬 디코딩 특성을 활용하여 여러 영역에 대한 캡셔닝을 동시에 수행하는 고효율 시각 인식 모델 제안

📖 상세 내용

기존의 멀티모달 거대언어모델(MLLM)은 자기회귀(Autoregressive) 생성 방식에 의존하여 여러 영역을 설명할 때 순차적 생성으로 인한 효율성 저하 문제가 있었습니다. 이를 해결하기 위해 본 논문은 Diffusion Language Model(DLM)의 병렬 디코딩 강점을 활용한 PerceptionDLM을 제안합니다. 효율적인 프롬프팅과 구조화된 어텐션 마스킹(Structured Attention Masking)을 도입하여, 시퀀스 및 토큰 수준에서 여러 마스킹된 영역을 동시에 인식할 수 있도록 설계했습니다. 또한, 병렬 인식 능력을 평가하기 위한 새로운 벤치마크인 ParaDLC-Bench를 구축했습니다. 실험 결과, PerceptionDLM은 기존 방식 대비 성능을 유지하면서도 다중 영역 인식 작업에서 획기적인 추론 속도 향상을 달성했습니다.

🔑 주요 내용 (Key Points)

DLM의 병렬 디코딩 특성을 활용한 다중 영역 동시 캡셔닝 기술 개발
효율적인 프롬프팅 및 구조화된 어텐션 마스킹을 통한 시퀀스/토큰 단위 병렬 처리
병렬 인식 성능과 품질을 동시에 평가할 수 있는 ParaDLC-Bench 벤치마크 구축

💡 실무적 가치 (Relevance)

여러 객체가 포함된 이미지에서 각 영역을 개별적으로 설명해야 하는 작업 시, 순차적 생성 방식의 병목 현상을 해결하여 추론 속도를 크게 개선할 수 있습니다.

✅ 추천 액션 (Actionable Items)

기존 Autoregressive MLLM과 PerceptionDLM의 추론 시간(Latency) 비교 실험
다중 객체 탐지 및 캡셔닝이 필요한 실시간 비전 서비스에 적용 가능성 검토
제공된 ParaDLC-Bench를 활용한 모델의 병렬 처리 효율성 검증

View on Hugging Face View PDF (arXiv)