논문Hugging Face
Scalable Visual Pretraining for Language Intelligence
논문 ID: 2607.0965740 추천
#Vision-Language#Document-AI#Pretraining#Foundation-Models#RAG#Benchmark
핵심 요약
텍스트 추출 없이 시각적 문서 구조를 직접 학습하여 언어 지능을 높이는 확장 가능한 비주얼 사전 학습 방법론 제시
상세 내용
최근 거대 모델의 발전은 대규모 텍스트 코퍼스 기반의 사전 학습에 의존해 왔습니다. 그러나 기존 방식은 문서 내 수식, 레이아웃, 도표 등 텍스트로 온전히 변환되지 않는 풍부한 시각적 정보를 소실시키는 문제가 있었습니다. 본 논문은 언어 모델이 반드시 텍스트로만 학습되어야 한다는 가설에 의문을 제기하며, 시각적 사전 학습(Visual Pretraining)의 효용성을 입증합니다. 이를 위해 텍스트 추출 과정 없이 시각적 문서를 직접 활용하는 비지도 시각 사전 학습 패러다임을 체계적으로 연구했습니다. 실험 결과, 동일한 코퍼스 내에서 시각적 사전 학습이 텍스트 전용 학습보다 일관되게 우수한 성능을 보였습니다.
주요 내용
- 텍스트 추출(Text Extraction) 없이 시각적 요소를 직접 활용하는 비지도 학습 패러다임 제안
- 문서 레이아웃, 수식, 도표 등 텍스트로 변환 시 손실되는 시각적 정보의 가치 입증
- 다양한 백본 모델과 벤치마크에서 텍스트 전용 학습 대비 우수한 성능 확인
실무에서 볼 만한 점
문서 이해(Document AI)나 RAG 시스템 구축 시, 단순 텍스트 추출을 넘어 레이아웃 정보를 보존하는 것이 모델 성능 향상의 핵심임을 시사합니다.
참고할 행동
- PDF/이미지 기반 데이터셋을 텍스트로 변환하지 않고 직접 입력하는 End-to-End 파이프라인 테스트
- LayoutLM 등 기존 문서 이해 모델과 본 논문의 시각적 사전 학습 방식 성능 비교
- 복잡한 수식이나 표가 포함된 데이터셋에서의 성능 향상 폭 측정