Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts
멀티모달 모델의 시각/청각 편향이 지각적 신호와 명제적 신호 간의 충돌로 인해 발생하는 양상을 규명한 벤치마크 연구
논문이 다루는 내용
최근 시각, 오디오, 텍스트를 통합 처리하는 멀티모달 거대언어모델(OLLM)이 발전하고 있으나, 모달리티 간 충돌 상황에서의 편향 문제는 충분히 연구되지 않았습니다. 기존 벤치마크는 지각적 신호(이미지/녹음)와 명제적 신호(텍스트 주장)를 구분하지 못해 편향의 원인을 명확히 식별하기 어려웠습니다. 이를 해결하기 위해 본 논문은 시각, 오디오, 텍스트 간의 충돌을 다루는 8,000개 샘플 규모의 Tri-PvP 벤치마크를 제안합니다. 실험 결과, 대부분의 모델에서 강력한 시각 편향이 관찰되었으며, 시각은 지각적 신호에, 오디오는 명제적 신호에 더 의존하는 비대칭적 편향 양상을 확인했습니다. 또한 이러한 편향은 모델의 초기 레이어에서 이미 나타나며 단순한 표면적 개입만으로는 해결하기 어려움을 밝혀냈습니다.
핵심 결과
-
지각적 신호(Perceptual)와 명제적 신호(Propositional)를 분리하여 모달리티 편향을 측정하는 Tri-PvP 벤치마크 제안
-
시각은 지각적 신호에, 오디오는 명제적 신호에 더 강하게 반응하는 비대칭적 편향 양상 발견
-
모달리티 편향이 모델의 초기 표현 레이어 단계에서 이미 형성되어 있음을 확인
실무에서 볼 만한 점
멀티모달 모델 도입 시, 특정 모달리티(예: 이미지)에 과도하게 의존하여 발생하는 논리적 오류를 예측하고 방지하는 데 중요한 가이드를 제공합니다.
읽을 때 확인할 점
-
자사 멀티모달 모델에 Tri-PvP 벤치마크를 적용하여 모달리티별 의존도 측정
-
모델의 레이어별 프로빙을 통해 편향이 발생하는 시점 확인
-
지각적 신호와 명제적 신호가 충돌하는 데이터셋을 통한 강건성 테스트