PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception

기존 멀티모달 벤치마크는 점수가 포화 상태임에도 불구하고 실제 환경에서의 취약성을 제대로 반영하지 못하는 문제가 있습니다. 이를 해결하기 위해 단순 의미 매칭이 아닌 원자 단위의 감사를 수행하는 PerceptionRubrics 프레임워크를 도입했습니다. 이 시스템은 순환 피어 리뷰(Circular Peer-Review)를 통해 생성된 골든 캡션을 바탕으로 필수 사실(Must-Right)과 세부 사항(Easy-Wrong)으로 구분된 이중 스트림 루브릭을 제공합니다. 특히 필수 정보 오류 시 강력한 페널티를 부여하는 게이트 스코어링(Gated Scoring) 메커니즘을 적용했습니다. 실험 결과, 모델들이 개별 요소는 맞추더라도 복합적인 제약 조건에서 실패하는 신뢰성 격차를 발견했으며, 오픈소스 모델과 독점 모델 간의 인지 능력 차이도 확인했습니다.