VeriSpoof: Beyond Real or Fake with One Audio LLM
5가지 포렌식 작업을 단일 오디오 LLM으로 통합하여 설명 가능한 딥페이크 탐지 및 출처 분석을 수행하는 모델
논문이 다루는 내용
기존의 딥페이크 탐지는 단순히 진위 여부만을 판단하여 상세한 포렌식 분석(생성기 식별, 출처 확인 등)에 한계가 있었습니다. 이를 해결하기 위해 5가지 핵심 태스크를 공유 가중치로 통합한 오디오 언어 모델인 VeriSpojs를 제안합니다. 이 모델은 탐지뿐만 아니라 생성기 속성, 녹음 조건, 합성 구간 식별, 소스 검증을 동시에 수행하며 근거가 되는 설명(rationale)을 제공합니다. 실험 결과, VeriSpoof-Plus는 2.14%의 낮은 EER을 기록하며 오픈 웨이트 모델 중 최고 성능을 보였습니다. 특히 설명 가능한 근거를 통해 미학습 생성기에 대해서도 높은 검증 성능을 유지하며, 부분 편집된 가짜 음성 탐지에서도 탁월한 성능을 입증했습니다.
핵심 결과
-
5가지 포렌식 태스크(탐지, 속성, 조건, 구간, 소스 검증)를 단일 오디오 LLM으로 통합
-
결정 근거를 텍스트로 제공하여 검증 가능한 설명 가능성(Explainability) 확보
-
2.85B 파라미터 모델임에도 효율적인 학습 방식으로 단일 24GB GPU에서 구동 가능
실무에서 볼 만한 점
단순한 '진위 판별'을 넘어 '어떤 모델이 만들었는지'와 '어느 부분이 조작되었는지'를 동시에 파악해야 하는 보안/포렌식 실무에 즉각적인 가치를 제공합니다.
읽을 때 확인할 점
-
제공된 VeriSpoof-Bench를 활용하여 기존 탐지 모델과 성능 비교 실험
-
24GB GPU 환경에서 Gradient Checkpointing을 적용한 파인튜닝 재현
-
부분 편집(Partial Edit) 데이터셋을 통한 모델의 설명 가능성 신뢰도 테스트