More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models
직접 결정 모델(Direct-decision models)에서 발생하는 서열 척도 활용 저하(Ordinal scale-utilization bias) 현상 분석 및 해결 방안 제시
논문이 다루는 내용
텍스트를 구조화된 라벨로 변환하는 직접 결정 모델은 낮은 지연 시간 덕분에 자동 평가 등에 유용하게 사용됩니다. 그러나 모델이 사용자가 제공한 서열 척도를 충실히 따르지 않는 문제가 발생할 수 있습니다. 본 연구는 JEV 및 오픈 KEV 모델들을 대상으로 서열 척도 활용도를 분석했습니다. 실험 결과, 모델이 정확도는 높더라도 특정 범주에 예측을 집중시키는 '척도 활용 저하' 현상이 관찰되었습니다. 이를 해결하기 위해 BA-LoRA를 활용한 타겟 포스트 트레이닝을 수행한 결과, 척도 활용도가 크게 개선되었습니다. 이는 척도 압축 현상이 아키텍처의 한계가 아닌 학습 가능한 편향임을 시사합니다.
핵심 결과
-
모델이 제공된 서열 척도(Ordinal scale)를 충분히 활용하지 못하고 특정 구간에 예측이 쏠리는 'scale-utilization bias' 발견
-
정확도가 높더라도 실제 정답 분포를 충분히 활용하지 못하는 현상이 발생함을 입증
-
BA-LoRA 포스트 트레이닝을 통해 척도 활용도를 효과적으로 개선 가능함을 확인
실무에서 볼 만한 점
LLM을 활용한 자동 평가(LLM-as-a-judge) 시스템 구축 시, 모델이 단순히 높은 정확도를 보이는 것을 넘어 주어진 점수 척도를 골고루 활용하는지 검증해야 함을 시사합니다.
읽을 때 확인할 점
-
현재 사용 중인 평가 모델의 점수 분포가 특정 구간에만 쏠려 있는지 확인
-
정확도(Accuracy) 외에 척도 활용도(Scale-utilization) 지표를 평가 프로세스에 도입
-
점수 편향이 발견될 경우 BA-LoRA와 같은 미세 조정 기법 적용 검토