Would You Walk to the Car Wash? Revealing the Salience Bias of Large Language Models in Commonsense Reasoning

LLM이 불필요한 정보(distractor)에 현혹되어 상식적 추론을 놓치는 'Salience Bias' 현상을 규명하고 이를 해결하는 프롬프팅 기법을 제안함

최신 LLM은 입력된 명시적 조건에 과도하게 집중하는 경향이 있어, 일상적인 상식 추론 시 불필란한 정보에 휘둘리는 'Salience Bias' 문제가 발생합니다. 연구진은 이 현상이 지식의 부재가 아닌, 잘못된 프레이밍에 의한 지식 억제 현상인지 확인하기 위해 SaliTrap 벤치마크를 구축했습니다. 12종의 최신 모델을 평가한 결과, 모든 모델이 심각한 Salience Bias를 보였으며 이는 지식의 부재보다는 정보의 돌출성에 의한 실패임을 확인했습니다. 프레임이 제거된 상태에서는 모델의 성능이 회복되는 것을 통해, 문제가 모델의 역량 부족이 아닌 인출(elicitation)의 문제임을 증명했습니다. 최종적으로 별도의 재학습 없이 가벼운 추론 시점 프롬프팅만으로 이 격차를 크게 줄일 수 있음을 보여주었습니다.

LLM 기반 에이전트 설계 시, 입력값에 포함된 불필요한 수치나 조건이 모델의 논리적 판단을 방해할 수 있음을 인지하고 이를 방어하는 프롬프트 설계가 필수적임을 시사합니다.