논문Hugging Face
AISPA: User-Centric System Prompt Auditing for Large Language Model Applications
논문 ID: 2607.2861729 추천
#LLM#Prompt Engineering#AI Ethics#Security#RAG#Evaluation
핵심 요약
사용자 중심의 시스템 프롬프트 감사 프레임워크(AISPA)를 통해 상용 AI 제품의 프롬프트 설계 편차와 잠재적 위험성을 분석함
상세 내용
상용 AI 제품의 시스템 프롬프트는 모델 동작을 제어하지만, 공개되지 않아 신뢰와 책임성 문제가 발생하고 있습니다. 본 논문은 사용자 관점에서 시스템 프롬프트를 체계적으로 검토하는 AISPA 프레임워크를 제안합니다. 연구진은 88개 상용 AI 제품의 3,249개 지침을 8가지 차원에서 분석했습니다. 분석 결과, 제품 간 설계 편차가 매우 크며 보호적 지침이 증가하는 추세임에도 불구하고 사용자 이익에 반하는 문제가 여전히 공존함을 확인했습니다. 결과적으로 시스템 프롬프트의 투명성, 표준화 및 독립적 감사의 필요성을 강조합니다.
주요 내용
- 사용자 중심의 시스템 프롬프트 감사 프레임워크 'AISPA' 제안
- 88개 상용 AI 제품의 3,249개 지침에 대한 대규모 실증적 감사 수행
- 보호적 지침과 문제적 지침이 동일 프롬프트 내에 공존하는 현상 발견
실무에서 볼 만한 점
LLM 애플리케이션 개발 시 시스템 프롬프트가 사용자 이익과 충돌할 수 있음을 인지하고, 설계 단계부터 보안 및 윤리적 가이드라인을 체계화해야 합니다.
참고할 행동
- 자사 서비스의 시스템 프롬프트를 AISPA의 8가지 차원으로 자가 진단하기
- 프롬프트 내에 사용자 이익에 반하는 '문제적 지침'이 포함되어 있는지 검토하기
- 프롬프트 설계의 일관성을 위해 표준화된 가이드라인 수립하기