커뮤니티Redditr/LocalLLaMALocalLLaMA
Humor Arena: Which LLM is the funniest?
20개의 모델을 대상으로 유머 생성 능력을 비교한 벤치마크 결과, Fable 5 모델이 가장 높은 점수를 기록했습니다. 커뮤니티에서는 자동화된 유머 평가 방식의 타당성에 대한 의문과 함께 모델별 유머 감각에 대한 다양한 의견이 오갔습니다.
주요 내용
-
360개의 고정된 농담 프롬프트를 활용해 20개 모델의 유머 감각을 비교한 결과 Fable 5가 66.8점으로 1위를 차지했습니다.
-
평가는 인간의 선호도와 높은 상관관계를 갖도록 미세 조정된 자동화된 AI 판사(OS judge)를 통해 이루어졌습니다.
-
사용자들은 유머 평가의 주관성 문제를 지적하거나 특정 모델의 성능에 놀라움을 표하는 등 상반된 반응을 보였습니다.