신호 새 벤치마크 "LLM, 명확한 근거 있을 때만 정치정보 매개가 신뢰할 만해"

요약

한 논문이 LLM이 선거 국면에서 시민에게 정치정보를 매개하는 방식을 평가하는 이론 기반 벤치마크 'Polistemics'를 제시한다. 이 벤치마크는 시민의 인식적 행위주체성에서 도출한 규범 기준인 '인식적 겸손(Epistemic Modesty)'에 근거하며, 명확성·노이즈·일관성 등 정보 속성을 달리한 통제된 설정에서 모델을 시험한다. 연구진은 2025년 독일·네덜란드 선거의 실제 사례를 활용해 3개 최신 LLM에 이 벤치마크를 적용했다. 그 결과 높은 종합 성능 점수가 체계적 실패를 은폐한다는 것을 발견했다 — 모델은 근거가 명확할 때는 신뢰할 만하게 매개하지만, 정보가 부재하거나 모호하거나 상충할 때는 성능이 무너지고 정치적 언어의 강도를 평탄화하는 경향을 보였다. 논문은 이러한 실패가 정당 라벨과 질의 언어에 영향받는 편향인 '정당 사전선호(party prior)'에서 일부 비롯된다고 설명한다.