신호 새 진단 프레임워크, LLM 페르소나가 숙의 여론조사서 인간처럼 신념을 갱신하지 못함을 확인

요약

연구진이 동일한 정보 개입 이후 인간과 LLM의 신념 변화를 비교하는 '숙의적 여론조사 진단 프레임워크'를 제시했다. '실리콘 샘플링'에 쓰이는 LLM 페르소나가 여론을 시뮬레이션할 때 단순히 저장된 의견을 불러오는 것이 아니라 인간처럼 숙의 과정에서 신념을 실제로 갱신하는지를 검증하는 것이 목적이다. 526명의 페르소나와 72개 질문으로 구성된 America in One Room 데이터를 활용해 5개 프론티어 모델에 이 프레임워크를 적용한 결과, 모든 모델이 각기 다른 방식으로 실패했다. GPT-5.1은 균형 잡힌 정보를 제공받은 뒤 오히려 상대 정당에 더 적대적으로 변하는 '역전' 현상을 보였는데, 이는 아웃그룹 질문에서 80%, 정책 질문에서는 26%로 선택적으로 나타났다. Gemini 2.0 Flash·Claude Sonnet 4.5·Llama 3.3 70B는 방향은 맞았으나 인간 대비 5~7배 과잉 반응했고, DeepSeek V3는 거의 변화가 없는 경직성을 보였다. 연구진은 이 현상을 모델이 제공된 정보로부터 추론하는 대신 페르소나에 대한 내부 고정관념에 순응하는 '자기아첨(self-sycophancy)'으로 명명하고, LLM 페르소나의 신념 갱신을 신뢰하기 전에 이 진단을 먼저 수행할 것을 제안했다.