신호 LLM 정치 성향 측정, 언어·프롬프트 설계에 따라 크게 흔들려 — 강건성 평가 프레임워크 제시

요약

연구진이 언어·프레이밍·지시문·답변형식·선택지 순서·페르소나 문구 등 8차원 변형 공간에서 300개 설정을 샘플링하는 정치성향 검사(Political Compass Test) 평가 프레임워크를 제시했다. Gemma 3·Qwen 3 계열 8개 모델을 14개 언어, 3개 양자화 수준에서 평가했다. 이 설계는 모델의 실제 정치적 성향과 질문 방식에서 비롯된 측정 아티팩트를 구분하려는 목적이다. 프레임워크는 측정된 정치적 편향이 하류 공정성에 미치는 영향까지 분석을 확장한다. 이 논문은 2026년 9월 8일 arXiv cs.CY 카테고리에 게재된 프리프린트다.