신호 LLM이 표상하는 국가별 문화변화의 시간 지연

요약

문화적 정합성 평가는 대형언어모델(LLM) 개발·개선의 중요한 부분이 됐지만, 대부분의 평가는 문화를 단일 스냅샷으로 다뤄 모델이 현재 시점의 사회를 정확히 표상하는지만 살핀다. 문화심리학 연구에 따르면 문화적 가치는 시기와 방향에 따라 다르게 변화하므로, '문화적으로 인식하는' 모델이라면 현재 위치뿐 아니라 그동안 어떻게 변화해왔는지도 포착해야 한다. 연구진은 20여 년치 세계가치관조사 데이터를 이용해 40개국의 문화적 궤적을 4개 최신 LLM이 Inglehart-Welzel 문화지도 상에서 만든 궤적과 비교했다. 모델들은 대체로 국가를 최근 조사 시점 위치 가까이에 배치했지만, 그 표현은 실제 위치보다 수년 뒤처졌다. 또한 관찰된 변화 폭의 일부만 포착했고, 실제로는 거의 변화가 없던 곳에 움직임을 만들어냈으며, 국가 궤적의 역전은 거의 재현하지 못했다. 저자들은 이를 '시간적 평탄화'로 규정하며, 스냅샷 정확도만으로는 LLM의 문화 인식을 불완전하게 파악할 수 있고 모델 평가·표상적 해악·문화 인식 AI 시스템 거버넌스에 함의가 있다고 주장한다.