신호 합성 연구 검증: 실제 행동 예측과 대표성의 공정성

요약

기업과 학계 연구자들이 대규모 언어모델로 만든 합성 설문 응답자를 인간 표본 대신 쓰는 일이 늘고 있지만, 합성 모집단의 타당성은 대개 인간 설문과의 임시방편적 비교로만 점검된다. 연구진은 행동과학의 '의도-행동 격차'에 착안해, 사람들의 실제 행동을 내다보려고 합성 연구를 의뢰하는 경우 이런 점검은 엉뚱한 것을 잰다고 지적한다. 대안으로 두 가지 요건을 갖춘 검증 틀을 제안한다. 첫째, 타당성 주장마다 실제 행동을 예측하는지, 위치·분산·응답 과정·구조의 네 진단 중 무엇을 다루는지, 실험 효과와 비교했는지 등 인간 데이터와의 대응 수준을 밝혀야 한다. 둘째, 전체 정확도는 중대한 결정에 가장 크게 영향받는 하위 집단의 왜곡을 가릴 수 있으므로 하위 집단별 타당성을 따로 보고해야 한다. 이 틀은 분배·절차·인정의 세 정의 차원을 측정 가능한 양으로 바꾸고 페르소나 내 반사실 실험을 요구하며, 전기차 충전 요금제 사례와 보고용 점검표를 함께 제시한다.