신호 누가 생성되어야 하는가? 개방형 생성에서 인구통계적 목표의 정당화

요약

제솬 정 등 연구진이 2026년 8월 3일 arXiv(cs.CY)에 생성형 AI 공정성 평가의 '누락된 목표 분포 문제'를 다루는 논문을 공개했다. '미국의 한 CEO를 생성하라'처럼 인구통계적 속성을 명시하지 않은 프롬프트에서, 기존 공정성 정의는 비교 대상이 될 목표 분포가 이미 주어져 있다고 가정하지만 이 논문은 그 목표 분포 자체가 정당화된 적이 없다고 지적한다. 저자들은 목표 분포 구성을 평가 대상·사전 허용성·배분·조작화라는 네 가지 요소로 분해한다. 자체 벤치마크 AP-Bench를 적용한 결과, 모델 출력은 지리 기반 목표 분포와 0.508~0.606(0~1 척도)에 달하는 상당한 편차를 보였다. 지리 기반 목표를 동일 카테고리 비교군으로 교체하고 생성물과 측정 방식은 고정했을 때, 모델별 평균절대오차(JSD2)는 0.279~0.355만큼 변화했다. 저자들은 목표 분포 설정이 공정성 평가의 사전 단계가 아니라 평가 자체의 구성 요소라고 결론짓는다.