신호 참여형 도덕 AI는 중립적이지 않다: 개발자의 보이지 않는 손

요약

이 논문은 연구자가 참가자들에게 가상의 딜레마를 설문한 뒤 집계된 투표로 AI 정책을 학습시켜 대규모로 적용하는 도덕 선호 도출 접근을 검토한다. 저자들은 투표 전에 개발자가 특성 범위 설정, 투표자 표집, 질문 프레이밍이라는 흔히 불투명한 세 선택을 내린다고 지적한다. 이를 검증하기 위해 AI 신장배분, 부재 근로자를 시뮬레이션하는 AI 에이전트, 고인을 묘사하는 생성형 AI라는 세 맥락에서 2단계에 걸쳐 809명을 대상으로 실증 연구를 진행했다. 그 결과 도덕적으로 유의한 특성이 맥락마다 달라지고, 특성의 약 3분의 1에서는 정치성향에 따라 선호가 갈리며 투표자 풀의 이념 구성에 따라 방향이 뒤집히는 경우도 있었다. 또한 질문 문구에 따라 이념 격차가 최대 한 척도점만큼 좁혀지거나 넓어질 수 있음도 확인됐다. 저자들은 투표 기반 정렬만으로는 공정하거나 투명한 AI를 보장할 수 없다고 결론짓고, 도출 파이프라인 각 단계의 감사와 공개를 권고한다.