신호 도덕적 엔트로피: 도덕 판단의 편향과 불확실성을 감사하는 프레임워크

요약

연구진은 도덕적 콘텐츠에 대한 주석자 간 의견 차이를 투표로 지워야 할 잡음이 아니라 그 자체로 정보로 다루는 베이지안 틀 '도덕적 엔트로피'를 제안했다. 이 틀은 참 라벨에 대한 사후확률 전체를 유지한 뒤, 그 엔트로피를 환원 불가능한 의견 차이를 뜻하는 우연적 불확실성과 주석이 부족하거나 잡음이 많아 생기는 인식적 불확실성으로 나눈다. 세 개 코퍼스와 열다섯 개 담화 영역에 걸쳐 적용해 관대한 규칙인 'any-annotator'가 보정된 사후확률과 항목의 약 30%에서 어긋나며 그 대부분이 위양성임을 확인했다. 반대로 더 엄격한 다수결과 2표 규칙은 실제 양성의 63~83%를 놓치는 것으로 나타났다. 이 결과는 AI 시스템을 학습·평가하는 데 쓰이는 도덕 판단 데이터셋이 구축되는 방식 자체에 체계적 편향이 있음을 드러낸다.