신호 감사가 판정을 결정한다: LLM 의사결정 감사에서 도구 효과가 인구통계적 편향에 맞먹다

요약

이 연구는 LLM 의사결정을 검증하는 감사 자체의 설계 방식이 인구통계적 편향 못지않게 결과를 좌우할 수 있음을 실증적으로 보였다. 연구진은 지원자 이름만 다르게 바꾼 채용·대출·의료 트리아지 요청 40,726건을 사용해 5개 모델을 검증했다. 그 결과 애초에 계획했던 36개 편향 대조 가운데 통계적 보정을 통과한 사례는 단 하나도 없었다. 검증된 모델들은 감사 과정이 투명하게 공개됐는지 여부와 후보들이 제시된 순서에 상당히 민감하게 반응했다. 이런 민감도는 지원자의 인구통계적 속성에 따른 차이만큼이나 크게 나타났다. 이는 감사 판정이 실제 존재하는 편향보다 오히려 감사 자체의 설계 방식을 더 크게 반영한다는 점을 시사한다.