신호 LLM 챗봇은 인간의 법적 합리성 판단을 따라가는가

요약

AI에 대한 의존이 커지면서 법률 의사결정에서의 AI 역할이 학자·법조인·판사들 사이에서 논의되고 있으며, 이 연구는 생성형 AI가 사회과학 연구에서 '실리콘 표집'으로 쓰이는 것처럼 법정에서 '실리콘 배심원'으로 등장할 가능성을 염두에 두고 LLM 기반 챗봇이 법적 합리성 판단 질문에 어떻게 응답하는지 조사한다. 저자들은 26개 LLM과 인간 참가자의 응답을 25개의 법적으로 유의미한 합리성 판단 문항에서 비교했다. 전반적으로 챗봇 응답은 인간 참가자의 응답 경향을 따라갔지만, 인간에 비해 더 동질적인 응답을 냈고 때로는 가변적인 기준을 불변의 규칙처럼 취급했다. 또한 인간에 비해 정부와 기업에 더 유리한 답을 내는 경향과, 백인·남성·고령·고학력 응답자의 응답에 더 가깝게 일치하는 경향이 나타났다. 저자들은 이러한 초기 발견을 확인하거나 반박하려면 더 체계적인 연구가 필요하다고 밝힌다.