신호 이탈리아 법조 국가시험서 LLM 블라인드 튜링테스트 실시

요약

게르마나 베르톨리, 일라리아 아멜리아 카지아노, 프란체스카 라조이아, 리카르도 로바티 등이 발표한 연구는 이탈리아의 변호사, 판사, 공증인 세 가지 법조 국가시험에서 주요 시판 LLM들을 블라인드 튜링테스트로 평가한 결과를 보고한다. 연구진은 주요 LLM들에 완전한 서면 답안을 작성하도록 요청했다. 이렇게 만들어진 답안은 사람이 작성한 답안과 구분되지 않도록 처리됐다. 답안은 실제 시험에 적용되는 것과 동일한 채점기준을 이용해 전문 채점위원이 익명으로 평가했다. 이런 설계 덕분에 연구진은 LLM의 합격 여부뿐 아니라, 실제 전문시험 조건에서 자격을 갖춘 인간 응시자와 직접 비교한 성능 수준까지 평가할 수 있었다. 세 시험 모두에서 동일한 방식이 적용됐다.