신호 콜롬비아 법률로 본 LLM 신뢰도: 1,042문항 벤치마크

요약

이 논문은 콜롬비아 법체계를 대상으로 LLM 신뢰도를 평가하는 벤치마크를 제시했다. 전문가가 검증한 1,042개 문항이 10개 법 분야와 3가지 질문 형식으로 구성됐으며, 전문가 검토를 거치는 반복 파이프라인으로 만들어졌다. 15개 모델을 평가한 결과 객관식 정확도는 0.577에서 0.905 사이였다. 서술형 답변의 사실 정확도는 어느 모델도 0.45를 넘지 않았다. 모델은 그럴듯하게 응답하면서도 자주 틀렸고, 인용한 법규의 약 절반만 맞았다. 저자들은 현재 모델이 콜롬비아 법률 업무에 전문가 감독을 필요로 하며, 권위 있는 출처에 답변을 연결하는 방식이 신뢰도를 높일 유망한 길이라고 결론지었다. 객관식 선별은 모델 순위는 맞히지만 절대 신뢰도를 과대평가한다는 점도 함께 지적된다.