신호 원칙기반 규제에서 LLM 심판의 4축 신뢰성 벤치마크

요약

한 프리프린트 논문이 원칙 기반 규제에서 대형언어모델을 심판으로 쓸 때 필요한 4축 신뢰성 벤치마크를 제안한다. 저자들은 '공정하고 명확하며 오도하지 않을 것' 같은 원칙 기반 규제 기준은 이분법적 판정으로 단순 환원될 수 없다고 지적하며, 그럼에도 이런 기준 준수 여부를 사람이 평가하는 대신 LLM 심판 시스템이 점점 더 대신하고 있다고 말한다. 이들의 입장은 이런 심판 시스템이 정확성·의역 강건성·적대적 강건성·보정이라는 네 축에서 평가돼야 한다는 것이다. 논문은 이 평가를 뒷받침하기 위해 168개 테스트 사례로 구성된 'Principle-Bench' 벤치마크를 공개한다. 이를 통해 규제 준수 판정을 맡는 AI 시스템의 신뢰성을 체계적으로 점검할 길을 마련하고자 한다.