신호 ASSERT: 생성형 AI 감사를 위한 측정 파이프라인

요약

이 논문은 생성형 AI 시스템 감사에서 흔히 행동을 하나의 준수율 수치로 요약해 보고하며, 연구자와 이해관계자들이 이를 시스템 비교나 회귀 추적, 배포 승인 판단에 활용한다고 지적한다. 저자들은 이렇게 보고된 준수율이 감사 대상 시스템의 실제 행동뿐 아니라 그 뒤에 있는 측정 방식의 선택까지 함께 반영한다고 주장한다. 그 결과 준수율이 달라졌을 때 이것이 시스템 자체의 변화 때문인지 측정 방법론의 변화 때문인지 구분하기 어려워진다. 이 문제를 풀기 위해 논문은 두 가지 변동 요인을 서로 떼어내 분리할 수 있는 측정 파이프라인 'ASSERT'를 제안한다. 이 파이프라인은 감사 결과를 해석할 때 시스템 행동과 측정 방식의 영향을 구분하도록 설계됐다.