신호 평가자 소실 시 AI 의사결정 검증 가능성에 관한 연구

요약

AI 거버넌스와 보증(assurance)은 결과가 나온 이후에도 모델이 매개한 중요한 의사결정을 재구성하거나 검증할 수 있다고 가정하지만, 그 의사결정을 만든 평가자가 동일한 버전과 실행 맥락으로 더 이상 접근 가능하지 않을 때 이 가정은 성립하지 않을 수 있다. 이 논문은 Execution Governance(EG) 3.0에서 파생된 검증시점 개념 세 가지—결정상태 확정(Decision-State Commitment), 독립적 검증가능성(Independent Verifiability), 반사실적 감사가능성(Counterfactual Auditability)—를 제시한다. 공개된 Study 2 산출물을 독립적으로 재처리해 두 가지 계열 내 행동 비교를 재현했는데, Llama 3.1 8B와 Llama 3.3 70B 간 판정 역전율은 52.0%(26/50), GPT-OSS 20B와 GPT-OSS 120B 간은 30.0%(15/50)였으며, 이는 제공자가 지정한 계승 관계가 아니라 동일 계열 내 비교임이 확인됐다. Groq가 지정한 마이그레이션 경로로 사후 재매칭한 결과 역전율은 64.0%·38.0%로 나타났으나 교차계열 호출 파라미터가 비대칭적이어서 서술적 수치로만 남았다. 22건의 평가자 은퇴 사례를 독립적으로 재계산한 결과 중앙값 16.45개월, 평균 18.72개월, 범위 3.9~40.3개월이었고 22건 중 17건이 24개월 미만이었으며, 평가자 가용성이 서비스 표면에 따라 다를 수 있음도 나타났다. 연구는 인가 시점에 어떤 증거를 결속시켜야 하는지, 이후 별도로 신뢰되는 검증자가 무엇을 입증할 수 있는지를 규정하는 검증시점 프로토콜과 선택적 보존 패키지(VTPP)를 공동 기여로 제시하며, 이 프로토콜은 하위·비승인적 성격으로 EG Core Formula를 바꾸거나 관할권별 법적 증거능력을 규정하지 않는다고 명시한다.