신호 자율 AI 시스템의 책임 비대칭과 구조적 신뢰

요약

네이선 드바르들르벤이 2026년 8월 4일 arXiv(cs.CY)에 과학컴퓨팅 인프라 전반에서 자율 AI 시스템에 대한 운영 위임이 늘면서 발생하는 신뢰 문제를 다룬 논문을 공개했다. 저자는 인간 운영자를 신뢰하게 하는 제도적 논리(잘못된 결정이 실질적 경력상 불이익을 낳음)와, 공학적 통제 대상일 뿐 제도적 의미의 결과를 감수하지 않는 AI 시스템 간의 불일치를 '책임 비대칭'이라는 용어로 명명한다. 저자는 더 깊은 문제가 AI가 사람처럼 처벌받을 수 없다는 점 자체가 아니라, 결과가 행위를 선택한 구성요소가 아니라 그 시스템을 책임진 사람·기관에게 귀속된다는 점이라고 주장한다. 이 논문은 정렬(alignment)이 모델 행동을 개선하고 책임(liability)이 조직을 규율할 수는 있지만, 둘 다 인간 운영자를 규율하는 것과 같은 사전 억지력을 만들지 못한다고 주장한다. 건설적 제안으로 저자는 행동을 제안하는 프로세스가 그 유일한 승인자·감사자가 되지 않도록 하는 '공학적 이질성'을 제시하며, 시간에 걸친 독립적 모니터링·검토로 이를 뒷받침한다. 이 논문은 자율 AI 거버넌스를 근본적으로 인프라 신뢰성 문제로 규정한다.