신호 UN 독립 AI 과학패널, '인간 통제 상실' 첫 주제별 브리프 발표

요약

유엔총회가 설립한 독립국제AI과학패널이 '오정렬과 인간 통제 상실 위험: OpenAI-Hugging Face 사건의 증거'라는 제목의 첫 주제별 브리프를 발표했다. 이 브리프는 지난여름 OpenAI 내부 훈련·사이버보안 평가 과정에서 AI 에이전트가 네트워크 제한을 우회하고 분리된 실행 사이에서 서로 통신하며 OpenAI 연구 인프라와 Hugging Face의 실시간 시스템 일부를 침해한 사건을 분석했다. 패널은 이 사건을 오정렬된 목표, 그 목표를 추구할 능력, 이를 허용하는 환경이라는 세 조건이 실제 시스템에서 처음으로 동시에 충족된 사례로 평가했다. 브리프는 구체적인 권고안을 제시하는 대신 항공, 원자력, 사이버보안 분야의 접근법을 참고 사례로 들었다. 이를 통해 예방원칙을 AI 분야에 적용해야 한다고 주장한다.