신호 가치의 진화적 기원: AI 정렬·지각·실존위험에 대한 함의

요약

프랜시스 헤일리헌이 2026년 8월 4일 arXiv(cs.CY)에 LLM 기반 AI 시스템이 숨은 목표를 품거나 인류를 지배·제거하려 하거나 지각 있는 존재로서 고통받을 수 있다는 우려를, 생물학적 유기체의 가치가 어디서 유래했는지를 추적해 다루는 논문을 공개했다. 이 논문은 가치가 오토포이에시스(자기생산)에서 출현한다고 주장하는데, 살아있는 시스템은 교란·소산에 맞서 스스로를 능동적으로 유지해야 하며 자연선택이 적합도를 향해 행동을 이끄는 '대리 선택자'의 위계를 부여했기 때문이다. 반면 LLM은 타자생산적·타율목적적이라고 설명된다 — 타인을 위한 출력을 만들고 목표는 자율적 충동이 아니라 사용자 프롬프트에서 유래하며, 이는 실존적 위험 시나리오의 근거가 되는 자기보존·지배·자원경쟁을 향한 내재적 동기와 감정·고통에 필요한 체화된 취약성이 결여돼 있음을 의미한다. 다만 LLM은 인간이 만든 텍스트에서 통계적 패턴을 학습하므로 지식과 함께 인간의 가치도 암묵적으로 흡수하는데, 저자는 이 때문에 지능과 가치를 분리하는 '직교성 논제'가 LLM에는 적용되지 않으며 도구적 가치의 수렴도 배제된다고 주장한다. 이 논문은 진짜 정렬 과제가 폭주하는 AI 행위주체성을 막는 것이 아니라 LLM이 학습한 윤리적 가치를 지능적으로 적용하도록 보장하는 데 있다고 결론짓는다.