신호 Magnet: 역량 축적을 통한 세션 간 AI 오용 탐지

요약

나탈리 이삭과 매튜 드레스먼 연구진이 2026년 8월 3일 arXiv(cs.CY)에 '세션 간 목표 분해'라는 새로운 AI 안전 회피 기법을 다루는 논문을 공개했다. 이 기법은 공격자가 유해한 목표를 무해해 보이는 단위로 쪼개 상태를 저장하지 않는 개별 에이전트 세션들에서 각각 수행시키는 방식이다. 연구진은 이 기법이 동등한 단일 세션·다중턴 공격보다 더 큰 유해 역량을 이끌어낼 수 있음을 보였는데, 이는 AI 에이전트는 세션 간 기억이 없지만 공격자는 그렇지 않다는 비대칭성을 악용한 것이다. 논문은 기존 AI 오용 탐지 연구 대부분이 단일턴 또는 단일 세션 다중턴 위협 모델에만 초점을 맞춰온 구조적 공백을 지적한다. 이를 해결하기 위해 저자들은 개별 세션을 하나하나 조사하는 대신 사용자 ID 같은 상위 식별자 단위로 시간·세션에 걸쳐 축적된 역량 증거를 취합하는 탐지 기법 'Magnet'을 제안한다. 이 시스템은 개별적으로는 무해해 보이는 다수 세션에 흩어진 결정적 증거들을 하나의 증거 묶음으로 모아 탐지기가 판단할 수 있게 설계됐다.