신호 한 브라질 은행이 사람 전문가와 함께 레드팀 에이전트를 붙여 공격 시험을 한다

요약

딜로이트는 보안 팀이 AI를 활용하는 분야로 레드팀 훈련을 꼽는다. 공격을 흉내 내 AI 시스템을 강하게 시험함으로써 공격자보다 먼저 약점을 찾아내는 방식이다. 브라질 금융기업 이타우 우니방쿠는 이 훈련에 에이전트를 투입했다. 이 회사는 인간 전문가와 AI 시험 에이전트를 함께 회사 전반에 배치한다. 이른바 레드 에이전트는 반복 과정을 거쳐 윤리 문제, 편향, 부적절한 콘텐츠 같은 위험을 찾아 줄인다. 신기술 책임자 로베르투 프로사르드는 규제 산업에서는 신뢰가 가장 중요하기에 모델을 깨뜨리는 여러 방식을 시험하고 재시험하는 데 많은 시간을 쓴다고 말하며, 보고서는 모델을 속이도록 만든 입력으로 학습시키는 적대적 학습도 함께 소개한다.