신호 편향탐지 사례로 본 설명가능AI(XAI) 평가의 한계

요약

예지 스테파노프스키가 쓴 프리프린트는 설명가능AI(XAI)가 충분히 평가되지 못하고 있다는 한계를 짚는다. 이 문제는 편향 탐지와 개념 삭제(unlearning)에 쓰이는 이미지인식 시스템 DetoxAI 사례를 통해 구체적으로 제시된다. 이어 논문은 이미지분류 결정을 설명하는 여러 기법을 인간이 직접 판단하는 방식으로 평가한 사례를 소개하는데, 자동화된 지표에만 기대지 않고 설명이 실제로 사람의 이해와 맞아떨어지는지를 살핀다. 나아가 저자는 시간이 지나며 데이터 분포가 바뀌는 상황에도 설명 기법을 적응시킬 방법을 탐구해, 논의를 정적인 데이터셋 너머로 확장한다. 이런 접근은 현재의 XAI 평가 관행이 정적이고 자동화된 지표에 지나치게 의존하고 있다는 문제의식에서 비롯된다.