신호 AISPA — 상용 AI 시스템 프롬프트의 사용자 중심 감사 프레임워크

요약

연구진이 상용 AI 제품의 시스템 프롬프트를 사용자 관점 8개 차원에서 체계적으로 감사하는 프레임워크 'AISPA(AI System Prompt Assurance)'를 제시했다. 이 프레임워크를 활용해 88개 상용 AI 제품의 시스템 프롬프트에서 추출한 3,249개 지시문을 검토해 각각을 사용자 보호적 지시문 또는 문제적 지시문으로 분류했다. 감사 결과 시스템 프롬프트 설계는 기업별로 편차가 커서, 일부 기업은 제품당 평균 60개 이상의 보호적 지시문을 두는 반면 다른 기업은 평균 5개 미만에 그쳤다. 제품의 98.9%가 보호적 지시문을 하나 이상 포함했지만, AISPA 분류체계의 8개 차원을 모두 충족하는 제품은 24%에 불과했다. 제품의 약 40%는 사용자 이익에 반하는 지시문을 하나 이상 포함했으며, 보호적 지시문과 문제적 지시문이 같은 프롬프트 안에 공존하는 경우가 잦았다. 연구진은 또한 시스템 프롬프트가 시간이 지나며 점차 길어지고 사용자 보호 성격이 강해지는 추세도 확인했다.