신호 AI 정신건강 정보의 출처 인용 다국어·다플랫폼 감사

요약

온라인 건강 정보 탐색은 사용자가 링크 목록을 살펴보는 키워드 검색에서, 단일 답변을 구성하고 인용을 선별하는 대화형 시스템으로 이동하고 있어 출처 평가의 책임이 사용자에서 플랫폼으로 넘어가지만 이들 시스템이 실제로 무엇을 제시하는지는 잘 규명되지 않았다. 연구진은 ChatGPT, Perplexity, Google AI Overview 세 무료 소비자용 제품을 영어 정신건강 질문 20개와 두 가지 프롬프트 조건으로 감사했고, 이 중 3개 질문은 자원 수준이 다른 6개 언어로 추가 번역해 테스트했다. 1,140개 응답에서 총 15,942개 인용, 1,713개 고유 도메인을 수집한 뒤, 인간 코딩으로 검증된 결정론적 분류기로 9개 조직 유형 분류체계를 적용했다. 인용은 크게 집중돼 상위 10개 도메인이 영어 인용의 43.6%를 차지했고, 정부·상업의료·학술 출처가 각각 약 22%로 비슷한 비중을 보였다. 플랫폼 간 전형적 인용 수는 큰 차이가 없었지만 일관성과 선호 출처 유형에서는 크게 갈렸고, 출처를 명시적으로 요청해도 구성은 다소만 바뀌었으며, 비영어 질의는 인용 수가 더 적고 언어에 맞는 자료로 연결되는 비율도 유의하게 낮았다. 연구진은 이번에 사용한 분류체계·분류기·주석 처리된 코퍼스를 생성형 건강 검색 감사를 위한 재사용 가능한 도구로 공개했다.