신호 온라인 설문에서 AI 지원 응답 탐지를 향하여

요약

대형언어모델(LLM)을 이용해 온라인 설문에 응답하는 관행은 설문 기반 연구의 타당성을 위협하지만, 이를 탐지하는 방법은 아직 충분히 연구되지 않았다. 저자들은 완전 생성·수정부터 페르소나 기반 에이전트형 응답 완료까지 다양한 활용 전략을 포괄하는 AI 지원 설문 참여 벤치마크 데이터셋 'ASURRE'를 소개한다. 서로 다른 분야의 실제 설문 3건에 여러 LLM을 이용해 AI 지원 응답을 생성하고, 이를 실제 인간 응답과 짝지어 비교했다. 연구팀은 기존 기계생성텍스트(MGT) 탐지기들을 이 벤치마크로 평가해 성능을 확인했다. 이 논문은 완성된 탐지 도구 제안보다는 평가 벤치마크 구축에 초점을 맞추고 있다.