신호 연구 공동체 전반의 AI 보조 동료심사: 심사자 AI 정책부터 LLM 심사 품질까지

요약

알렉산더 M. 피히틀, 루카스 엘링거, 요제핀 켈버, 크리슈토프 올리크, 게오르그 그로 연구진이 2026년 8월 4일 arXiv(cs.CY)에 연구 공동체 전반의 AI 보조 동료심사를 다룬 논문을 공개했다. 저자들은 우선 AI/NLP 학술대회·의학저널 111곳의 심사자용 AI 정책을 조사해 두 학문공동체 간 규제 수준이 상당히 다름을 확인했다. 이어 ICLR 2026과 Nature Communications의 원고 제출본과 수백 건의 인간·AI 생성 심사평을 포함한 신규 데이터셋으로 AI 생성 동료심사의 품질을 평가하며, 오픈소스·독점 모델을 LLM-as-a-Judge·점수 일치도·세밀함·인간 심사자 지적사항과의 중첩도 등 복합 지표로 비교했다. 그 결과 현재 LLM은 상세하고 유창한 심사평을 생성할 수 있으나, 지나치게 긍정적인 추천, 일반론적 비판, 근거 제시의 불균형 같은 체계적 약점을 보였다. 저자들은 종합 품질 점수만으로는 심사 품질을 과대평가할 수 있다고 지적하며 AI 생성 동료심사에 대한 다차원 평가가 필요하다고 주장한다.