신호 LLM 채점·피드백은 "진단적으로 보이지만 실제로는 얕다"

요약

50개의 개방형 컴퓨터공학 문제에 대한 학생 응답 3,041건을 인간 강사와 상용 대형언어모델 3종이 각각 채점한 JorGPT 데이터셋을 분석한 연구가, 고등교육에서 AI가 생성한 채점·피드백의 겉보기 진단력과 실제 진단력 사이에 체계적인 간극이 있음을 밝혔다. LLM이 산출한 세부 루브릭 점수들은 서로 매우 높게 상관돼 있어, 독립적인 진단 정보가 아니라 중복된 정보를 제공하는 것으로 나타났다. 모델이 생성한 텍스트 피드백은 학생의 근본적인 오개념을 거의 짚어내지 못해, 탐지율이 5～7%에 그쳐 인간 교사의 15～31%에 크게 못 미쳤고, 이는 진정한 진단 도구가 아니라 체크리스트 수준의 기능에 가까웠다. AI가 생성한 피드백의 어조는 학생 응답의 실제 품질과 무관하게 항상 긍정적으로 유지돼, 인간이 작성한 피드백에서 나타나는 심각도 조절이 결여돼 있었다. 채점 정확도는 지식 영역별로 큰 차이를 보였으며, 절차적 성격의 주제에서 모델의 신뢰도가 가장 높았다. 연구진은 이 결과가 LLM 기반 채점 중 신뢰할 수 있는 부분과 여전히 인간의 지속적인 감독이 필요한 부분을 구분하는 경험적 근거를 제공한다고 주장한다.