신호 LLM이 판정하는 '도움됨'을 교육 신호로 재검토

요약

연구진이 범용 '도움됨(helpfulness)' 평가기준이 LLM 튜터링에서 직접적인 정답 제공과 교육적 안내를 구분할 수 있는지를 검증하는 사전등록 감사를 실시했다. 3개 튜터 모델 베이스 각각에서 동일한 기반모델로 구현된 대화형 정책과 교육형 정책을 비교했으며, 고정된 가상의 취약 학생을 짝지어 결정론적 탐지기로 정답 누설과 다음 턴의 독립적 학습 수행을 측정했다. Claude Opus 4.8을 고정·조건비공개 1차 판정자로 사용했고, 그 점수가 확정된 뒤 GPT-5.6 Sol을 이용해 1,179개의 확증적 답변단계 튜터 발화에 대한 사후 강건성 감사를 실시했다. 1차 튜터 베이스에서 두 정책은 도움됨 점수에서 유의한 차이가 없었으나, 교육학 평가기준에서는 완벽하게 순위가 분리됐다. 두 판정자에 걸쳐 교육학적 대조는 탐지된 곳에서 방향성이 유지됐지만, 도움됨 순위는 판정자에 따라 3개 베이스 중 2개에서 뒤바뀌었다. 별도로, 정답이 드러나는 발화 다음에는 모든 베이스에서 일관되게 학생의 독립적 학습 수행이 줄어드는 것으로 나타났으며, 저자들은 이 결과를 판정자와 무관하게 구조적으로 성립하는 것이라 설명한다. 저자들은 이러한 통제된 환경에서 범용 도움됨 지표가 신뢰할 만한 교육 신호가 아니라고 결론짓고, 교육학 특화 평가기준과 결정론적 과정 측정을 결합할 것을 권고한다.