신호 EduClaw-Bench: 시뮬레이션 학습자를 활용한 교육용 LLM 에이전트 장기 벤치마크

요약

이웅기, 이숙본, 정예일, 이은주, 신민철, 권회림 연구진이 2026년 8월 4일 arXiv(cs.CY)에 단일 세션이 아니라 지속적 관계에 걸쳐 AI 튜터 에이전트를 평가하는 공백을 다루는 벤치마크 'EduClaw-Bench'를 소개하는 논문을 공개했다. 이 벤치마크는 AI 튜터 에이전트를 지식추적(KT) 기반 시뮬레이션 학습자와 30일간 지속되는 관계에 두는데, 실제 학생 데이터로 훈련된 KT 모델이 주도하는 학습자의 개념숙달도가 답변을 결정하며 55개 시나리오에 걸쳐 학습성과를 측정한다. 각 에이전트는 3가지 주요 축(학습성과·반응성·유용성)과 2가지 커리큘럼설계 축(Gagné·Rosenshine 교수모형)으로 평가되며, 유용성·커리큘럼 축은 서로 다른 계열의 LLM 심사위원 3인이 판정한다. 3개 기반모델 계층에 걸쳐 에이전트 어댑터 10개를 평가한 결과, 단일 계층·단일 세션 평가로는 얻을 수 없는 두 가지 발견을 확인했다 — 튜터링 품질은 기반모델과 에이전트 하네스가 결합해서 결정되며 어느 한쪽만으로는 결정되지 않는다는 것, 그리고 30일 전체 기간 동안 좋은 튜터링을 지속하는 조합은 거의 없다는 것이다. 보정 점검(ECE=0.049)과 실제 교실 현장연구는 시뮬레이션 학습자와 그 측정치가 실제 교실 행동을 잘 반영함을 확인했다.