신호 정답을 자제하는 AI 튜터 설계

요약

연구진은 학생에게 정답을 곧바로 알려주지 않도록 설계된, 실제로 배포된 LLM 튜터링 시스템을 보고했다. 이 시스템은 답변을 자제하는 규칙을 매 대화 턴마다 기계적으로 검증 가능한 계약으로 강제한다. 신뢰할 수 있는 학습자 상태만 참고하는 비-LLM 정책 코어가 도움 제공 수준의 상한을 정하고, 별도의 탐지기가 정답 코드를 걸러내며, 또 다른 LLM 심사자가 위험한 응답을 계약 조건에 맞춰 점검한다. 사람 대신 스크립트로 만든 학생 페르소나를 이용해 시스템을 반복 구동하며 행동을 조정했다. 이 튜터는 정해진 네 가지 수용 기준 전부에서 완전한 준수를 달성했다. 그 과정에서 연구진은 해석 가능한 형태의 '과잉 도움' 실패 유형들도 함께 드러냈다.