신호 인용 아니면 거절 — STEM 강의영상 전용 근거기반 챗봇

요약

검색·요약 기능이 강화된 녹화 강의 영상은 표준적인 학습 자료지만, 학생들은 과목별 세부 질문을 하거나 답변을 강사의 강의 내용과 대조해 검증하기가 쉽지 않다. 연구진은 강의 자료에서만 답하고 타임스탬프가 포함된 인용을 반환하는 검색증강생성(RAG) 챗봇을 결합한 VideoPoints 플랫폼을 한 학기 동안 배포한 결과를 보고한다. 이 챗봇은 활성 수강 과목에서만 검색하고, 챕터 요약으로 전사 순위화를 안내하며 클릭 가능한 타임스탬프 인용을 제공한다. 833개 메시지 중 70.5%가 인용을 포함했고, 어떤 응답도 과목 경계를 넘지 않았으며, 강의 근거가 없을 때는 대체로 답변 대신 거절했다. 사용자들에게는 인용이 가장 꾸준히 유용한 기능이었고, 연습문제 생성은 가장 강하게 요청됐으나 충족되지 않은 기능으로 나타났다. 공개 멀티모달 벤치마크 EduVidQA의 실세계 테스트 분할에서 평가한 결과, 밀집 검색만 사용할 때보다 정답 강의 검색 정확도가 6.3%포인트 향상됐으며, 이는 효과적인 배포가 과목 격리, 근거 있는 인용, 학생들의 학습 방식과의 정합에 의존한다는 점을 보여준다.