신호 MonitrLLM: 커뮤니티 중심 대형언어모델 평가 인프라

요약

빅터 오제와레, 로 엔카르나시온, 수레시 벤카타수브라마니안, 다네 메탁사 연구진이 2026년 8월 3일 arXiv(cs.CY)에 대화 전문을 사용자가 보고한 과제 의도·성과와 연결하는 오픈소스 LLM 평가 인프라 'MonitrLLM'을 소개하는 논문을 공개했다. 저자들은 벤치마크는 통제된 과제만 측정하고, 대규모 대화 코퍼스는 사용자 피드백 없이 실제 사용 양상만 담으며, 인터페이스 내 피드백은 과제 목적을 모른 채 만족도만 기록해, 이 셋을 상시적으로 연결하는 인프라가 없다는 공백을 지적한다. 이를 입증하기 위해 대학생 26명이 ChatGPT를 2주간 사용하는 실현가능성 파일럿을 진행해 대화 전문이 포함된 평가 보고서 206건을 수집했다. 참가자들이 LLM 상호작용에 대해 평균 5점 만점에 4.19점의 높은 만족도를 보고했음에도, 실제 목표 과제의 실패율은 23.1%에 달하는 것으로 나타났다. 또한 다중턴 대화는 단일턴 대화보다 2.5배 높은 실패율로 보고돼, 긴 상호작용이 몰입이 아니라 난이도의 신호일 수 있음을 시사했다. 저자들은 직접적인 사용자 피드백과 관찰 데이터를 결합하는 인프라가 더 견고한 LLM 평가를 가능케 한다고 주장한다.