신호 새 벤치마크 MIST, LLM 맥락 강건성을 '선택적 신뢰' 문제로 재정의

요약

시안 순, 웨이 차우, 잉숴 왕, 준하오 리우 등이 발표한 프리프린트는 언어모델이 외부신호에 답변을 점점 더 의존시키며, 잘못된 신호 하나가 정답을 오답으로 바꿔놓을 수 있다고 지적한다. 이런 신호에 저항하도록 학습시키는 통상적 해법은 새로운 실패모드를 낳는다 — 모든 맥락을 무시하는 모델은 겉보기에 강건해 보이지만 실제로 신뢰할 만한 맥락이 주어졌을 때는 쓸모없어진다. 저자들은 이 문제를 전면적 저항이 아니라 '선택적 신뢰'로 다시 정의하고, 이 더 정교한 역량을 평가하기 위해 사람이 직접 주석한 벤치마크 MIST를 내놓는다. 이 연구는 상충하거나 불확실한 외부정보를 가늠해야 하는 AI 에이전트의 핵심 신뢰성 과제를 겨냥한다. 저자들은 이런 재정의가 향후 관련 모델 평가의 표준이 될 수 있다고 본다.