신호 LLM, 대화 기억이 길어지면 "내 말인지 상대 말인지" 구분 능력 무너져 — 연구

요약

연구진은 LLM이 자신이 생성한 콘텐츠와 사용자가 제공한 정보를 구분하는 '현실 모니터링' 능력을 갖췄는지, 6개 LLM을 대상으로 한 2건의 실험을 통해 검증했다. 최소한의 기억 부담 조건에서는 모델들이 자기 생성 콘텐츠를 거의 완벽하게 식별해, 이전 자신의 출력을 정확히 귀속시켰다. 하지만 대화에 에피소드 지연이 추가되자 이 정확도는 역전돼, 오히려 외부에서 제공된 항목을 식별하는 데 취약하게나마 우위를 보였다. 피드백을 제공하자 두 가지 실패 패턴이 드러났다 — 일부 모델은 내부·외부 판단이 완전히 뒤바뀌었고, 다른 모델은 정확도는 개선됐지만 확신도와 정확성이 분리되는, 기존 벤치마크로는 보이지 않는 해리 현상을 보였다. 연구진은 이 패턴이 모델의 전체 파라미터 규모보다는 활성 파라미터 수와 관련이 있음을 확인했다. 인간의 현실 모니터링 실패가 환각·작화와 연결된다는 점을 감안하면, 자율적인 멀티턴 역할을 맡는 AI 시스템에게는 '무엇을 아는가'뿐 아니라 '그 지식이 어디서 왔는가'를 추적하는 것도 마찬가지로 중요할 수 있다고 연구진은 주장한다.