신호 LLM 기억 사용의 인지 함정을 측정하는 MemTrapBench

요약

기억 기능은 이제 대형언어모델이 정보를 유지하고 장기 상호작용에서 배우게 하는 핵심 요소로 자리잡았다. 그런데 기존 기억 벤치마크는 정보 추출·저장·검색의 정확성만 평가할 뿐, 불러온 기억이 실제 추론을 어떻게 바꾸는지는 대체로 살피지 않는다. 저자들은 충실히 기록되고 관련 있는 기억이라도 모델의 추론이나 믿음을 왜곡해 현재 과제 수행을 떨어뜨릴 수 있다고 보고, 이런 현상을 기억이 유발하는 인지 함정으로 규정한다. 이를 체계적으로 평가하기 위해 추론 고착과 신념 왜곡이라는 두 유형의 함정을 다루는 MemTrapBench를 제시한다. 두 모델 계열과 다섯 개 기억 프레임워크로 실험한 결과 모든 기억 전략이 기억을 아예 쓰지 않는 경우보다 성능이 낮았고, 가장 성능이 좋았던 방법조차 10% 넘게 떨어졌다. 저자들은 추론 시점에 기억 함정을 피하도록 지시하는 AdaptiveMem을 완화책으로 제안하며, 이 방법이 표준 기억 벤치마크에서의 성능은 유지하거나 오히려 높였다고 보고한다.