신호 세계 모델은 무엇을 잊어야 하나 — 불변성 시간 척도별 지식 보존

요약

이 논문은 과거 데이터에서의 성능 저하를 실패로 보는 기존 지속학습 관례가 세계 모델에는 맞지 않는다고 주장한다. 세계 모델의 예측 대상인 환경은 변하므로 낡은 지식은 버리는 것이 올바른 행동이다. 그러나 물리 법칙이나 대상 영속성처럼 절대 수정되면 안 되는 지식도 함께 있다. 저자들은 지식 보존을 불변성 시간 척도에 따라 계층화해, 불변 지식과 빨리 고쳐야 할 개별 사실을 나누자고 제시한다. 기존 망각 지표는 정상적 갱신과 치명적 망각을 구분하지 못하고 동결 모델을 가장 높게 평가한다고 지적한다. 제안하는 차등 보존 지표는 적응 과정 전체에서 불변 지식의 회귀 시험과 수정 지연 시간을 집계 없이 함께 보고한다. 기존 물리 추론 벤치마크는 동결된 체크포인트만 평가한다는 점도 짚는다.