신호 세션 경계를 넘는 인컨텍스트학습 상태 인계

요약

대형언어모델 애플리케이션에서 컨텍스트 한도 도달, 애플리케이션 재시작, 다른 에이전트로의 인계 등으로 작업이 새 세션에서 이어질 때 정보를 어떻게 전달해야 하는지를 다룬 연구가 나왔다. 저자들은 이 '인계'를 과업에 상대적인 인컨텍스트학습 상태의 전달로 정식화하고, 이전 자료를 정확히 복원하는 것과 목표로 하는 예측분포를 보존하는 것을 구분한다. 외생성 조건 아래에서는 예측 등가성이 가장 단순한 결정론적 충분 인계를 규정하고 고정 길이 비트 요구량을 준다는 점을 보인다. 이들은 결정과 제약은 그대로 저장하고, 반복되는 증거에는 과업에 맞춘 통계량을 쓰며, 그 통계량으로 보존되지 않는 원 관측치는 별도로 남기는 3단 기록 방식을 제안한다. 가우시안 선형회귀에서는 정확한 유한차원 인계와 유한비트 오차 한계를, 비모수 회귀에서는 메모리와 예측오차의 관계를 잇는 상하한을 얻는다.