신호 큐레이션 코퍼스 생성의 '복사 천장' 노출 통제 기법

요약

언어모델이 그래프 기반 검색으로 큐레이션된 코퍼스에서 답변할 때, 근거 제시 능력이 크게 향상됐다는 결과만으로는 모델이 검색된 구조를 실제로 추론했다고 볼 수 없는데, 제공된 맥락이 이미 정답을 그대로 드러내고 있을 수 있기 때문이다. 연구진은 각 정답 항목이 맥락으로 이미 노출돼 있는지, 모델 답변이 그 노출된 정답을 실제로 회수했는지를 함께 분류하는 '노출 회계' 기법을 제안한다. 이 기법의 기준값인 '복사 천장'은 맥락을 그대로 베꼈을 때의 재현율로, 이를 웃도는 정도를 측정해 판정자 없이 모델 성능을 이 결정론적 기준과 비교한다. 열 개 모델 실험에서 맥락 없는 재현율은 평균 0.26, 근거 제시된 재현율은 평균 0.92였지만, 복사 대비 이득은 모든 모델에서 일관되게 음수였다. 이는 겉보기 성능 향상이 실제 추론 능력의 증거가 아닐 수 있음을 시사하며, 이 기법이 코퍼스 기반 평가의 상시적 통제 수단이 될 수 있음을 뒷받침한다.