신호 노동 분리: 증거 해석과 결정 집계의 분리

요약

한 연구는, 여러 출처를 언어모델로 취합해 결론 내는 시스템에서 '출처 하나하나를 해석하는 일'과 '그 해석들을 결합하는 일'을 분리해야 한다고 주장한다. 이를 위해 저자들은 가설, 신뢰도 구간, 근거, 출처라는 네 항목으로 이뤄진 증거 튜플을 제안한다. 저자들은 정규화하지 않은 가중치를 단순히 합산해 임계값으로 판단하는 방식이, 참조 출처 수에 따라 기준점이 흔들리는 사후확률 임계처리와 다를 바 없다는 문제를 짚고 이를 '계수-척도 표류'라 이름 붙였다. 그러면서 보정된 로그우도비를 합산해 결합하면 이 문제가 해결된다는 것을 보인다. 이 방식을 하나의 장기 추적 코퍼스에 결과가 확정된 뒤와 확정되기 전이라는 두 설정으로 적용했다. 그 결과 작은 시퀀스 인코더와, 중도절단된 생존 손실을 반영한 트리 앙상블을 결합한 모델이 AUPRC 0.921을 기록해 사람이 직접 만든 기준선의 0.805를 웃돌았다.