신호 AI 에이전트 위원회의 '상관된 오류' 모델링, 의사결정 손실 15.7% 감소

요약

이 연구는 다수의 AI 에이전트가 함께 투표해 결정을 내리는 '위원회' 구조에서, 오류가 독립적이 아니라 서로 상관돼 있을 때 어떻게 작동하는지를 모델링해 고전적 투표 이론의 전제에 도전한다. 연구진은 28개 언어모델이 4개의 이진 스크리닝 벤치마크에서 던진 17만 4,384표를 사용해, 정답 사례와 오답 사례 사이에 오류 상관성이 달라질 수 있는 모델을 추정했다. 이 상관 구조를 반영하자 홀드아웃 데이터에 대한 모델 적합도가 개선돼, 독립 가정하 결정계수(R²) 0.840이 전체 의존성 모델에서는 0.967로 높아졌다. 독립 가정만으로 비용민감 임계값을 선택했을 때도 다수결 대비 손실이 60.25에서 52.50으로 줄었고, 상관성을 모델링하자 50.77까지 추가로 감소했다. 종합하면 다수결 대비 기대 손실이 15.73%(95% 신뢰구간 13.41~16.75%) 줄어든 것이다. 연구진은 자동 심사·평가에 쓰이는 AI 에이전트 위원회가 독립 오류뿐 아니라 상관된 오류 패턴을 반영한 임계값 설계를 갖춰야 한다고 시사한다.