신호 AI 에이전트 평가비용 74배 절감 주장하는 통계적 조기중단 기법 제시

요약

보닝 리, 유 첸, 롱보 황이 발표한 프리프린트는 두 AI 에이전트 중 어느 쪽이 더 강한지 비교하는 데 드는 비용 문제를 다룬다. 어느 쪽이 더 강한지 판정하려면 실력이 운을 압도할 때까지 게임을 반복해야 하고, 게임마다 연산·모델추론시간·전문가시간이라는 비용이 든다. 필요한 게임 수를 미리 알 수 없기 때문에 고정예산 평가는 결과가 이미 확정된 뒤에도 계속 비용을 치르거나, 에이전트를 신뢰성 있게 구분하기에는 너무 일찍 멈추게 되며, 통상적인 신뢰구간으로 임의로 조기중단하면 통계적 보증 자체가 무효화된다. 저자들은 불완전정보게임 평가를 위한 검증된 언제나-유효한 조기중단 기법 AV-AIVAT를 제안하며, 기존 고정예산 방식 대비 평가비용을 최대 74배까지 줄일 수 있다고 보고한다. 이는 대규모 에이전트 벤치마킹에서 실무적 병목을 해소하려는 시도다.