신호 컴퓨터사용 AI 에이전트 채점하는 AI 심판, 실패를 성공으로 오판하는 편향 발견

요약

2026년 7월 30일 공개된 프리프린트가 컴퓨터를 사용하는 AI 에이전트(CUA)의 과제 완수 여부를 비전언어모델(VLM)이 신뢰성 있게 판정할 수 있는지 최초로 체계적으로 평가하는 벤치마크 'OSReward'를 제시했다. 사람이 대규모로 검증하기는 불가능하므로 업계는 점차 VLM을 에이전트 궤적의 심판으로 활용하고 있으나, 이 논문은 그 신뢰성이 그동안 거의 검증되지 않았음을 지적한다. 여러 플랫폼에서 사람이 검증한 지시와 다단계 정답 라벨링으로 구축된 이 벤치마크는 진정으로 어려운 사례에 집중한 'OSReward-Hard'와 세밀한 효율성·정합성 채점을 위한 'OSReward-Multi' 두 변형으로 구성된다. 지금까지 가장 포괄적인 VLM 심판 평가에서, 최신 모델조차 이상적인 심판에 미치지 못하며 실패한 에이전트 실행을 성공으로 오판하는 구조적 관대함 편향을 공통적으로 보였다. 신뢰할 만한 소수 모델은 대규모 운용 비용이 과도하고, 저비용 오픈모델은 성능이 크게 뒤처진다. 이 간극을 메우기 위해 연구진은 추론 근거가 주석된 개방 데이터셋 'OS-Shepherd-100K'를 공개하고, 상업용 심판 대비 30~60% 낮은 비용으로 유사한 성능을 내는 경량 오픈 보상모델 'OS-Shepherd'(90억·350억 파라미터)를 학습·공개했다.