신호 QuoteBench: 일치 점수가 명령 경로 실패를 어떻게 감추는가

요약

LLM 코딩 에이전트는 모델이 만든 배시 명령을 곧바로 실행하지 않고, 이를 직렬화·포장·재해석하는 소프트웨어 계층을 거쳐 실행한다. 이 때문에 실행 결과가 일치했는지만 보는 기존 채점 방식으로는 실패의 원인이 모델의 명령 생성 단계에 있는지, 아니면 그 이후의 실행 파이프라인에 있는지 가려낼 수 없다. QuoteBench는 바로 이 경계를 측정하기 위해 제안된 벤치마크다. 실제로 관찰된 에이전트 실패 사례를 본뜬 14개 사건 계열에서 뽑은 56개의 단발성 과제에 정확한 최종상태 검증을 적용한다. 명령 생성 오류와 실행 파이프라인 오류를 나눠 짚어냄으로써 코딩 에이전트의 신뢰성을 높이는 데 더 쓸모 있는 진단을 제공하려는 목적이다. 전반적인 AI 안전이나 정책이 아니라 코딩 에이전트 인프라를 겨냥한 좁고 기술적인 평가 도구다.