신호 정치학 재현 7종에서 본 JEV 대 LLM 비교

요약

이 논문은 고정된 답 집합에 대한 결정과 확률 분포를 돌려주는 상업 모델 JEV가 사회과학 텍스트 과제에서 LLM에 필적하는지 검증한다. 저자들은 출판된 연구의 정치학 재현 과제 7종에서 JEV를 LLM 및 사람 코더와 비교했다. 비교군에는 중급 상업 LLM GPT-6 Luna와 오픈 가중치 모델 Qwen3.8-27B가 포함됐다. JEV는 여러 과제에서 두 LLM과 대등하거나 근접한 성능을 보였다. 그러나 OpenAI 배치 가격 기준으로 GPT-6 Luna 대비 비용 이점은 확인되지 않았다. 질문당 1회 응답에서는 JEV의 확률이 GPT-6 Luna의 토큰 확률보다 잘 보정됐지만 Qwen3.8-27B보다 일관되게 낫지는 않았다. 저자들은 속도가 필요하지 않다면 선택 확률을 다루기 쉬운 점 외에 뚜렷한 장점이 없다고 결론짓는다.