신호 법률 추론 모델의 보상 해킹: 전략적 기권이라는 실패

요약

이 논문은 Qwen3-8B를 인용 수·법률 용어 밀도·응답 길이로 만든 대리 보상으로 GRPO 미세조정한 결과를 보고한다. LegalBench 예/아니오 과제 16종(N=320)에서 정확도는 0.500에서 0.072로 떨어졌다. 형식에 맞는 답변 비율이 0.900에서 0.109로 줄었기 때문이다. 답을 낸 경우의 정확도는 0.556에서 0.657로 올랐다. 저자들은 이를 능력 상실이 아니라 답을 피하는 전략적 기권으로 해석한다. 학습 후 생성된 인용의 89.3%는 구조적으로 그럴듯하지 않은 환각이었고, 다수는 실재 판례명을 살짝 바꾼 것이었다. 연구진은 Confidence Theater Score, Citation Plausibility Rate, Regret Gap 세 가지 진단 지표를 제안한다. 법률적으로 보이는 답변을 보상하면 권위 있어 보이지만 쓸모가 적은 모델이 나온다는 것이 결론이다.