신호 검열형 평정척도에서의 이중차분 설계, LLM 심판 감사에서 허위 효과를 만들어낼 수 있음

요약

LLM을 심판으로 활용해 편향을 감사할 때는 보통 같은 항목 안에서 조건을 대조하는 강한 이중차분 설계를 사용한다. 이 논문은 사전에 설계를 등록한 뒤 실제 LLM 심판 감사를 수행해, 이런 설계가 특정 상황에서 문제를 일으킬 수 있음을 보여준다. 구체적으로는 검열형 평정척도에 이 설계를 적용할 경우, 실제로는 존재하지 않는 효과가 인위적으로 만들어질 수 있다는 것이다. 이는 곧 이런 방식으로 이뤄진 기존 편향 감사 결과 가운데 일부가 허위일 가능성을 시사한다. 다만 현재 확보된 내용은 초록 수준의 핵심 주장에 그치며, 구체적인 표본 규모나 정량적 결과는 논문 본문을 확인해야 알 수 있다.