신호 논문, 네덜란드 정부용 LLM 평가 프레임워크 'Grip on LLMs' 제시

요약

한 프리프린트 논문이 네덜란드의 한 주요 지방자치단체와 함께 개발한 정부용 LLM 평가 프레임워크 'Grip on LLMs'를 소개했다. 이 평가체계는 사실성·정직성·사회적 편향·에너지소비·비용·학습데이터 투명성이라는 여섯 개 기준에 걸쳐 다국어 모델과 네덜란드어 특화 모델을 합쳐 30개 이상을 평가한다. 분석 결과 모든 기준에서 고르게 우수한 단일 모델은 없었으며, 품질이 높아질수록 환경영향과 비용도 함께 커지는 경향이 확인됐다. 반면 편향 정도는 품질이나 비용과 대체로 무관한 것으로 나타났다. 연구팀은 사실성과 정직성이 서로 독립적인 속성이어서 사실성이 높다고 해서 정직성도 높다고 볼 수 없다는 점도 발견했다. 이와 함께 정부의 LLM 선정에 관여하는 정책결정자와 엔지니어를 위해 일반에 공개하는 모델 개요 자료도 함께 배포했다.