신호 모델 품질·안전·편향을 평가하는 공개 학술 체계로 HELM이 인용된다

요약

KPMG는 조직이 AI 위험을 평가하고 줄이는 데 쓸 수 있는 새 도구의 예로 HELM(언어 모델 종합 평가)을 든다. HELM은 대규모 언어 모델의 품질과 안전성, 편향을 측정하는 공개된 학술 체계다. AI 솔루션 설계자이자 전략 자문가인 노엘 러셀은 조직이 이런 모델 평가 체계를 도입하라고 권한다. 그녀는 마이크로소프트, 아마존, 엔비디아 같은 기업이 이런 평가 결과를 한눈에 보여 주는 순위표를 개발자 도구 안에 넣어 두었다고 소개한다. 러셀은 무엇을 만드는지에 주의를 기울인다는 것은 고르는 모델 하나하나에 엄격함과 규율을 적용하는 일이라고 강조한다. 모델 선택 자체가 위험 관리의 출발점이 된다는 뜻이다.