신호 측정으로서의 데이터 주석

요약

현대 AI 시스템의 기초 입력인 데이터 주석을 단순히 주석자간 일치도 문제로 좁혀 다뤄서는 안 되며 측정 행위로 이해해야 한다는 주장이 한 연구를 통해 제기됐다. 저자들은 현재 관행이 여러 주석자 사이의 일치를 주석 품질의 충분한 증거로 취급하지만, 일치만으로는 그 주석이 대표하려는 근본 개념을 타당하게 포착하는지 입증할 수 없다고 지적한다. 이들은 측정이론을 끌어와 주석 품질 평가를 합의 중심에서 타당성 중심으로 재구성할 것을 요구한다. 이런 전환은 AI 학습데이터의 근본적 신뢰성을 다시 점검하자는 제안이다. 저자들은 이를 통해 주석 품질을 둘러싼 논의의 초점 자체를 바꾸고자 한다.