신호 논문, 언어별 토큰화 비용 격차 측정 벤치마크 제안

요약

한 프리프린트가 재현 가능한 벤치마크 '토큰화 형평성 감사(TEA)'를 새롭게 제안했다. 대형언어모델은 범용 교육·기술지원 시스템으로 점점 더 많이 배치되고 있다. 하지만 그 기반 인프라는 언어를 동등하게 취급하지 않는다고 논문은 지적한다. 논문은 토큰화를 제대로 조명되지 않은 격차의 원인으로 지목하며, 의미상 동등한 콘텐츠도 언어에 따라 토큰 수가 크게 달라진다고 밝힌다. 이는 모델 호출 전부터 API 비용·지연·유효 컨텍스트 길이에 영향을 미친다. 결국 이런 구조적 차이로 인해 이미 소외돼 있던 언어 공동체가 또다시 불이익을 받게 된다.