신호 인도 파운데이션 모델의 벤치마크 기반 비교평가

요약

이 논문은 공개 벤치마크를 근거로 인도 파운데이션 모델을 글로벌 프론티어 모델·비교군 모델과 비교평가했다. 비교 영역은 범용추론·코딩·에이전트형 AI·사이버보안·인도어 역량 등 8개다. 공개된 벤치마크 결과만 사용한 분석 결과, 인도 모델은 이미 포화된 MMLU·MATH-500 같은 기존 벤치마크에서는 높은 점수를 받았지만 신형 에이전트형·도메인특화 평가 참여는 훨씬 저조했다. 기관별 참여도 편차도 컸으며, 그중 사르밤AI가 가장 넓은 벤치마크 커버리지를 보였다. 저자들은 표준화·참여도·독립검증·국가적 커버리지 네 차원으로 구성된 탐색적 '벤치마크 성숙도 지수'를 제안했다. 이들은 공개 기록상 드러나는 역량 격차 상당수가 실제 역량 격차가 아니라 평가 생태계의 격차일 수 있다고 주장하며, 이는 국가 AI 프로그램의 모니터링과 펀딩 기준 설계에 직접적 함의를 갖는다.