신호 DFM Mimir v1: 허용 라이선스 데이터만으로 10억 파라미터급 최전선 성능을 내는 오픈 HRM

요약

현재의 대형언어모델 개발은 대개 허가받지 않은 대규모 데이터셋에 의존하는데, 이는 오픈소스·윤리적 데이터 조달을 지향하는 연구자들에게 높은 진입장벽이 된다. 이 논문은 허용 라이선스 사후학습 데이터만을 사용해 처음부터 학습한, 계층적 추론모델(HRM) 아키텍처 기반의 10억 파라미터 언어모델 Mimir v1을 소개한다. 제한적인 데이터 조달 조건과 작은 파라미터 규모에도 불구하고, 이 모델은 영어에서 매우 경쟁력 있는 성능을 보였다. 저자들은 이를 해당 파라미터 규모에서의 '최전선(frontier)' 수준 결과라고 설명한다. 이 연구는 윤리적으로 조달된 개방 라이선스 학습 데이터가 모델 성능을 희생시키지 않아도 된다는 증거로 자리매김한다. 이는 학습데이터 출처를 둘러싼 AI 거버넌스 논쟁과도 관련이 있다.