신호 문화적 인식은 표현되지만 해독되지 않는다: 오픈소스 LLM 18종의 신화 지식 추적

요약

야로슬라프 첼롬비트코, 예카테리나 첼롬비트코, 미카 해맬래이넨 연구진이 2026년 8월 3일 arXiv(cs.CY)에 오픈소스 LLM이 제우스·주피터·토르 같은 신격은 안정적으로 인식하지만 핀란드·슬라브·이집트·중국 신화의 대응 신격은 훨씬 불안정하게 인식하는 이유를 다룬 논문을 공개했다. 연구진은 톰슨-모티프 기반 병렬 다문화 신화 개체 세트를 사용해, 8개 아키텍처 계열의 오픈소스 LLM 18종에 선형 프로빙·로짓 렌즈·활성화 패칭·출력 추출 기법을 적용했다. 그 결과 모델 내부의 잔차 스트림은 단순 이름-문자열 기준보다 훨씬 우수하게 문화를 구분해내는 것으로 나타나, 문화 정보가 모델 내부에 표현돼 있음을 확인했다. 그러나 디코더 단계에서는 문화 특이적 토큰이 지배적 전통(그리스·로마 신화 등)의 토큰으로 붕괴돼, 실패가 표현이 아니라 해독(readout) 단계에서 발생함을 밝혔다. 또한 같은 질문을 해당 문화의 모국어와 영어로 각각 물었을 때 실패 양상이 언어 내에서는 군집화되고 언어 간에는 분리되는 것으로 나타나, 디코더가 프롬프트 언어에 의해 게이팅됨을 시사했다. 연구진은 18개 모델 전체를 아우르는 개체별 평가 프레임워크와 출처가 명시된 기준 데이터셋을 공개했다.