신호 실리콘 샘플링의 모드 붕괴 문제 — 의미유사도 평점으로 교정

요약

연구진은 대형언어모델(LLM)로 설문 응답을 생성하는 '실리콘 샘플링' 기법을 검토하며, 생성된 응답 분포가 비현실적으로 낮은 분산을 보이는 '모드 붕괴' 문제가 지속적으로 나타난다는 점을 확인했다. 논문은 이 붕괴 현상이 LLM이 수치 데이터를 직접 생성하는 데 어려움을 겪기 때문이며, 텍스트 기반 응답이 이 작업에 더 적합할 수 있다고 주장한다. 이를 해결하기 위해 연구진은 LLM으로부터 텍스트 전용 응답만 받은 뒤 텍스트 임베딩을 이용해 수치 척도로 매핑하는 '의미유사도 평점(Semantic Similarity Rating)' 기법을 시험했다. 이 기법은 특히 정치적 태도를 묻는 설문에 적용됐다. 그 결과 이 방법이 직접 수치 응답을 요청하는 방식보다 실리콘 샘플링 응답 분포의 충실도를 개선하는 것으로 나타났다. 연구진은 이 접근법이 보정해야 할 파라미터도 상대적으로 적다고 덧붙였다.