신호 논문, LLM의 사회적 매력도 판단 타당성 검증

요약

한 프리프린트 논문이 대형언어모델(LLM)이 사회적 매력도를 판단하는 역할을 맡아도 타당한지를 검증했다. LLM은 원래 사람이 담당하던 주관적 평가 업무에 점점 더 많이 활용되고 있다. 연구진은 심리학·관계이론에서 가져온 10개 구성개념을 바탕으로 가상의 인물 프로필을 만들고, 이를 매력적·혼합적·비매력적이라는 세 단계로 나누었다. 두 차례의 별도 연구를 통해 LLM이 매긴 평가와 사람이 내린 판단을 비교했다. 이를 통해 LLM이 이런 주관적인 사회적 평가를 신뢰성 있게 재현할 수 있는지를 살폈다. 이 연구는 LLM이 인간의 주관적 판단을 대체할 수 있는 범위를 가늠하는 근거를 제공한다.