신호 Fairness Pruning — LLM의 인구통계학적 편향 위치추정

요약

연구진이 대형언어모델(LLM)의 인구통계학적 편향을 위치추정하고 향후 완화하기 위한 경량 구조적 개입 기법 'Fairness Pruning'을 제시했으며, 이번 연구는 인과적 편향 위치추정에 초점을 맞췄다. 최소대조 프롬프트 쌍과 추론시점 활성화 캡처를 이용해, 모델이 인구통계 속성을 처리할 때 차별적으로 반응하는 뉴런을 GLU-MLP 아키텍처에서 식별했다. 이 방법은 Llama-3.2 계열·Salamandra-2B 등 최대 30억 파라미터 모델에서 벤치마크 평가와 정성적 텍스트 생성 실험을 결합해 실증 평가됐다. 식별된 뉴런을 제로화하면 인구통계 변수 관련 응답이 변화하지만, 균일한 완화 효과가 아니라 저자들이 '양방향 편향 불안정화'라 부르는 현상이 나타났는데, 이는 식별된 뉴런 집합에 고정관념을 강화하는 뉴런과 약화하는 뉴런이 섞여 있기 때문이다. 이 개입은 매우 정교했다 — Llama-3.2-1B에서 전체 MLP 폭의 0.031% 미만인 최대 40개 뉴런만 제로화해도 추론·일반지식 능력의 평균 99.49%가 보존됐다. 저자들은 이 결과가 인구통계학적 편향 처리와 모델 능력이 서로 분리 가능한 회로에서 작동함을 확인해준다고 밝혔다.