신호 LLM은 동네를 정확히 아는가 — 이동성 예측과 구조적 정합성 검증

요약

세밀한 이동 경로 데이터는 도시계획·교통·공공보건·응급대응에 핵심적이지만 대개 독점적이고 접근이 제한돼 있으며 프라이버시에 민감하다. 대형언어모델(LLM)은 개연성 있는 이동 경로를 생성하고 개인 이동을 예측할 수 있는 잠재적 대안이지만, 총량적인 동네 수준 이동성을 추론하는 능력은 불명확하다. 연구진은 미국 4개 대도시권의 Census Block Group 수준 이동성 예측에서 제로샷 LLM을 평가했으며, 익명화된 Cuebiq 데이터로 점 수준·경로 수준·시간대별 이동성 결과 변수와 사회인구·건조환경 예측변수를 구성했다. LLM 예측을 지도학습 기반선과 비교하고, LLM이 함의하는 예측변수 효과가 실증적 OLS 및 Jonckheere-Terpstra 추세와 일치하는지 검증하는 방향성 정합 분석을 도입했다. 지도학습 모델은 평균 정확도 0.580을 기록한 반면 최고 성능 LLM은 0.435에 그쳤고, 공간적 범위 결과 변수가 예측력이 가장 강하면서도 LLM과 기준선 간 격차도 가장 컸다. 방향성 분석에서 LLM은 결과 변수와 도시에 걸쳐 유사하게 유지되는 조악하고 안정적인 예측변수 수준의 사전 지식에 의존하는 경우가 많았고, 보호대상 집단 예측변수에 대한 비대칭적 처리도 포함됐다. 저자들은 LLM이 도시 맥락에서 총량적 이동 패턴을 부분적으로 복원할 수 있으나, 실증적 정합성과 잠재적 편향을 검증하지 않고서는 그 예측을 구조적으로 근거 있는 것으로 취급해서는 안 된다고 주장한다.