신호 빠르게 변화하는 적대적 실세계 영역을 AI 과학자 역량 벤치마킹 테스트베드로 활용

요약

윌리엄 볼턴과 필립 토르 연구진이 2026년 8월 4일 arXiv(cs.CY)에, AI 과학자의 새로운 아이디어 생성 능력을 벤치마킹하는 어려운 문제의 해법으로 전문가가 독자적으로 관찰 가능한 산출물을 내는 복잡하고 경쟁적이며 빠르게 변화하는 실세계 영역을 제안하는 논문을 공개했다. 이들은 이 프레임워크를 구조적으로 다른 두 영역에서 구현했다 — 포뮬러원(모델이 2026시즌 자동차 설계 콘셉트를 구상하고 실제 프리시즌 혁신을 정답으로 사용)과 매직더개더링(모델이 최근 개편된 카드 풀에서 덱을 제안하고 19개 프로투어 덱리스트로 평가). 두 영역 모두에서 모델은 그럴듯한 산출물을 냈지만 실제 전문가 해법과 일치하는 경우는 적었다. F1에서는 최고 성능 모델 GPT-5.2가 166개 제안 아이디어 중 실제 혁신 40개 중 10개를 일치시켰다. MTG에서는 제미나이 3 플래시가 만든 최고 덱이 3위 프로투어 덱의 신규 카드 7장 중 5장을 회복했고, 전체 108개 덱에서 모델이 가장 자주 선택한 카드가 실제 프로투어 덱에서 가장 널리 채택된 카드와 상관관계(스피어만 상관계수 0.74, p=0.0003)를 보였다. 저자들은 AI 과학자의 핵심 역량 격차가 아이디어 생성이 아니라 필터링·우선순위화·일관된 참신성에 있다고 결론짓는다.