신호 2022년 나온 공동 임베딩 예측 구조가 이를 가능케 한 통찰로 거명된다

요약

보고서는 월드 모델을 가능하게 한 핵심으로 특정한 구조적 아이디어를 꼽는다. 바로 얀 르쿤이 2022년 내놓은 '공동 임베딩 예측 구조(JEPA)'의 중심 통찰이다. 이 방식은 모델이 원본 픽셀을 그대로 재현하도록 학습시키는 대신, 다음에 일어날 일을 압축된 표현으로 예측하게 한다. 그러면 시스템은 겉모습보다 움직임의 원리와 관계를 배울 수밖에 없다. 그래서 모델은 모든 시각적 세부가 아니라 사물이 시간에 따라 어떻게 움직이고 부딪히고 변하는지를 익힌다. 보고서는 이 통찰을 더 커진 모델, 방대한 실세계 센서 데이터와 함께 오늘날 월드 모델을 떠받치는 세 가지 요소로 든다.