신호 마리오네트: 월드 상태 예측·기하 렌더링·외형 합성

요약

마리오네트는 관절 캐릭터가 등장하는 인터랙티브 게임을 위한 월드모델로, 픽셀을 곧장 자기회귀 생성하는 기존 방식과 달리 상태 예측과 렌더링, 외형 합성을 분리한다. 2단계 자기회귀 동역학 모델이 다개체 관절 골격과 루트 궤적, 회전으로 구성된 276차원 3D 월드 상태를 해석 가능한 형태로 예측한다. 이어 매개변수가 없는 그래픽스 브리지가 이 상태를 포즈 제어 비디오로 바꾸고, 제어 조건부 비디오 확산 모델이 최종 RGB 화면을 합성한다. 불일치하는 행동 시퀀스를 강제로 주입했을 때 48개 검증 구간에서 루트정렬 관절 오차가 31% 달라져, 예측된 상태가 실제로 제어 가능함이 확인됐다. 제약을 두지 않고 두 캐릭터를 생성하면 녹화 세션에서는 약 5미터였던 거리가 21.2미터까지 벌어지고 프레임의 3분의 1에서 지면관통이 나타났지만, 지형 충돌체와 분리 상한을 부과하자 관측모델을 바꾸지 않고도 관통이 66% 줄었다. 상태를 거쳐 외형을 합성해도 화질 저하는 감지되지 않았다.