신호 BATON: 장기 로봇 조작을 위한 전환 인지형 메모리

요약

한 연구는 LLM 에이전트가 지휘하는 시각-언어-행동(VLA) 시스템이 장기 로봇 조작 과업에서 겪는 두 실패 양상을 다룬다. 하나는 단계가 늘어날수록 탐색 비용이 곱셈적으로 커지는 문제이고, 다른 하나는 하위작업 간 전환을 표현할 방법이 없다는 문제다. 저자들은 이를 해결하기 위해 BATON이라는 프레임워크를 제시하는데, 하위작업 자체를 탐색 단위로 삼아 비용을 덧셈적으로 바꾸고 각 하위작업의 해법을 메모리에 저장한다. 여기에 전환 인지형 메모리를 결합해, 검증자 에이전트가 VLA 호출 시점을 관리하고 핸드오프 메커니즘이 이전 하위작업이 흐트러뜨린 진입 상태를 복원하며, 예측 메커니즘이 다음 하위작업에 유용한 전략을 고르게 한다. 이 과정에서는 모델 매개변수를 갱신하지 않는다. 장기 과업 벤치마크 RoboMemArena에서 BATON은 기존 최고 성능 대비 과업 성공률을 11.6%포인트, 누적 성공률을 14.9%포인트 끌어올린 것으로 보고됐다.