RoboScript 공개: 가중치 갱신 없이 로봇의 작업 기억을 만드는 방법

RoboScript는 로봇이 시뮬레이터에서 연습한 결과를 문맥의 Task Memory에 기록하는 에이전트 프레임워크다. 기반 모델의 가중치는 고정한다. 연구진은 이 방식을 World In-Context Learning(WICL)이라고 부른다.

논문은 2026년 11월 9일 18:59:45 UTC에 처음 제출됐다. 최근 AI 뉴스 모음에서 소개됐지만 발표일은 논문의 제출일과 구분해서 읽어야 한다. 연구 결과는 연구진의 자체 평가이며 독립적인 재현 결과는 이번 조사에서 확인하지 못했다.

시연 한 번 뒤에 시뮬레이터에서 연습한다

모델은 과제별 시연 한 번을 출발점으로 삼는다. 이어 시뮬레이터에서 과제를 연습하고 피드백을 Task Memory에 담는다. 배포 때는 이 기억을 고정한 채 새 장면에서 작업한다. 가중치의 기울기를 갱신하지 않는다는 설명이 연습이나 계산 자체가 없다는 뜻은 아니다.

공식 프로젝트 페이지는 Task Memory의 예시를 공개한다. 기억에는 물체의 역할과 작업 절차, 매개변수, 실패에서 배운 내용이 들어간다. 예를 들어 장난감 자동차를 바구니에 넣는 과제는 물체를 잡고 넘겨받아 바구니에 놓는 단계로 기록된다. 개발자는 모델의 가중치를 열어보는 대신 이 텍스트에서 작업 계획을 살펴볼 수 있다.

연구진은 학습 중 감독에 쓰는 시뮬레이터의 특권 정보와 배포 때 로봇이 얻을 수 있는 입력을 구분한다. 제어 계층은 특권 정보를 다루고 에이전트는 배포용 인터페이스로만 환경에 접근한다. 이 구분은 시뮬레이터 내부 정보를 실제 로봇도 받을 수 있다고 잘못 가정하는 일을 막기 위한 설계다.

83.4%의 평가 범위

논문은 RoboTwin 2.0의 50개 과제에서 평균 성공률 83.4%를 보고한다. 일반 장면과 무작위로 변형한 장면을 함께 평가한 결과다. README에 따르면 일반 장면은 83.6%, 변형 장면은 83.2%다. 연습은 일반 장면에서만 진행했다.

연구진은 과제당 시연 50회를 사용한 비교 정책의 성공률을 61.7%로 제시한다. RoboScript의 시연 수는 과제당 1회지만 이 비교만으로 총 계산 비용이나 모든 로봇에서의 우위를 결론낼 수는 없다. 기반 모델과 연습 절차도 시스템의 일부이기 때문이다.

실제 로봇 시연에서는 시뮬레이션의 ALOHA로 만든 기억을 양팔 PiPER에 맞게 변환한다. 공식 페이지는 좌표계와 운동학, 그리퍼를 조정하면서 작업 흐름을 유지한다고 설명한다. 이는 논문의 실제 로봇 전이 사례이며 범용 배포를 보장하는 결과는 아니다.

공개 코드로 확인할 수 있는 범위

공식 저장소는 Apache License 2.0으로 공개됐다. 벤치마크 시뮬레이터와 자산에는 각자의 라이선스가 적용된다. 프로젝트는 1.0 이전 단계이며 인터페이스가 바뀔 수 있다.

시작 예제는 시뮬레이터·GPU·모델 없이 실행하는 Mock 벤치마크다. 이 예제의 실행 성공은 로봇 성능 재현과 구분해야 한다. README의 실제 로봇 배포 코드는 아직 TODO로 남아 있고 BEHAVIOR 연동도 개발 중이다.

우선 Mock 예제로 구성 요소 사이의 호출 흐름을 파악하고 RoboTwin 평가 절차로 넘어가는 접근이 적절하다. 이번 조사에서는 원문과 코드 공개 상태를 확인했으며 예제 실행이나 로봇 실험은 수행하지 않았다.