Ai2 ToyBlocks: 로봇의 계획과 동작 실패를 나눠 평가하는 실험 환경

Ai2가 2026년 11월 6일 소개한 ToyBlocks는 로봇 팔과 탁자 위 블록으로 학습과 평가 조건을 통제하는 시뮬레이션 환경이다. 데이터를 만들고 정책을 학습한 뒤 실패가 계획에서 생겼는지 실제 동작을 고르는 단계에서 생겼는지 따로 살펴보도록 설계했다. 공개 코드와 문서가 있으며 완전히 통합된 RL 학습 기능은 추후 추가할 계획이다. Ai2 공식 소개

성공률 뒤의 실패 원인 찾기

로봇이 블록을 엉뚱한 곳에 놓았다면 원인은 여러 가지다. 목표 블록을 잘못 골랐을 수도 있고 올바른 블록을 골라도 집는 동작에 실패했을 수 있다. 최종 성공률 하나로는 다음 학습에 어떤 데이터를 보태야 할지 판단하기 어렵다.

공식 평가 문서에 따르면 ToyBlocks는 상위 정책과 하위 정책 중 하나를 oracle로 바꾸는 실험을 지원한다. oracle은 정답 계획이나 동작을 내는 참조 구성요소다. 상위 계획을 참조 계획으로 고정하면 하위 동작 정책을 살피고 하위 동작을 참조 동작으로 바꾸면 상위 계획을 따로 점검하는 식이다. 새 장면뿐 아니라 데이터셋에 기록한 초기 상태에서도 평가한다. 정책 평가 문서

개발자 입장에서는 이 구성이 유용하다. 예를 들어 목표 블록 선택은 맞는데 회전에서 자주 실패한다면 언어 모델을 바꾸기 전에 회전 동작의 데이터와 실행 정책을 확인할 근거가 생긴다. 이는 평가 구조를 활용하는 예시이며 특정 모델에서 확인한 실험 결과는 아니다.

데이터 생성과 평가를 연결한다

공식 저장소는 IsaacSim·IsaacLab 위에서 조작 시연을 자동 생성하고 결과를 LeRobot 형식으로 기록한다고 설명한다. ManiFlow 학습과 정책 서빙 코드도 포함한다. 과제 목표는 PDDL로 표현하며 이를 이용해 성공 여부와 부분 진척을 측정한다. 실패한 상태를 데이터 생성 단계로 보내 새 전문가 시연과 복구 동작을 계획하는 경로도 있다. 공식 GitHub 저장소

처음 실험할 때는 데이터 양을 크게 늘리기보다 한 조건만 바꿔 보는 편이 비교하기 쉽다. 블록 위치 범위를 바꾼 실험과 회전 시연을 늘린 실험을 별도로 실행하고 같은 평가 과제에서 어떤 실패가 줄었는지 살피는 방식이다. 이 글에서 제안하는 실험 순서이며 성능 향상을 보장하는 처방은 아니다.

실행 환경부터 확인할 것

설치 문서의 전제는 Linux와 NVIDIA GPU, CUDA 12.8을 지원하는 드라이버 570 이상이다. Isaac Sim 5.1에 맞춰 Python 3.11 가상 환경을 만들고 필요한 서브모듈과 에셋을 준비한다. Docker 환경은 x8664 Linux를 대상으로 하며 문서에는 RTX 5090 32GB에서 시험했다고 적혀 있다. 이 시험 장비를 최소 VRAM 요구량으로 읽어서는 안 된다. [설치 안내](https://allenai.github.io/ToyBlocks/docs/userguide/workflows/installationandsetup_instructions.html)

또한 코드 전체의 이용 조건을 한꺼번에 묶어 판단하기 어렵다. 저장소 본체는 Apache-2.0이지만 서브모듈과 내려받는 에셋은 각각의 라이선스를 따른다고 README가 명시한다. 설치 전에 사용할 구성요소를 정해 해당 조건을 확인할 필요가 있다. 저장소 라이선스 안내

재현과 공개 범위의 한계

공식 평가 문서는 seed를 고정해도 개별 궤적이 비트 단위로 같아진다고 보장하지 않는다. 병렬 환경이 물리 장면을 공유하고 GPU 물리 계산과 실행 순서의 영향을 받기 때문이다. 결과를 비교할 때는 GPU·드라이버·시뮬레이터 버전과 병렬 환경 수를 함께 기록하고 여러 에피소드의 집계 지표를 살피는 것이 문서의 취지에 맞다. 평가 재현성 설명

Ai2는 시뮬레이션 에셋과 데이터 생성기, 학습·평가 코드, 예시 모델을 공개했다고 설명한다. 더 큰 데이터셋과 완전히 통합된 RL 학습 기능은 앞으로 추가할 대상으로 구분했다. 현재 패키지가 로봇 학습의 모든 단계를 완성했다고 해석하면 공개 범위를 넘는다. Ai2 공개 범위 설명

이번 글은 공식 소개와 저장소·문서를 대조해 정리했다. ToyBlocks를 직접 설치하거나 성능 수치를 독립 재현하지 않았다. 좁은 블록 조작 환경에서 얻은 결과를 일반 로봇 작업으로 확대하기 전에 자신의 작업 조건에서도 같은 실패 구분이 가능한지 확인해야 한다.