DreamFree: 미래 영상 생성 없이 로봇 행동을 계산하는 연구

DreamFree는 로봇이 움직일 때마다 미래 영상을 생성하는 비용을 줄이려는 연구다. KAIST 연구진은 영상 모델의 예측 지식을 시각 표현에 옮겨 현재 관측에서 바로 행동을 계산하도록 설계했다. 논문은 2026년 11월 3일 처음 제출됐고 11월 4일 개정됐다. 제품 출시 소식과는 구분해서 읽어야 한다.

미래 영상 대신 예측 표현을 학습한다

월드 액션 모델(WAM)은 영상 모델이 배운 움직임과 장면 변화의 지식을 로봇 제어에 활용한다. 다만 추론 때 미래 영상을 반복 생성하면 시간이 들고 잘못 예측한 장면이 행동에도 영향을 줄 수 있다.

DreamFree는 학습을 나눈다. 먼저 고정된 영상 확산 모델에서 현재·미래 프레임의 내부 표현을 얻고 현재 관측만 받는 시각 인코더가 그 표현을 예측하도록 학습한다. 이어 행동 라벨이 있는 로봇 시연으로 행동 모듈을 학습한다. 배포할 때는 인코더를 한 번 통과한 특징으로 행동 청크를 만든다. 미래 영상 생성은 생략하지만 행동 디코더의 노이즈 제거 단계는 남는다. 논문 본문

17.8배는 행동 청크 추론 지연의 비교다

연구진은 실제 DROID 로봇 환경에서 10개 작업을 정책별로 각각 5회 시험했다. 정책 하나당 50회인 평가에서 DreamFree 성공률은 64%, DreamZero는 56%, π₀.₅는 16%였다고 보고했다. 익숙한 작업 유형에 새 물체나 장면 배치를 적용했고 작업별 추가 미세조정 없이 실행했다.

프로젝트 결과표의 행동 청크당 지연은 DreamFree 91ms, DreamZero 1,632ms, π₀.₅ 81ms다. 연구진이 제시한 17.8배 향상은 DreamZero와의 추론 비교다. 작업 전체를 끝내는 시간이 같은 비율로 줄었다는 의미로 읽으면 안 된다. 14B 영상 백본의 11Hz 동작은 단일 H200 조건이며 A6000 48GB에 들어간다는 설명이 같은 속도를 보장하지는 않는다.

이 수치들은 연구진의 실험 결과다. 이번 확인에서는 독립적인 재현 결과를 확보하지 못했다.

코드 공개와 실제 동작을 따로 확인할 단계다

2026년 11월 8일 확인한 공식 GitHub 저장소는 README에서 코드 공개를 예고한다. 실행 코드가 이미 배포됐다는 전제로 도입 일정을 잡기는 어렵다.

실패 사례도 있다. 논문은 펌프를 누르는 작업에서 목표에 접촉했어도 5회 중 1회만 완료했다고 적었다. 영상으로 새 작업을 배우는 실험에서도 기본 행동 기술의 부족이 제약으로 남았다.

개발자가 살펴볼 부분은 예측 지식을 학습하는 단계와 실제 행동을 계산하는 단계의 분리다. 재현을 계획한다면 코드 공개 뒤 카메라 입력, 행동 청크 설정, GPU 조건을 맞추고 자기 작업의 완료율과 전체 지연을 함께 측정해야 한다. 현재 공개된 논문과 시연만으로 범용 로봇의 성능을 보장할 수는 없다.