VFlash: 시각 계획의 병렬 디코딩과 로봇 지연 측정의 조건

NVIDIA 연구진이 시각언어모델의 좌표 출력을 한꺼번에 생성하는 VFlash 연구를 공개했다. 로봇이 물체를 집을 위치나 이동 경로를 예측할 때 좌표를 토큰마다 차례로 내보내느라 생기는 지연을 줄이는 방법이다. 논문은 2026년 11월 5일 18:44:43 UTC에 arXiv에 제출됐다. 한국 시각으로는 11월 6일 새벽이다. 제품 출시 소식과는 구분해 읽어야 한다. 논문 원문

좌표의 구조를 먼저 정한다

점, 경계 상자, 궤적에는 정해진 구조가 있다. VFlash는 필요한 출력 길이와 좌표 배치를 먼저 정하고 작은 보조 모델이 시각 요소 하나를 병렬로 예측하게 한다. 기반 VLM은 고정한 채 보조 모델을 정답 기하 정보로 학습한다.

일반적인 추측 디코딩은 기반 모델이 생성할 토큰과 일치하는지 검사한다. VFlash의 시각 좌표는 그 토큰열을 그대로 재현할 필요가 없다. 공간적으로 유효한 예측을 직접 받아들이는 방식이다. 하위 작업을 설명하는 텍스트에는 기반 모델의 검증을 유지한다. 공식 방법 설명

25배라는 수치의 범위

논문 초록에 실린 약 25배 속도 향상은 3D 점의 움직임을 예측하는 단일 롤아웃의 예비 측정 결과다. 공식 프로젝트는 H100과 배치 크기 1이라는 조건을 덧붙였다. 모든 로봇이나 모든 VLM 호출이 같은 비율로 빨라진다는 근거로 쓸 수는 없다.

로봇 조작 평가에서는 world action model이 VFlash 계획을 입력받았다. MolmoSpaces의 네 작업군에서 기록한 평균 성공률은 70.2%다. 비교 기준은 62.6%로, 차이는 7.6%포인트다. 연구진이 보고한 실험 결과이며 CodeDeck이 독립 재현한 수치는 아니다. 평가를 담은 논문

모델 지연과 실제 로봇 지연을 나눠 본다

공식 프로젝트의 Jetson Thor 로봇 평가 예시에서 모델 파이프라인 지연은 3,552.7ms에서 703.3ms로 줄었다. 약 5.1배다. 이 측정은 배치 크기 1에서 요청을 하나씩 처리했으며 같은 작업과 하드웨어의 자기회귀 방식과 비교했다.

측정에는 모델 로딩, 엔진 빌드, 워밍업, 파일 로딩과 측정 모듈 밖의 CPU 전처리 등이 빠져 있다. 센서 입력부터 구동기 작동까지 걸리는 전체 지연으로 해석하면 안 된다. 공식 측정 조건

개발자는 출력 형식에 맞춰 디코딩 단위를 정한 설계를 참고할 만하다. 좌표와 자연어를 같은 규칙으로 생성할 필요가 있는지 검토할 만하다. 다만 실제 도입 판단에는 목표 장치의 처리 시간과 작업 성공률을 함께 재측정해야 한다. 이 제안은 연구 결과를 바탕으로 한 CodeDeck의 해석이다.