FLEX 로봇 연구: 자연어 지시로 작업 특징을 고치는 방법

커피를 나르는 로봇에게 노트북을 피하라고 하면 옆의 휴대전화도 피해야 할까. MIT와 뉴욕대 연구진의 FLEX는 이런 지시에서 공통 속성을 찾아 로봇의 경로 계획에 반영한다. MIT는 2026년 11월 9일 이 연구를 소개했다. 논문은 10월 20일 arXiv에 제출됐으며 CoRL 2026 채택 논문으로 표시돼 있다. MIT 소개, 논문 등록 정보

로봇이 고려할 특징을 고친다

FLEX는 언어로 작업에 필요한 특징을 지정하고 사람의 동작 시연으로 특징별 중요도를 학습한다. 예를 들어 노트북을 피하라는 수정 지시를 받으면 전자기기라는 속성으로 범위를 넓힌다. 경로를 계산할 때 휴대전화도 함께 고려하는 방식이다.

처리는 Add, Generalize, Mask 순서로 진행된다. Add는 빠진 특징을 추가한다. Generalize는 구체적인 특징의 공통 속성을 찾아 적용 범위를 넓힌다. Mask는 현재 작업과 무관한 특징을 제외한다. 연구진은 언어 모델로 GPT-4o를 사용했다. 연구 프로젝트의 방법 설명

MIT 소개 글은 세 단계에 약 5초가 걸린다고 설명한다. 이 수치는 소개된 처리 과정의 시간이며 로봇의 모든 동작이 5초 안에 끝난다는 뜻은 아니다. MIT 소개

시뮬레이션과 실제 시연 자료를 구분하기

연구진은 2D 이동 환경과 7자유도 Franka 로봇 팔의 탁상 작업을 평가했다. 로봇 팔 과제에는 커피, 켜진 초, 볼링공 운반이 포함됐다. 프로젝트 페이지에 따르면 사용자 연구 참여자는 12명이다. 참가자들은 안전을 위해 시뮬레이션의 로봇 동작을 보고 수정 문장을 입력했다. 연구진은 이 문장과 실제 Franka에서 수집한 전문가 시연으로 오프라인 학습을 진행했다. 실험 및 사용자 연구

실제 로봇의 시연 자료를 사용했다는 설명과 사람이 실제 로봇 옆에서 모든 시험을 수행했다는 설명은 구별해야 한다. 공개된 연구 조건은 전자다. 가정에서 장기간 안전하게 작동하는 상용 로봇을 검증한 결과로 확대할 수는 없다.

개발자가 살펴볼 설계

특징을 계속 추가하기만 하면 장면이 바뀐 뒤에도 불필요한 조건이 남을 수 있다. FLEX는 추가·일반화·제외를 따로 다뤄 이런 누적을 줄이는 구조다. 연구진은 단일 편집 방식 등과 비교해 정규화 보상이 높았다고 보고했다. 이는 연구진의 평가 결과이며 이 글에서 독립 재현한 수치는 없다. 논문 본문

로봇 인터페이스를 만드는 개발자라면 확인 대상을 나눠 보는 설계를 검토할 만하다. 사용자가 말한 대상과 모델이 일반화한 대상을 따로 확인하는 방식이다. 노트북 회피가 전자기기 전체 회피로 바뀌었을 때 사용자가 그 범위를 이해하고 수정할 수 있는지 살펴보자는 제안이다. 이는 연구를 읽고 도출한 구현 관점이며 FLEX가 해당 사용자 인터페이스를 제공한다는 뜻은 아니다.

논문과 프로젝트의 공개 설명을 확인했지만 코드 실행이나 로봇 실험은 수행하지 않았다. 현재 프로젝트 페이지에는 작성 중이라는 안내도 남아 있다. 구현을 검토할 때는 연구진 프로젝트와 논문 본문의 평가 조건을 함께 읽는 편이 좋다.