Apple HALO: 가상 집에서 배운 휴머노이드의 성공률과 재현 조건

Apple 연구진이 HALO를 공개했다. 가상 환경에서 만든 데이터로 휴머노이드의 전신 동작을 학습하는 연구다. 낯선 집에서 의자에 앉거나 탁자 아래를 통과하는 연구다. 논문은 2026년 11월 4일 제출됐다. 11월 8일 브리핑에서 소개됐지만 오늘 출시된 제품은 아니다.

가상 집에서 만든 학습 데이터

HALO는 1,000개 가상 집에서 만든 약 300시간의 영상·언어·동작 데이터를 사용한다. 사람이 매번 로봇을 원격 조종해 시범을 수집하는 부담을 줄이려는 접근이다. 다만 새 기술을 추가할 때는 사람이 프롬프트와 동작의 주요 자세를 지정해야 한다. 데이터 수집 자동화가 과제 설계까지 없앤 것은 아니다. 공식 프로젝트 페이지에서 생성 과정과 동작 영상을 확인할 수 있다.

명령 해석과 관절 제어의 다른 주기

시스템은 명령을 세부 과제로 나누는 VLM, 전신 동작을 만드는 생성기, 관절을 제어하는 추적기로 구성된다. 프로젝트 설명에 따르면 각각 약 0.5Hz, 약 3Hz, 50Hz로 작동한다. 생성기는 5초 분량의 동작을 계획하고 새 관측에 맞춰 다시 계산한다. 추적기는 깊이 영상과 로봇의 자세 정보를 받아 그 계획을 실행한다.

이 구분은 로봇 소프트웨어를 만드는 개발자에게 참고할 만하다. 언어로 정한 목표와 실시간 제어의 실행 주기가 다르기 때문이다. 프로젝트는 각 모듈을 별도 디렉터리로 나눴고 시뮬레이션과 실제 기기의 실행 코드도 공개했다. 공식 저장소에서 데이터 생성부터 배포까지의 연결을 살펴볼 수 있다.

91%와 70%를 구분해서 읽기

논문 본문 4절과 표 II는 단일 과제와 연속 과제를 따로 평가한다. 단일 과제는 실제 환경 6곳에서 6종의 동작을 각각 10번씩 시도한 총 360회 실험이며 평균 성공률은 91%다. 학습 중 보지 않았고 미리 스캔하거나 지도를 만들지 않은 공간이라는 조건이다.

여러 동작을 연결하면 평가 범위와 결과가 달라진다. 실제 환경 한 곳에서 세 가지 연속 과제를 각각 10번씩 시험했으며 평균은 70%였다. 문을 통과한 뒤 대상 물체로 가기는 100%, 몸을 숙여 통과한 뒤 앉기는 60%, 몸을 숙여 통과하고 상자로 가서 밀기는 50%였다. 한 동작이 끝난 뒤 로봇의 시선에서 다음 대상이 사라지는 문제가 실패에 관여했다는 것이 연구진의 분석이다.

두 수치 모두 Apple 연구진이 보고한 결과다. 이번 글에서는 실험을 독립 재현하지 않았다. 특히 연속 과제의 실제 평가 장소는 한 곳이므로 일반적인 가정 환경의 신뢰성 수치로 확대해 읽기 어렵다.

코드를 받은 뒤 준비해야 할 것

추적기 README는 저장소에 데이터셋이나 정책 가중치가 포함되지 않는다고 명시한다. 코드 공개와 바로 실행할 학습 완료 모델의 제공 범위를 구분해야 한다. 데이터 준비와 학습을 포함한 재현 작업이 남아 있다.

또한 LICENSE에는 Apple의 별도 이용 조건과 하위 구성요소의 개별 조건이 있다. 실제 적용을 검토한다면 먼저 필요한 학습 산출물을 확보할 경로와 구성요소별 사용 조건을 확인하는 편이 좋다. HALO는 가상 데이터로 낯선 공간의 전신 동작을 학습하는 연구 자료로 읽을 가치가 있다. 도입 판단에는 연속 동작의 실패 처리와 재현에 필요한 준비까지 함께 들어간다.