Ropedia Xperience 2 공개: 첫 배치 126개 장면과 정합 도구의 실행 조건

Ropedia Xperience 2는 실내 공간의 3D 스캔과 사람의 작업 영상을 로봇 학습에 재사용하려는 데이터 프로젝트다. 연구진은 1,589개 스캔과 74종 작업의 4,230개 1인칭 기록, 총 131시간을 논문에 제시했다. 다만 전체 수집 규모와 지금 내려받을 수 있는 파일은 구분해야 한다.

논문은 2026년 11월 12일 16:37:21 UTC에 제출됐다. Hugging Face 논문 소개 등록일은 11월 13일이다. 현재 공식 데이터 카드는 첫 배치 126개 장면, 약 1.07 TB가 공개됐다고 안내한다. 나머지는 순차 공개 예정이다.

스캔과 행동 기록을 함께 모으는 방식

운영자는 LiDAR로 공간을 스캔한 뒤 머리에 HOMIE Gen 2를 착용하고 해당 공간의 작업을 기록한다. 장비에는 어안 카메라 4대와 IMU, 4채널 오디오가 있다. 연구진은 공간과 사람의 행동을 함께 수집해 시뮬레이션 환경, 로봇 동작 경로와 후속 작업 데이터로 재사용하는 방식을 제안한다. 이 설명은 공식 프로젝트 페이지와 논문에서 확인할 수 있다.

공개 자료에는 스캔의 메시·3D Gaussian splat·카메라 정보, 이동 영상, 몸과 손의 동작 추정치, 작업 주석 등이 포함된다. 개발자는 영상만 읽는 데이터 로더로 모든 자료를 다룰 수 있다고 가정하면 안 된다. 장면과 기록을 연결할 좌표계, 시간 기준, 파일 종류를 먼저 확인해야 한다.

첫 배치의 좌표계를 먼저 확인하기

데이터 카드는 첫 배치에서 스캔과 HOMIE 기록이 각자의 좌표계를 사용하며 기록을 스캔에 맞추는 정합 정보는 아직 파일에 포함되지 않았다고 명시한다. 논문과 소개 페이지의 통합 좌표계 설명을 개별 다운로드 파일의 준비 상태로 받아들이면 안 된다.

시간과 회전 표기도 다르다. 키프레임 이름과 IMU 시간은 나노초이고 f_slam.txt는 초다. 텍스트 자세 파일은 camera-to-world 변환과 x y z w 순서의 쿼터니언을 쓴다. COLMAP 파일은 world-to-camera 변환과 w x y z 순서를 따른다. 두 형식을 섞으면 경로를 잘못 배치할 수 있다. 이 차이는 데이터 카드의 Conventions에 정리돼 있다.

정합 도구의 입력과 판정 읽기

공식 GitHub 저장소는 이미 처리한 HOMIE 기록 하나를 KOSMO 스캔 하나에 맞추는 도구를 공개했다. 코드 라이선스는 Apache-2.0이다. 이 도구는 원래의 SLAM 경로나 몸·손 동작을 새로 추정하지 않는다. 센서 전처리와 후속 시뮬레이션은 별도 구성 요소다.

정합 문서는 Python 3.10~3.12를 안내하며 Linux의 Python 3.12에서 검증했다고 밝힌다. 공개 데이터 카드의 폴더 구조와 도구가 요구하는 처리 완료 입력 구조도 대조해야 한다. 문서가 요구하는 텍스트 COLMAP 모델, 이미지, 메시, 영상과 보정 정보를 확인하기 전에는 다운로드 경로만 넣어 실행할 수 있다고 단정하기 어렵다.

도구는 출력 파일이 생겼더라도 판정값을 읽도록 요구한다. VERIFIED는 시각적으로 기록과 장면이 짝을 이루는지 확인한 결과다. PASS는 정합 품질 검사까지 통과한 결과이며 깊이 검사를 건너뛰거나 사용할 수 없으면 받을 수 없다. 합성 예제도 변환 적합과 저장을 시험할 뿐 이미지 검색·PnP·깊이 검증 전체를 재현하지 않는다.

사용 조건과 주석의 한계

데이터 라이선스는 코드와 다른 CC BY-NC 4.0이다. 데이터 카드는 출처를 밝히는 비상업적 사용을 안내하고 상업적 라이선스는 저장소 토론으로 문의하도록 한다. 코드의 Apache-2.0 표기를 데이터 이용 조건으로 옮겨 해석해서는 안 된다.

작업 주석은 영상언어모델이 자동 생성했으며 물체 이름·개수·행동에 오류가 있을 수 있다. 첫 실험은 장면 하나에서 시작해 파일 목록과 좌표 변환을 확인하고 주석을 영상과 대조하는 편이 좋다. 이 글은 공개 문서와 배포 상태를 확인했으며 정합 도구의 실행이나 실제 로봇 성능을 독립 재현한 결과는 포함하지 않는다.