학습 데이터는 어디서 오나 — 텔레오퍼레이션과 데이터 팩토리

VLA 같은 모델은 '이 장면에서 이렇게 움직였다'는 예시를 많이 봐야 배운다. 인터넷에는 글과 이미지가 넘치지만 로봇이 실제로 움직인 기록은 따로 만들어야 한다. 그래서 로봇 업계에서는 데이터 수집 자체가 하나의 산업이 되고 있다.

가장 많이 쓰는 방법은 텔레오퍼레이션(원격 조작)이다. 사람이 장비를 착용하고 움직이면 로봇이 그 동작을 따라 하고, 그 과정의 카메라 영상·관절 값이 학습 데이터로 저장된다. AgiBot World 논문은 두 가지 방식을 썼다고 밝힌다 — VR 헤드셋으로 손동작을 로봇 손끝(엔드이펙터) 움직임에 연결하는 방식과, 손가락까지 사람의 관절을 기록해 로봇 자세로 옮기는 전신 모션 캡처 방식이다. [1]

'데이터 팩토리'는 이런 수집을 공장처럼 대량으로 하는 전용 시설이다. AgiBot World의 경우 4,000㎡ 시설에 가정·소매·산업·식당·사무실 다섯 영역을 실물 크기로 꾸미고 실제 로봇 100대로 100만 건 이상의 궤적을 모았다. 품질 관리를 위해 소량 수집 → 학습 → 배치 평가를 반복했고, 실패했다가 복구한 궤적도 버리지 않고 실패 사유와 시각을 주석으로 달았다고 한다. [1][2]

공공 훈련장도 생겼다. 상하이의 국가·지방 공동 인간형 로봇 혁신센터(国地中心)는 2025년 1월 21일 푸둥 장장에 5,000㎡ 이상 규모의 훈련장을 열고 1차로 이종 휴머노이드 100대 이상을 배치했다. 2025년 말까지 5,000만 건 규모의 체화지능 데이터 코퍼스를 만든다는 목표를 밝혔다 — 목표치이며, 달성 여부는 이 글에서 확인하지 못했다. [3]

중국 국가데이터국은 2025년 10월 고품질 데이터셋 사례로 휴머노이드 체화 조작 데이터셋을 소개했다. 100대 이상의 여러 형태 로봇이 실제 환경에서 수집한 100만 건 이상·2.5PB의 실측 데이터에, 가상 장면에서 만든 합성 데이터를 더한 구성이다. [4]

로봇 회사가 수집 장비를 자체 개발하기도 한다. Spirit AI의 Moz1은 전신을 지연 없이 원격 조작할 수 있어 데이터 수집에 쓰인다고 보도됐다. [5]

실측 데이터만으로는 비용과 속도에 한계가 있어 시뮬레이션(가상 환경) 데이터를 함께 쓴다. 가상에서 배운 동작을 실제 로봇으로 옮기는 과정을 Sim2Real이라 부른다. 2026년 5월 심사에 들어간 중국의 첫 인간형 로봇 국가표준 6건에 '시뮬레이션 테스트 플랫폼 기술규범'이 포함된 것도 이 흐름을 보여 준다. [6][4]

여러 기관의 데이터를 합치는 시도도 있다. Open X-Embodiment는 21개 기관·22종 로봇의 데이터를 한 형식으로 모았다. [7]