操作数据的规模与质量,直接决定模仿学习与 VLA 策略的上限。但「采集」从来不是一件事,而是七条工程路线——各自在质量、产能、成本三角里做不同的取舍。本文按公开论文与项目口径,把七条路线放到同一张对照表里。
01 遥操作真机采集
操作员通过主从臂或手持设备实时操纵真机,同步记录关节角/末端位姿序列与多视角影像。训练数据与目标本体完全一致,不存在迁移鸿沟,精细力控细节(夹爪开合、触觉信号)完整保留——是公认质量上限最高的路线。代价是人力成本随数据量线性增长,单机单操作员约百 episodes/日量级。
02 人体动捕迁移
人穿动捕服或被视觉系统追踪全身运动,经 retarget(重定向)映射到人形本体。人可以直接示范「行走+操作」复合的全身技能,动捕批次可达千 trajectories/日量级,且同一段人体数据可迁移给多种人形。短板在 retarget gap:人手换成夹爪需要动作适配,精细接触类任务精度弱于遥操作,且只适用于人形本体。
03 仿真合成数据
在开源物理仿真引擎里由脚本策略或示教扩增批量 rollout,成功信号自动判定,标注近乎完美;域随机化(视觉/物理参数扰动)用于弥补 sim2real gap。边际成本约等于 GPU 算力,产能近乎无限,还能生成现实里难以复现的危险与长尾场景。鸿沟同样明确:真实纹理、软体/形变物体、接触动力学建模仍不可信,需要真机数据校准回补。
04 众包协作采集
制定统一的数据格式与采集规程,多家实验室/机构用自有设备采集后聚合。开源社区推动的 LeRobot 格式已是事实标准;公开的标杆如 Open X-Embodiment(21 家机构、22 种本体聚合)与 DROID(14 家实验室众包)证明这条路能换来最大的本体与场景多样性。代价是各贡献方质量参差,统一质检与异构设备元数据对齐是持续成本,数据许可需逐方确认。
05 无本体第一视角采集
人戴头戴式多相机终端、手持采集夹爪,在真实场景随行即采——不需要机器人本体在场。头/手轨迹由 IMU 与视觉里程计重建,可叠加深度、触觉、音频。整套设备万元级,产能由人力驱动、上量快,能覆盖真机难以复现的长尾真实工况。核心缺口是无本体关节真值:跨本体复用依赖坐标对齐与动作空间迁移的质量,样本一致性弱于真机遥操作。
06 真机车队规模化采集
量产本体组成采集车队:操作员白天遥操作,夜间用当前策略自主探索并人工复核,数据分布与目标业务场景直接对齐,成功/失败信号可自动闭环。头部厂商的公开口径为百台级车队日产万 episodes 量级,国内厂商开源的百万级轨迹数据体系已验证可行。它是重资产路线:初始资本开支大、冷启动慢,且只覆盖自有本体与已定义的任务。
07 视频学习(互联网规模)
从无动作标注的人类/机器人视频学习视觉表征,或经逆动力学模型补全伪动作标签。公开语料如第一人称厨房活动视频集已达百小时级,互联网规模视频的获取天花板最高,语义与场景覆盖最强。但控制精度最弱:动作标签缺失或噪声大,不能直接学出策略,需后适配;版权与许可必须逐批甄别。
七条路线对照
| 路线 | 质量上限 | 产能 | 成本量级 | 主要短板 |
|---|---|---|---|---|
| 遥操作真机 | 最高(本体一致) | 百 episodes/日/机 | 中(人力线性) | 人力成本、场景受场地限制 |
| 动捕迁移 | 全身分辨率高,精细操作弱 | 千 trajectories/日量级 | 低-中 | retarget gap、仅人形适用 |
| 仿真合成 | 标注完美,保真度受限 | 近乎无限(GPU 并行) | 极低(算力) | sim2real gap、软体不可信 |
| 众包聚合 | 方差大,依赖质检 | 随贡献方扩展 | 低(成本分担) | 标准化执行、元数据对齐、许可 |
| 无本体第一视角 | 缺本体真值 | 人力驱动、上量快 | 万元级/套 | 动作空间迁移、样本一致性 |
| 真机车队 | 高且贴业务分布 | 随车队线性(官方口径万 episodes/日) | 重资产 | 冷启动慢、只覆盖自有本体 |
| 视频学习 | 控制最弱、语义最强 | 互联网规模 | 低(爬取清洗) | 无动作标签、版权甄别 |
没有一条路线能同时赢
七条路线的本质是三种资源(人力、算力、资本)分别杠杆化的结果:遥操作用人换质量,仿真用算力换规模,车队用资本换分布。成熟的产能方案因此都是组合而非单选——以高质量路线打底(遥操作/无本体示范),用放量路线铺规模(动捕/车队/众包),仿真补危险与长尾场景,视频学习做语义底座。组合的关键约束只有一个:同一批次内的口径一致——采集规程、时间同步、标注规范与验收标准必须贯穿每条路线,否则多源数据拼不出一个可训练的数据集。
公开项目与语料(延伸阅读)
- 遥操作:ALOHA / Mobile ALOHA、GELLO、UMI 手持夹爪(均为开源项目)
- 动捕迁移:HumanPlus、H2O、HOVER(公开研究项目)
- 仿真:Isaac Lab、MuJoCo、SAPIEN 生态及 RoboCasa、ManiSkill、MimicGen 等开源基准
- 聚合数据集:Open X-Embodiment、DROID、RH20T、RoboMIND、LeRobot 社区数据集
- 视频语料:EPIC-KITCHENS、RoboNet(公开数据集)