← 技术文章
TECH NOTES · 数据集指南
公开操作数据集地图:为 VLA 训练选底座
2026-11-11约 8 分钟公开数据集官方口径整理
VLA 与模仿学习的工作大多从公开数据集起步。但公开集之间差异极大:采集路线决定质量形态,规模决定预训练价值,许可决定能不能商用。本文把 20 个常被引用的公开操作数据集按采集路线分组对照,并给出选型清单。
选型五维度
- 本体匹配度:数据产自哪种本体,与你的部署本体差距多大——差距越大,正迁移越弱。
- 规模:预训练看总量,微调看任务族密度。
- 模态完整度:只有影像,还是影像+关节角+末端位姿+触觉俱全;低层控制记录是否保留。
- 许可:是否允许商用(NC 系不允许)、是否要求相同方式共享(SA 系有传染性)。
- 质量口径:有无统一采集规程与质检说明;跨贡献方聚合集要查元数据完整度。
真机遥操作系
| 数据集 | 规模(官方口径) | 发布主体 | 许可 |
| ALOHA/ACT 任务数据 | 数百 episodes/任务量级 | 斯坦福开源项目配套 | Apache-2.0 |
| BridgeData V2 | 数万 trajectories 量级(24 环境) | 高校开源 | MIT |
| RH20T | 万级 trajectories 量级(人体手部+机器人双轨) | 高校团队开源 | CC BY-SA / CC BY-NC 双轨 |
| RoboMIND | 107k 示教轨迹(多本体多场景) | 国内机构联合体 | Apache-2.0 |
| UMI 采集数据 | 数千 trajectories 量级(本体无关) | 斯坦福开源项目 | MIT |
| Language-Table | 数十万轨迹量级(语言条件操作) | 公开研究项目 | Apache-2.0 |
众包聚合系
| 数据集 | 规模(官方口径) | 发布主体 | 许可 |
| Open X-Embodiment | 百万 trajectories 量级(21 机构 22 本体) | 机构联合体 | Apache-2.0 |
| DROID | 95,658 episodes / 2,763 万 frames(14 实验室) | 实验室联盟 | Apache-2.0 |
| LeRobot 社区数据集 | 持续增长(社区众采) | 开源社区聚合 | 逐数据集确认 |
车队规模化系
| 数据集 | 规模(官方口径) | 发布主体 | 许可 |
| AgiBot World | Alpha 10 万+轨迹/300 小时;Beta 100 万+轨迹/2,976 小时 | 国内头部本体厂商开源 | CC BY-NC-SA 4.0 |
仿真合成系
| 数据集 | 规模(官方口径) | 发布主体 | 许可 |
| RoboCasa | 十万 trajectories 量级(家用场景生成) | 开源生态基准 | MIT |
| ManiSkill 2/3 | 按任务可在线生成 | 高校团队开源 | Apache-2.0 |
| LIBERO | 按任务族示教轨迹(终身学习基准) | 高校开源 | Apache-2.0 |
| BEHAVIOR-1K | 1 万 episodes / 约 1.19 亿 frames(千种日常活动) | 高校开源 | MIT |
| RoboTwin | 任务族示教轨迹(双臂协同基准) | 国内高校联合体 | MIT |
| CALVIN | 按示教轨迹(长程语言条件基准) | 研究机构联合 | MIT |
| MimicGen | 约 10 条示教扩增数十万轨迹(论文口径) | 开源工具与数据 | CC BY-NC-SA 4.0 |
动捕迁移系与视频学习系
| 数据集 | 规模(官方口径) | 发布主体 | 许可 |
| HumanPlus 数据 | 按技能族(动捕批次,全身+操作) | 斯坦福开源项目 | 未附许可声明 |
| EPIC-KITCHENS | 百小时级第一人称厨房视频 | 高校联合体 | CC BY-NC 4.0 |
| RoboNet | 数十万视频片段量级(15 视角/7 本体) | 高校开源 | CC BY 4.0 |
许可陷阱
- NC(NonCommercial)不可商用:多个大型数据集带 NC 条款(如 CC BY-NC-SA 系)——研究可用,产品训练需另行授权。
- SA(ShareAlike)有传染性:CC BY-SA 要求衍生数据以相同方式共享,会约束你自家数据集的许可选择。
- 「未附许可声明」= 保留所有权利:默认无使用权,用前必须联系发布方。
- 聚合集逐源核对:整库 Apache-2.0 不代表每个子集都无附加条件。
公开集不等于业务数据
公开数据集回答「底座从哪来」,不回答「你的产线数据从哪来」。分布错配是常态:场景、本体、任务口径都不相同。合理用法是公开集做预训练底座 + 按自有本体与场景定义的定制采集做微调——两层的边界要在项目启动时就写进数据规划。
口径说明:本文为公开行业知识的编辑整理;数据集规模、发布主体与许可为各项目官方/论文口径,收录与转述不构成服务承诺,也不涉及任何第三方服务商的推荐或评价;商用前请以各数据集发布页的最新许可条款为准。