当采集规模从「千条」走向「百万条」,路线就只剩两条:要么用资本买产能(真机车队),要么用互联网的存量视频换语义覆盖(视频学习)。两条路的目标不同、成本结构不同,甚至「数据」的定义都不同——但它们在成熟产能方案里是上下游。
真机车队:数据飞轮
量产本体组成采集车队,操作员白天遥操作、夜间让当前策略自主探索并人工复核,形成「数据→训练→更好的策略→采更多数据」的飞轮。公开口径下,百台级车队日产可达万 episodes 量级;国内头部厂商开源的百万级轨迹数据体系已验证这条路在国内可行。
车队的独特价值
- 分布零错配:数据分布与自有业务任务直接对齐,采的就是将来要部署的。
- 真实失败样本:自主探索天然产出失败轨迹,对价值/奖励学习是不可替代的原料。
- 规模化护城河:运维体系与质检体系是隐性 knowhow,难以短期复制。
车队的门槛
重资产:设备+场地+操作员都是资本开支;冷启动周期长;且只覆盖自有本体与已定义任务——车队是一台「分布对齐机器」,不生产通用数据。
视频学习:互联网规模的语义底座
互联网视频与第一人称视频用于视觉-语言表征预训练,下游再用少量真机数据适配;或用视频动力学/逆动力学模型补全伪动作标签。公开语料如第一人称厨房活动视频集(EPIC-KITCHENS,百小时级)与早期跨本体视频集(RoboNet)是常用起点。
视频学习的能力边界
- 最强:语义理解与场景泛化——互联网视频的多样性没有任何采集体系能企及。
- 最弱:控制精度。动作标签缺失或为伪标签,质量上限由逆动力学模型决定,不能直接学出可部署策略。
- 绕不开:版权与许可甄别必须逐批完成;视频分布与目标任务分布的错配需要后适配弥补。
两条路线对照
| 维度 | 真机车队 | 视频学习 |
|---|---|---|
| 产出 | 带动作标签的真机轨迹 | 表征 / 伪动作 |
| 分布 | 与自有业务零错配 | 互联网分布,需后适配 |
| 成本结构 | 重资产(设备+场地+人力) | 低(爬取+清洗+算力) |
| 冷启动 | 慢(车队组建周期) | 快(存量视频即可起步) |
| 独有产出 | 真实失败样本(飞轮原料) | 最强语义与场景覆盖 |
| 主要风险 | 资本沉没、任务定义受限 | 版权、伪标签质量上限 |
组合:视频打底,车队出招
两条路线的正确关系是分层:视频学习提供语义与场景的先验底座,车队/遥操作提供业务对齐的动作数据。对多数团队而言,先问「业务分布是否已经收敛」再决定是否建车队——分布未收敛时的重资产投入,会在任务定义变更时大量沉没。