没有哪条路线的边际成本能跟仿真比:一条轨迹的边际成本约等于 GPU 秒数,产能近乎无限,而且成功/失败标注由仿真器自动判定——完美、免费、零延迟。但「完美标注」与「可训练」之间隔着 sim2real 的鸿沟。这篇文章讲清这条路线的能力边界与正确用法。
原理:批量 rollout + 自动成功判定
在开源物理仿真引擎(MuJoCo、SAPIEN、Isaac Lab 生态等)里,由脚本策略或示教扩增工具批量生成轨迹;任务成功/子任务完成由仿真器自动判定,因此每个 episode 天然携带完美标签。视觉与物理参数的域随机化(材质、光照、摩擦、质量扰动)用于让策略学到对真实世界扰动的鲁棒性。
示教扩增:MimicGen 范式
开源工具链已把「少量示教 → 大规模数据」工程化:公开论文口径下,MimicGen 可从约 10 条人类示教自动扩增出数十万条轨迹。这意味着真机示教的稀缺性不再是规模瓶颈——示教定义任务,仿真负责放量,两者是上下游而非竞争关系。
开源基准生态
| 项目 | 定位 | 规模(官方口径) | 许可 |
|---|---|---|---|
| RoboCasa | 家用场景大规模生成(Isaac Lab 生态) | 十万 trajectories 量级 | MIT |
| ManiSkill 2/3 | 操作技能基准(SAPIEN 生态) | 按任务可在线生成 | Apache-2.0 |
| LIBERO | 终身学习操作基准 | 按任务族示教轨迹 | Apache-2.0 |
| BEHAVIOR-1K | 千种日常活动仿真基准 | 1 万 episodes / 约 1.19 亿 frames | MIT |
| RoboTwin | 双臂协同仿真基准(国内联合发布) | 任务族示教轨迹 | MIT |
| MimicGen | 示教扩增工具与数据 | 约 10 条示教 → 数十万轨迹 | CC BY-NC-SA 4.0 |
| CALVIN | 长程语言条件操作基准 | 按示教轨迹 | MIT |
鸿沟在哪
- 接触动力学:接触丰富与形变物体(软体、绳索、流体)的仿真保真度低,相关任务合成数据不可信。
- 视觉真实感:随机化能补分布,补不了真实纹理与光照的长尾;感知类任务需要真机影像校准。
- 调参 knowhow:随机化参数域的设定是经验活,域太窄泛化不出、域太宽学不到准。
- 资产前置成本:场景与物体建模是固定投入,小批量任务用仿真未必划算。
正确用法:补长尾,不打底
仿真的比较优势在现实难以采集的场景:危险动作、罕见干扰、极端配置。成熟的组合是把仿真放在产能分层的最后一层——遥操作/无本体示范定义任务与分布,仿真按需放量,真机数据定期校准域间隙。跳过真机校准直接用合成数据训策略,省下的采集成本会在 sim2real 阶段连本带利还回去。