IEEE Transactions on Robotics

Is Diversity All You Need for Scalable Robotic Manipulation?

作者：Modi Shi, Li Chen, Jin Chen, Yuxiang Lu, Chiming Liu, Guanghui Ren, Ping Luo, Di Huang, Maoqing Yao, Hongyang Li · 机构：Shanghai Innovation Institute, Shanghai, China; Beihang University, Beijing, China; University of Hong Kong, Hong Kong SAR, China; AgiBot, Shanghai, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：1872-1883

操作视觉

精读笔记

Problem Setting

论文标题：Is Diversity All You Need for Scalable Robotic Manipulation?（IEEE Transactions on Robotics / 2026）。

这篇论文真正解决的是 robotic manipulation 数据 scaling 的归因问题：当 policy 变大、数据变多后，性能瓶颈到底来自数据量不足，还是来自数据分布结构不对。它不是提出一个全新的 manipulation policy 架构，而是在问：对于 imitation learning，什么样的 diversity 是 signal，什么样的 diversity 是 noise。

真正困难点在于机器人数据的“样本”不是独立静态标签，而是由任务语义、物理环境、机器人形态、控制接口、操作者习惯共同生成的时序监督。把这些轨迹简单拼起来会产生多重异质性：同一视觉状态下 action 可能因为操作者速度不同而完全不同；同一任务在不同本体上 action space 不一致；同一技能在不同场景里需要的视觉 grounding 不一样。

以前的大规模路线基本卡在一个隐含假设上：diversity 近似等于 coverage，coverage 越大泛化越好。这在图文预训练中通常成立，但在机器人 IL 中不一定成立，因为数据分布的某些变化直接改变了监督目标，增加 conditional action entropy。论文的关键矛盾就是：机器人 scaling 既需要覆盖真实世界变化，又不能把无意义的演示偏差当作要学习的行为模式。

Motivation

已有路线不够的地方在于，它们对数据 diversity 的粒度太粗。OXE、DROID、Bridge、AgiBot World 这类数据集都在扩大规模，但没有清楚回答哪些 diversity 该优先收集，哪些该清洗或规范化。OpenVLA 中去掉某些数据反而提升性能的现象，本质上说明机器人数据聚合不是免费午餐。

作者的核心观察是：task diversity、embodiment diversity、expert diversity 在 learning 中扮演不同角色。task diversity 更像语义和场景覆盖，通常能提供 transferable priors；embodiment diversity 看似必要，但如果 action 可以通过 end-effector/world-coordinate 层面对齐，那么目标本体未必必须出现在预训练中；expert diversity 则最危险，因为它不一定提供新技能，而可能只是把同一意图编码成多种时间尺度的动作标签。

关键缺口是缺少对 diversity 的机制性拆解。之前很多工作只证明“更多场景/物体/任务有用”，但没有回答 diversity 的边界在哪里，也没有把操作者行为这种机器人数据特有的 confounder 当作一等问题处理。这篇论文的动机可以概括为：机器人 scaling 的下一步不是盲目加数据，而是区分 coverage diversity 和 supervision ambiguity。

Core Idea

核心思想是把 scalable manipulation 从“数据越多越好”改写成“有效多样性 + 分布去歧义”。论文把 diversity 分成三类并给出不同判断：task diversity 应该扩大，尤其是 scene diversity；embodiment diversity 不是预训练的硬性条件，高质量单本体数据可通过 fine-tuning 迁移；expert diversity 需要被选择性压制，因为它会在 action chunk 监督中引入不必要的时间尺度多模态。

这背后的直觉是：policy 需要学习的是状态到任务有效动作的映射，而不是学习采集者的个人节奏。空间路径多模态可能代表合法策略，应当保留；但 action rate 多模态只是同一空间策略在时间参数化上的变化，会让同一 observation 对应不同长度/速度的未来动作，从而增加 BC 的学习难度。GO-1-Pro 通过估计 observation-conditioned action rate 并重采样 action chunk，实际上引入了一个 inductive bias：把轨迹的空间形状视为主要任务信息，把时间参数化中的操作者差异视为 nuisance。

和 prior 的本质区别在于，它不是继续发明更强的 multimodal policy 来拟合所有多模态，而是判断某些多模态不该被拟合。Diffusion Policy/RDT 这类方法通常增强分布建模能力；本文则强调先降低不必要的分布复杂度。这一点在机器人数据上很重要，因为很多所谓 multimodality 不是任务结构，而是数据采集过程的副产物。

Method

方法的关键机制可以压缩成三件事。

第一，task diversity 的实验不是简单比较大数据和小数据，而是在固定数据量下改变采样策略：按场景采样限制 scene diversity，按任务采样限制 skill diversity，按 episode 采样保留更完整的任务与场景分布。它解决的是“目标相关数据更多”与“整体覆盖更广”之间的取舍。核心变化是把 pretraining data 的有效性归因到 diversity composition，而不是总样本数。

第二，embodiment diversity 的实验用高质量单本体 AgiBot World 预训练模型去迁移到 Franka、Arx、Agilex 等不同平台，并与 OXE 多本体预训练模型比较。它解决的问题是：目标机器人是否必须进入预训练集合。机制上依赖一个假设：很多 manipulation knowledge 在视觉-任务-末端执行器轨迹层面共享，具体本体差异可以在 fine-tuning 阶段通过 action/state adapter 或训练对齐吸收。

第三，expert diversity 的处理是 Action Rate Model。ARM 学的是给定 observation 下合理的动作速率，然后在 policy 训练前把原始 action chunk 按这个速率重新截取和插值。它解决的是同一空间行为因为速度不同而形成不同 action chunk label 的问题。核心变化不是增加模型能力，而是改变监督目标的时间参数化，使 BC 面对更低熵、更一致的 label 分布。

这些机制的共同点是 data-centric：它们都不依赖复杂 planner 或 test-time reasoning，而是在训练数据分布层面减少错误归因。

Key Insight / Why It Works

最重要的 insight 是：机器人数据里的 diversity 不是单调有益变量。task/scene diversity 提供 coverage，expert action-rate diversity 提供 ambiguity；前者应该扩展，后者应该去除。这比“scale law exists”本身更有价值。

Task diversity 有效，主要是 data coverage 和 representation alignment。广泛任务和场景让视觉表征学到更稳健的 object/environment grounding，也让 latent action 或 policy backbone 接触更多状态转移模式。文中进一步指出 scene diversity 比 skill diversity 对 OOD 更关键，这个判断很合理：很多 manipulation failure 来自视觉、空间布局、干扰物和环境外观变化，而不是动词集合不够。skill diversity 对 in-domain 有帮助，但 under distribution shift 时，模型更需要知道“同一技能在不同视觉和几何上下文中如何落地”。

Embodiment 部分的有效性更像 representation reuse + downstream alignment，而不是真正的 zero-shot embodiment invariance。单本体预训练学到的可能是通用视觉语义、任务阶段、物体交互先验；fine-tuning 再把这些先验投影到新机器人的 action manifold。这里的核心贡献是 existence proof：多本体预训练不是必要条件。但不能过度解读为 embodiment diversity 没价值。RDT-AWB 超过 RDT-OXE 可能很大程度来自 AgiBot World 数据更一致、更干净、更大规模或更贴近评测任务风格；增益来源不清。

Expert debiasing 最可能是论文里机制最干净、也最可迁移的贡献。Action chunk IL 对时间参数化非常敏感：如果两个演示空间路径相同但速度不同，那么固定 T 的 chunk 对应不同空间跨度，模型会把速度差异误认为策略差异。ARM debiasing 相当于把 trajectory 从 clock-time supervision 转成更接近 progress-normalized supervision，降低条件动作分布的多峰性。它不是更强拟合，而是把不该学的 variation 从 label 中拿掉。

我认为这篇论文真正有效的部分排序是：1）expert action-rate debiasing 的机制贡献；2）scene diversity 优先级的 data collection 指导；3）single-embodiment pretraining 的反直觉 empirical claim。power-law scaling 结果本身更多是 expected scaling / data coverage，不是特别新；它的价值在于说明在 diversity 充分时，机器人 IL 也呈现可预测收益。

需要警惕的是，文中所有泛化基本仍在 fine-tuning 设定下成立。所谓 cross-embodiment transfer 并不是无需目标数据，而是预训练提供了更好的 initialization。若 benchmark 与 AgiBot World 在任务语义、物体类别或操作风格上有隐式 overlap，结果会更偏向数据覆盖而非抽象泛化。文中未充分说明这种 overlap 的影响。

Relation To Prior Work

这篇论文处在 robotic foundation model / large-scale imitation learning / data-centric robot learning 的交叉线上。最接近的路线包括 RT-1/RT-2/OpenVLA/RDT/GO-1 这类大规模 policy 预训练，以及 ManiBox、Lin et al. 关于 object/environment diversity scaling 的研究。

和 RT/OpenVLA/RDT 的差异不在模型架构，而在问题意识：这些工作通常把异构数据作为扩大能力的手段，本文则问异构性的哪些部分应该被保留。尤其相对 OXE/RDT 的 multiembodiment 叙事，本文给出一个反命题：如果单本体数据足够高质量且一致，跨本体能力可以通过 fine-tuning 获得，不一定需要在预训练阶段解决所有本体异构性。

和 Diffusion Policy 等多模态行为建模的关系也值得注意。Diffusion Policy 的思路是增强 policy 对 trajectory multimodality 的表达；本文指出不是所有 multimodality 都应建模。空间路径多模态是策略多样性，action-rate 多模态是采集偏差。这是实质新增的信息：它把机器人轨迹多模态进一步分解为 task-relevant 与 task-irrelevant。

看似新的部分中，power-law scaling 和 diversity helps 并不新；这更像把已有 scaling law 观察扩展到 AgiBot World 和 GO-1/RDT 设置。实质创新在于两个判断：scene diversity 在 OOD manipulation 中比 skill diversity 更关键；expert action-rate diversity 是 BC 的 confounder，需要在监督层面去偏，而不是靠更大模型硬拟合。

Dataset / Evaluation

评测覆盖相对扎实：既有 AgiBot World 大规模真实双臂数据，又有 ManiSkill、RoboTwin 仿真跨本体评测，以及 Agilex 真实机器人迁移。任务类型包括接触、柔性物体、倒水、长程装配等，至少不是单一 pick-place benchmark。

Task diversity 的评测设计比较支持其 claim，因为作者控制了数据量并改变采样组成，还区分 in-domain、视觉干扰、物体环境泛化。这里最有说服力的是 scene diversity 对 distribution shift 更重要，而不是单纯平均分提升。

Embodiment claim 的评测支持“目标本体不必出现在预训练数据中也能迁移”，但不完全支持“单本体优于多本体”。因为 RDT-OXE 与 RDT-AWB 比较中，数据质量、一致性、任务分布、采样协议、预训练规模都可能不同。即便 OXE 包含目标本体，它也更异构、更噪声、更难优化；因此 AWB 的优势可能来自 cleaner data，而不是 single-embodiment 本身。

Expert debiasing 的评测较直接，尤其在低数据微调时提升明显，符合降低 label ambiguity 的预期。但文中没有充分展示 ARM 是否在复杂任务阶段中错误平滑掉必要速度变化，也没有给出对空间多模态保留程度的强验证。总体看，evaluation 能支撑主要经验结论，但对增益归因仍不够封闭。

Limitation

第一，结论依赖高质量单本体数据这个强前提。AgiBot World 的统一本体、相机、控制和质量审核本身就是很强的 inductive bias。若单本体数据质量下降，或者目标本体与源本体在接触动力学、工作空间、末端执行器形态上差异更大，cross-embodiment 结论可能不成立。

第二，跨本体泛化仍然需要 fine-tuning。论文证明的是 pretraining prior 可迁移，不是 foundation policy 已经形成 embodiment-agnostic control。这里的泛化更像 representation initialization，而不是真正的 zero-shot generalization。

第三，ARM debiasing 的成立依赖 action rate 是 nuisance variable。对于倒水、插拔、擦拭这类准静态操作，这个假设大多合理；但对动态任务、需要利用动量或与环境时序耦合的任务，速度本身就是策略的一部分。论文也承认 ping-pong 这类任务不适用。

第四，distribution debiasing 可能把问题从 policy 转移到 ARM。ARM 学到的“expected action rate”如果被数据中的主流操作者风格支配，可能会压制少数但更优的执行节奏。文中未充分说明如何区分低频有效速度模式与噪声速度模式。

第五，增益归因不完全清晰。GO-1-Pro 的提升可能来自 action-rate 去偏，也可能来自隐式数据增强、轨迹平滑、chunk 长度扰动、低通滤波或更稳定的监督尺度。论文没有完全拆开这些因素。

第六，所谓 reasoning/planning 能力不应从结果中过度推断。长程任务提升更可能来自数据覆盖、任务阶段记忆和局部策略稳定性，而不是形成了显式长期状态建模或规划能力。

Takeaway

  • 1. Robot data scaling 的核心不是最大化 diversity，而是区分 coverage diversity 和 confounding diversity；未来数据集构建应把这两者分开标注、采样和清洗。
  • 2. Scene diversity 可能比 skill taxonomy 更值得优先投入。
  • 对真实部署而言，视觉/几何/环境变化往往比动词集合更早成为瓶颈。
  • 3. Multiembodiment pretraining 不是唯一道路。

一句话总结

这篇论文是一次 data-centric robotic manipulation scaling 的机制拆解：它真正贡献的是证明 diversity 不是越多越好，而应扩展任务/场景覆盖、弱化本体执念，并主动去除 expert action-rate 带来的监督歧义。