精读笔记

Problem Setting

论文标题：DDBot: Differentiable Physics-Based Digging Robot for Unknown Granular Materials（IEEE Transactions on Robotics / 2026）。

这篇论文实际处理的是一个很具体但技术上很硬的问题：在不知道土/沙物理参数的情况下，让机器人在小容器内挖出指定几何形状的洞，并且要求毫米级位置/深度精度和真实机器人零样本执行。

真正困难点有三层。第一，颗粒材料的状态不可观测：真实系统只能看到表面点云，而决定动力学的是完整三维颗粒状态、速度、塑性历史和接触状态。第二，物理参数不可知且不直观：Young's modulus、density、Poisson ratio、friction angle 这些参数和最终表面形状之间不是线性或可手调关系。第三，操作优化本身是长时域强接触问题：直接优化每一步 6D 位姿增量会得到极高维、非光滑、充满局部最优的搜索空间。

以前方法卡住的地方不是完全不能挖，而是不能同时满足高 fidelity、低样本、高精度和真机可部署。RL 在这里样本效率差，且正反馈稀疏；MPC/进化搜索可以在低维动作上工作，但只看终态代价，缺少沿动力学链条的敏感性信息；直接轨迹优化虽然理论上可微，但长链条梯度和高维动作使其几乎不可用。

这个任务的关键矛盾是：高精度需要高保真物理模型，高保真模型又让优化数值不稳定；真实部署需要低样本和可解释动作，而复杂颗粒动力学又诱导高维非凸搜索。DDBot 的目标就是在这个矛盾中找到一个可工作的中间层：不是完整 trajectory-level optimal control，而是 physics-grounded skill-level optimization。

Motivation

作者的核心动机可以概括为：MPM 已经足够像物理，但机器人操作还没有把它变成一个可用的优化器。

已有路线缺的是三件事。第一，缺一个针对未知颗粒材料的可微系统辨识流程。之前 DPSI 在 plasticine 这类材料上更自然，但颗粒材料用 SVK elastic energy + Drucker-Prager plasticity 后，梯度稳定性和可辨识性都不是显然成立。第二，缺一个适合挖掘任务的低维连续动作参数化。直接动作序列优化在 300+ steps 下维度过高，RL/trajectory optimization 都容易浪费计算在无意义动作上。第三，缺稳定的一阶优化 recipe。可微物理本身不等于可优化，长 horizon 和大量粒子会让梯度爆炸/消失，点云损失又让 loss landscape 变得 rugged。

作者的观察是：小尺度挖掘虽然物理复杂，但动作语义相对结构化。人类挖洞通常不是任意 6D 轨迹，而是先对准、插入、推动、抬起。只要这个结构化 skill family 足够覆盖目标任务，就可以把难问题从“在巨大轨迹空间里搜索”变成“在少数物理含义明确的参数上优化”。这也是论文最重要的 inductive bias。

Core Idea

DDBot 的核心思想是把颗粒材料操作重新组织成两个可微优化问题：先用真实动作结果反推出材料参数，再在对齐后的仿真器中对低维挖掘 skill 参数做梯度优化。信息流不是从经验数据学习一个 policy，而是从目标几何误差经由可微损失、可微 MPM dynamics、可微 skill mapping 反传到物理参数或动作参数。

这个思路理论上可能有效，是因为它避免了两个常见失败模式。相比 RL，它不需要通过大量随机探索发现“插入-推动”这种结构；相比黑盒 MPC/进化搜索，它不仅知道哪个终态好，还能获得“改变哪个 skill 参数会如何通过接触动力学影响表面形状”的局部敏感性。相比直接 trajectory optimization，它把 6T 维动作压缩到 5 维 skill 参数，让梯度噪声和局部搜索难度显著下降。

本质区别在于建模层级的选择。论文没有试图学习通用颗粒操作策略，也没有宣称解决开放式 excavation planning；它选择了一个强先验动作族，并把可微物理用作 test-time optimizer。这更像 differentiable physics + structured action prior 的组合，而不是传统意义上的 learning-based manipulation。

Method

方法上真正关键的机制只有几项。

第一，可微 MPM 用来解决“如何获得有物理意义的敏感性”。MLS-MPM + SVK/DP 负责模拟土/沙的弹塑性和摩擦屈服行为；自动微分允许把表面点云损失反传到材料参数或动作参数。这里的重点不是模型公式本身，而是作者把颗粒材料的系统辨识和操作优化放在同一条可微计算图里。

第二，系统辨识解决 sim-to-real 的最低门槛。作者不是假设材料参数已知，而是用一条真实操作轨迹的结果作为监督，优化 Young's modulus、Poisson ratio、density、friction angle。这个过程的隐含假设是：表面点云终态足以约束对操作相关的有效物理参数，而不要求参数具有唯一真实物理含义。

第三，参数化 digging skill 解决高维动作搜索。skill 将动作限制为平移/旋转对准、插入、推动、抬起四个阶段，用少数参数控制位置、角度、插入深度、推动方向和距离。它带来的核心变化是：优化变量从长序列动作变成低维动作 manifold 上的坐标。这样牺牲了动作空间完整性，换来了可优化性和真机动作合理性。

第四，demonstration prior 解决初始化问题。作者用目标点云中最低点位置推断初始 displacement，其余参数给定经验值。这不是 imitation learning，而是一个 task-conditioned warm start。它的重要性不应低估：在非凸 rugged landscape 上，初值很可能决定是否进入有意义 basin。

第五，gradient clipping 和 line search 是让一阶优化实际能跑起来的稳定化机制。clipping 处理可微 MPM 长链条中的梯度爆炸；line search 处理 HMD/EMD 损失带来的局部震荡和 overshooting。这里没有复杂优化理论，更多是针对可微物理数值病态的必要工程修补，但它们对最终可用性是关键的。

Key Insight / Why It Works

这篇论文最重要的 insight 是：颗粒材料操作中，可微物理的价值不在于让任意轨迹优化变得容易，而在于当动作空间被强结构化后，物理梯度可以成为非常高效的局部改进信号。

真正有效的原因大概率是三者叠加：低维 skill manifold、较好的 sim-to-real system identification、以及 line search/clipping 稳定化。其中低维 skill prior 可能是最大贡献。没有它，直接 trajectory optimization 在实验中失败或产生不自然轨迹；这说明可微仿真本身不足以解决长时域接触优化。换句话说，DDBot 的成功不是“端到端可微物理万能”，而是“在合适的动作先验上，可微物理梯度终于有用”。

第二个关键是作者没有强行追求完整可微性。skill 中 timestep rounding 其实引入了不完整梯度，EMD/HMD 也不是特别平滑；但在低维空间里，只要梯度方向大体可用，再配合 line search，就足以形成有效 test-time compute。这是一个很实用的判断：在机器人接触任务中，近似梯度 + 好先验 + 保守步长选择，往往比形式上完美但高维的可微优化更可靠。

第三，HMD 比 EMD 更适合做 line search 和近局部收敛，这反映出 representation alignment 的重要性。对挖洞任务而言，表面高度图和目标功能更对齐，也比点云 assignment loss 更平滑。这里的收益不是来自更复杂的损失，而是来自任务几何表征和优化 landscape 的匹配。

哪些部分可能只是辅助？GPU 加速和自动微分当然必要，但更像 enabling engineering；RMSProp 本身不是贡献；demonstration 的形式也很简单，但它在非凸优化中可能贡献很大。文中对各组件增益的归因还不够彻底，尤其 demonstration prior、低维 skill、line search 三者之间的相互作用没有完全拆开。

需要直接指出：这里的“泛化”更多是 skill 参数在同一容器、同一初始状态、少量目标形状上的优化泛化，不是 policy generalization。方法本质上是 test-time optimization，而非学习到一个可泛化策略。它的强点是每个任务现场算一个解，弱点也是每个任务都依赖仿真-优化闭环。

Relation To Prior Work

这篇工作最接近三条谱系：differentiable physics-based system identification、differentiable trajectory optimization for deformables、以及 skill/MPC 风格的低维动作搜索。

和 DPSI 的关系：它把 DPSI 从 plasticine 等较常见可微软体对象推进到颗粒材料的 SVK+DP 模型，并把辨识结果直接服务于真实机器人操作。实质新增点不是“用梯度辨识参数”这个概念，而是验证了在颗粒材料模型、点云观测和真实挖掘任务下，这条链能稳定工作。

和可微轨迹优化的关系：以往很多工作默认直接优化动作轨迹，但 DDBot 的实验证明，在颗粒挖掘这种长 horizon 接触任务上，trajectory-level differentiability 并不等于 practical optimizability。它的本质差异是把优化变量换成 skill 参数，而不是在原始轨迹空间里硬算梯度。

和 MPC/进化搜索的关系：CMA-MAE 在实验中和 DDBot 接近，说明低维动作空间本身已经大幅降低难度。DDBot 相比它的优势是利用了动力学链条梯度，理论上应更 sample-efficient、更可解释；但在当前任务规模下，这个优势并没有被压倒性证明。可以说 DDBot 是 gradient-based skill optimization，而不是完全不同类别的 planner。

和 RL 的关系：论文的结果基本支持一个很现实的判断——当任务可被低维 skill family 表达且有高保真仿真器时，训练神经策略是绕远路。SAC 的失败并不意外，因为它在更大参数空间里用更弱监督学习一个 policy，而任务并不需要 amortized policy learning。

Dataset / Evaluation

评价覆盖了真实土和沙、真实 UR5e、真实点云采集、系统辨识、仿真优化和零样本真机部署，这一点是论文说服力较强的地方。它不是纯仿真论文，也不是只展示单个 demo；至少验证了“可微仿真 + 参数辨识 + skill 优化”闭环能在物理世界工作。

但任务覆盖范围仍然窄。所有任务都在固定尺寸容器、固定初始平面、固定工具、固定相机、固定单次挖掘 skill 下进行。目标形状数量少，材料种类只有土和沙，且没有明显测试湿度变化、混合颗粒、非均匀密度、障碍物、扰动或多步任务。因此实验支持的是“受控小尺度高精度挖洞”的 claim，而不是一般 granular manipulation。

benchmark 选择有意义：直接轨迹优化、SAC、CMA-MAE 分别对应可微高维优化、学习策略、黑盒低维搜索。结果能支撑一个结论：skill-space optimization 明显优于 trajectory-space/RL；但 DDBot 相比 CMA-MAE 的优势并非完全压倒性。若只看最终质量和时间，两者接近；DDBot 的优势更多体现在物理梯度可解释性和潜在扩展性，而不是当前 benchmark 中的绝对数值领先。

评价中一个潜在 bias 是目标本身由同一 shovel 手工制造，因此目标形状天然落在该工具和类似动作族可达到的 manifold 上。这合理但也限制了泛化结论。若目标是任意几何洞形、复杂边界或多阶段堆挖，当前 single skill 是否仍覆盖，文中未充分说明。

Limitation

最核心的限制是 action prior 的覆盖性。DDBot 成功的前提是目标洞形可以由这一个四阶段挖掘 skill 近似生成。一旦任务需要多次挖、侧向修整、避障、不同工具姿态或非单峰形变，5 维 skill manifold 会成为硬上限。方法可能稳定收敛，但收敛到 skill family 内的错误最优。

第二个限制是系统辨识的可辨识性。论文优化四个物理参数并用验证轨迹选择结果，但没有充分证明这些参数是唯一或物理真实的。更可能的情况是找到一个 task-effective parameter set：在当前工具、速度、容器和材料状态下能复现表面形变。换环境后这些参数是否仍有效，文中未充分说明。

第三，初始状态假设很强。材料总是被手工铺平到固定高度，真实点云只用于表面。现实中颗粒材料的内部压实程度、湿度、历史扰动会显著影响接触动力学，而这些状态不可观测。当前系统把复杂历史状态压进固定初态和少数参数里，这是可行工程近似，但不是完整状态建模。

第四，可扩展性存在明显上限。MPM 粒子数、长 horizon、自动微分内存和梯度稳定性都会限制更大场景。作者通过 clipping/line search 让当前规模可用，但这不等于解决了可微物理的长期稳定性问题。多 skill、多步 planning 会引入离散选择和组合爆炸，作者也承认这是未来问题。

第五，增益归因不完全清晰。DDBot 的优势可能主要来自低维 skill prior 和 demonstration 初始化，而不是来自可微物理相对黑盒搜索的本质优势。在当前 benchmark 中 CMA-MAE 表现接近，说明只要动作空间足够低维，gradient-free 方法也能做得不错。论文没有充分展示在更高维 skill、更复杂目标或更少 rollout 下，物理梯度是否明显胜出。

Takeaway

• 1. 对颗粒/软体操作，真正可迁移的思路是先找对动作 manifold，再谈可微优化；直接把 differentiable physics 接到高维轨迹上通常不会自动成功。
• 2. 可微物理在机器人中的现实价值更像 test-time compute：用少量真实数据做 system identification，再针对当前目标现场优化动作，而不是离线训练一个大 policy。
• 3. 损失表征决定优化可用性。
• HMD 这种更任务对齐、更平滑的几何表示，比形式上更通用的点云匹配更适合稳定优化。

一句话总结

DDBot 是一篇把可微 MPM 从“能反传”推进到“能在强 skill prior 下真实挖土/挖沙”的工作，其真正贡献是证明了颗粒材料操作中 physics-based test-time skill optimization 的可行性，而不是解决了通用颗粒操作规划。