Awesome World Models / OpenReview

Sim-to-Real Contact-Rich Pivoting via Optimization-Guided RL with Vision and Touch

作者：作者信息待提取 · 单位：Mitsubishi Electric Research Laboratories, Mitsubishi Electric · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：6. World Models x Policy Learning

具身智能视觉语言动作/策略学习

精读笔记

Problem Setting

论文标题：Sim-to-Real Contact-Rich Pivoting via Optimization-Guided RL with Vision and Touch（Awesome World Models / 2025）。

这篇论文瞄准的不是一般意义上的 visuomotor policy learning，而是一个更窄但很硬的 setting：非抓取 pivoting 中，物体、机器人、桌面/墙之间的接触不断切换，策略必须在 underactuated、非光滑、部分可观测系统里找到可行接触序列和力方向。真正困难点在于可行动作集合非常薄：稍微错一点可能变成滑动、失去接触、力矩不足或错误 contact mode。

以前路线的卡点很清楚：CITO/MPC 能规划出漂亮的 contact sequence 和力闭合，但需要物体质量、尺寸、摩擦、位姿、外部接触状态等 privileged information，并且对模型误差敏感；纯 RL 不需要这些信息，但探索不到接触可行域，尤其在无墙 pivoting 这类更依赖精确力矩平衡的任务中很难靠 sparse reward 自发发现解。

所以关键矛盾是：接触任务的成功依赖精确物理结构，但真实部署时恰恰拿不到精确物理状态；而能从观测中学习鲁棒闭环的 RL 又缺少足够强的物理先验。

Motivation

作者的核心观察是：CITO 失败的地方不是“不能产生正确行为”，而是“不适合直接在线执行”；RL 失败的地方不是“表达能力不够”，而是“没有足够好的探索引导”。因此一个自然但有效的折中是：让 optimizer 只负责离线产生物理可行结构，让 RL 负责闭环鲁棒化和 simulator-to-real 适配。

关键缺口在于 prior demonstration-guided RL 通常给的是 kinematic feasibility：轨迹上看起来能到，但没有告诉策略为什么这个接触模式在力学上成立。对于 pivoting，真正有价值的信息不是末端该走哪里，而是在哪个 object pose 附近应当施加什么方向的接触力、应当利用哪个外部接触、如何维持力矩平衡。论文的动机基本就是把这部分 contact dynamics 信息作为 inductive bias 注入 RL。

另一个动机是部署侧的信息不对称：训练时可以访问 privileged state，但真实机器人只能拿到本体、视觉 segmentation 和腕部力。作者采用 student estimator 不是为了端到端优雅，而是为了保留 privileged teacher policy 的结构，同时把缺失状态估计问题单独化。

Core Idea

核心思想可以概括为：把 CITO 从 controller 变成 contact-structured demonstration generator，再把示范中的 dynamic feasibility 蒸馏进闭环 RL policy。这里重要的不是“用了 CITO + RL”这个组合，而是 CITO 提供的监督变量包含 contact force 和 extrinsic contact location/state，这些变量直接刻画了接触可行域的局部几何。

这改变了建模方式：传统 CITO 在线求解的是完整接触规划问题；本文把求解结果转为 reward shaping / exploration guidance，让 policy 学一个 amortized controller。传统 RL 从观测和 reward 中隐式发现 contact mode；本文显式给出接触力方向和期望外部接触作为训练偏置。传统 student-teacher 估计 privileged state 多用于 locomotion 或较简单 manipulation；这里 privileged variables 被用来恢复 contact-rich manipulation 中不可直接观测的物性与状态。

本质区别在于信息流重组：物理模型不直接控制真实机器人，而是先生成大量覆盖不同物性/几何的动态可行样本；RL 在这个可行结构附近学习闭环修正；student 再把真实传感映射到 teacher 需要的 latent/privileged state。它更像是 optimizer-to-policy distillation + privileged sensing adaptation，而不是 learned world model。

Method

1. CITO demonstration 的作用：解决 RL 不知道接触可行域在哪里的问题。作者用 CITO 生成对象轨迹、机器人轨迹、机器人接触力、环境接触力和外部接触位置。机制层面的关键是 dynamics feasibility，而非 trajectory imitation；接触力方向告诉策略该如何施加力矩，外部接触状态告诉策略该利用哪个环境约束。

2. Dynamics-conditioned RL 的作用：把 optimizer 的开放环/模型依赖行为转成闭环 policy。reward 不只是目标角度和成功信号，还加入与 CITO reference 的 robot pose、contact force direction 和 extrinsic contact occurrence 对齐。这里最关键的选择是只对齐 force direction，不对齐 magnitude，因为 CITO 模型和 MuJoCo/真实系统之间的力幅值 gap 很大。这是一个务实但重要的设计：保留接触几何信息，避免过拟合错误动力学尺度。

3. Privileged teacher 的作用：降低控制学习难度。teacher 直接看到 object pose、mass、size、friction、extrinsic contact signal 等信息，使 policy 不必同时解决状态估计和控制。这个设计把问题拆成“有全状态时如何控制”和“如何从传感估计全状态”。

4. Student estimator 的作用：解决部署时 privileged information 不可得的问题。它用本体、腕部力和 segmentation history 估计 teacher 输入。时间历史是必要的，因为质量、摩擦、接触状态等变量很难从单帧视觉或单步力读数中辨识；力觉提供 interaction evidence，视觉提供几何/位姿约束。

5. Domain randomization 的作用：让 teacher 和 student 都暴露在物性、尺寸、摩擦、控制增益和观测噪声扰动下。这里的 DR 不是附属工程，而是 sim-to-real 的主要支撑之一；但也意味着最终泛化边界很大程度由 randomization coverage 决定。

Key Insight / Why It Works

最核心的有效性来源是 better inductive bias，而不是网络结构。CITO 给出的动态可行示范把 contact-rich task 中最难探索的部分——可行接触模式、力方向、外部支撑利用方式——显式暴露给 RL。RL 只需要在这些物理合理区域附近学习鲁棒闭环，而不是从零发现接触 mechanics。

这更像 contact-feasible curriculum / reward shaping，而不是 imitation learning。policy 没有简单复制 CITO 轨迹，因为部署时会遇到模型误差、状态估计误差和扰动；但 CITO reference 定义了“哪些行为值得探索”。特别是 force direction matching 是本文最有价值的机制：它保留了 torque generation 的方向性结构，同时避免 force magnitude 的 sim2sim/sim2real 不一致。

动态示范优于运动学示范的原因也很直接：kinematic trajectory 只告诉末端应在哪里，不能告诉它如何通过摩擦锥、接触法向和力矩平衡产生 pivot。对于无墙任务这种可行区域更窄的 setting，只有 pose imitation 基本没有足够信息约束 action search，因此失败并不意外。

student-teacher 部分的贡献更偏系统整合。它有效，因为 teacher 的输入空间被设计成物理有意义的 privileged variables，而 student 只需估计这些变量，不必直接学从 segmentation/force 到 action 的复杂映射。这是 representation alignment：把感知问题对齐到 controller 已经能使用的物理状态表示。

需要直说的是，部分增益可能主要来自 data coverage 和 reward engineering。5000 条 CITO 示范、强 DR、force/segmentation augmentation、成功 reward、线性+二次角度 reward，这些共同构成了一个相当强的 training scaffold。论文证明了 scaffold 有效，但没有完全分离“动态接触监督”与“更多 shaping / 更强 curriculum / 更大数据覆盖”的贡献。

所谓 zero-shot sim-to-real 也不应解读为模型学会了通用接触推理。更准确地说，它在一个受控 SE(2)、刚体、凸物体、目标可分割、接触模式有限的任务族内，把 CITO+DR 覆盖到的物理结构成功蒸馏到了 policy 和 estimator 中。

Relation To Prior Work

最接近的谱系有三条：contact-implicit optimization / MPC、demonstration-guided RL、privileged learning / student-teacher sim-to-real。

相对 CITO/MPC，本文的本质变化是 amortization：不再把 contact optimization 放到 test-time，而是离线求很多次，然后训练一个闭环 policy 来近似和鲁棒化这些解。这样牺牲了在线最优性和显式约束满足，换来对模型误差和状态估计误差的容忍。

相对普通 demonstration-guided RL，实质新增信息是 dynamics-level demonstration，尤其 contact force direction 和 extrinsic contact signal。很多 prior 的示范是 kinematic feasible，本文强调 contact-rich manipulation 中几何可行远远不够；这一点是论文最实质的 technical claim。

相对 learning by cheating / RMA / privileged training，本文并没有在架构范式上创新，student-teacher 是已有套路。它的新意在于把这个套路用于需要估计物性、物体 pose、摩擦和外部接触状态的非抓取 pivoting，并结合 CITO 生成可监督的 contact-rich teacher behavior。

相对 foundation-policy 或端到端 visuomotor learning，这篇工作走的是相反路线：不追求大模型泛化，而是用物理优化器提供强结构先验，再用学习补模型误差和观测缺失。它属于“model-based structure as data / reward prior”的路线，而不是通用 VLA 路线。

Dataset / Evaluation

评估覆盖两个 pivoting 变体：有外部墙支撑和无外部墙支撑，并包含 MuJoCo 与真实 MELFA 机器人实验。真实实验使用未见过物体，说明系统有一定分布内泛化和 sim-to-real 能力。

实验最有说服力的部分是 ablation：dynamic-conditioned RL 学得更快，且在无墙任务中 vanilla RL 和 kinematic-conditioned RL 失败。这直接支持“动态接触示范是关键”的主张。MPC 对尺寸误差敏感而 learned policy 更稳，也支持“离线优化 + RL amortization 比在线模型控制更抗中等模型误差”。

但 evaluation 的外推范围有限。任务仍然是 planar SE(2)、凸物体、有限接触模式、相对低速 quasi-static。所谓 novel objects 更像尺寸/质量/摩擦/外观的变化，而不是拓扑不同、非凸、多接触复杂几何的开放集合。student estimator 的评估主要展示 reasonable tracking，但没有系统报告估计误差如何影响闭环稳定边界。

benchmark 基本验证了本文核心 claim：CITO dynamics demonstrations improve sample efficiency and sim-to-real pivoting。它没有充分验证更大的 claim：该框架可广泛扩展到 pushing/sliding/多物体/非凸接触任务。

Limitation

最根本的限制是：方法把在线 contact planning 的困难转移到了离线 CITO data generation 和 distribution coverage。只要 CITO 不能生成高质量动态可行示范，或者真实任务落在示范/DR 覆盖外，policy 就缺少可靠先验。这里的泛化不是开放式泛化，而是被 CITO 参数采样和 domain randomization 定义的区域内插值。

第二，student estimator 是潜在瓶颈。质量、摩擦、接触状态从短历史力觉和 segmentation 中估计，本身可能是不可辨识或多解的。文中展示了若干轨迹拟合，但未充分说明在强遮挡、接触突变、incipient slip、非凸几何或多个可能 contact modes 下估计是否仍稳定。真实失败中的 slip 问题说明当前传感分辨率和估计目标并不足以覆盖关键失效模式。

第三，闭环策略并不保证 contact constraints。CITO 生成的是可行样本，RL 学到的是统计策略；部署时一旦 estimator 偏差或物理参数超出范围，没有显式安全约束或在线修正机制。相比 MPC，它更鲁棒于小模型误差，但也更难给出 failure boundary。

第四，增益归因不完全清晰。动态示范、force-direction reward、extrinsic contact reward、DR、reward shaping、student history、segmentation augmentation 都在起作用。论文证明组合有效，但没有足够细地回答：如果只保留 force direction、不保留 contact state；或只增加更密集的 pose reward；或用更多 kinematic data，差距会怎样。部分提升可能来自更强 reward engineering 和数据覆盖。

第五，任务上限明显。当前假设刚体、几何中心质心、quasi-static SE(2)、稳定末端力测量、可用 segmentation、粗略平面已知。这些假设使问题可控，但也限制了其作为通用 embodied world model / policy learning 方法的代表性。

Takeaway

  • 1. 对 contact-rich manipulation，最有迁移价值的 insight 是：示范不应只提供状态轨迹，而应提供接触力方向和 contact mode 这类决定可行域的变量。
  • 动态可行示范比运动学示范更接近真正的控制先验。
  • 2. CITO/MPC 不一定要在线用；把 optimizer 当作 scalable data generator / reward prior，可能是比直接 model-based control 更现实的 sim-to-real 路线。
  • 3. Privileged teacher + sensor-history student 在接触任务中仍然有效，但关键在于 teacher state representation 必须物理可辨识且对控制有用。

一句话总结

这篇论文是把 contact-implicit optimization 从在线规划器转化为动态接触示范生成器，并通过 privileged RL 与视觉-力觉状态估计蒸馏成真实可执行闭环策略的一类 optimization-guided policy learning 工作。