IEEE Transactions on Robotics

General-Purpose Sim2Real Protocol for Learning Contact-Rich Manipulation With Marker-Based Visuotactile Sensors

作者：Weihang Chen, Jing Xu, Fanbo Xiang, Xiaodi Yuan, Hao Su, Rui Chen · 机构：Department of Mechanical Engineering, Tsinghua University, Beijing, China; Department of Computer Science and Engineering, University of California, San Diego, CA, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：1509-1526

操作触觉传感器强化学习

精读笔记

Problem Setting

《General-Purpose Sim2Real Protocol for Learning Contact-Rich Manipulation With Marker-Based Visuotactile Sensors》（IEEE Transactions on Robotics / 2024）处理的是 marker-based 视触觉传感器下的零样本 Sim2Real 操作学习。真正问题不是“如何做 peg-in-hole”，而是：在接触丰富任务中，policy 依赖的是由弹性体形变产生的细粒度触觉模式；如果仿真触觉生成机制错了，RL 会稳定学到错误的 tactile-action mapping。

关键困难有三层。第一，真实 marker flow 不是刚体接触的即时几何 penetration，而是 elastomer 在法向/切向接触、摩擦、历史形变下的连续响应。第二，marker-based tactile signal 高维但结构很特殊：它是带空间位置的稀疏点集，且存在 marker 丢失、分布差异、跟踪噪声。第三，Sim2Real 中真正危险的 mismatch 往往来自传感器实例本身，而不是机器人任务几何：材料模量、marker grid、相机投影、夹持偏置都会改变观测分布。

以前方法卡在把触觉当成“刚体仿真附加的观测”。刚体/penalty-based tactile simulator 可以快，但在持续接触和切向恢复力上不可信；CNN 处理 marker image 可以工作，但没有利用 marker flow 的 set structure。这个任务的关键矛盾是：高保真弹性仿真慢，低保真刚体仿真 Sim2Real gap 大；而 RL 又需要大量交互。论文的贡献就是尝试在 fidelity、sample efficiency 和泛化之间找到一个可运行的折中。

Motivation

已有 tactile Sim2Real 路线不够的根源是建模对象错位。很多工作把重点放在 GelSight-like 传感器的光学图像合成、RGB/domain adaptation 或刚体接触下的近似触觉场，但 manipulation policy 真正用到的是 contact-induced deformation 中和位姿误差相关的低维结构，尤其是切向形变。只把图像做得像，或者用 penetration 近似 deformation，并不能保证控制相关信息对齐。

作者的核心观察是：marker flow 已经是很强的中间表示。它绕过了复杂光照/反射建模，保留了接触几何与切向力相关的信息，同时又比原始 tactile image 更接近控制所需变量。因此缺口不是“再做一个更漂亮的 tactile renderer”，而是建立一条从物理接触到 marker point set 再到 policy latent 的一致链路。

另一个动机是工程层面的现实主义：真实 marker-based sensors 之间差异很大，材料会老化，marker 布局不一致，tracking 会掉点。若 policy 依赖固定 sensor instance 的图像分布，它很难部署。论文选择 domain randomization + point-set encoder，本质是在承认精确建模所有传感器细节不可行，所以让 representation 对这些 nuisance factor 不敏感。

Core Idea

核心思想可以概括为：把 tactile policy learning 的 Sim2Real 问题前移到触觉生成机制和表示结构上，而不是只在 policy 末端做 domain adaptation。论文用 FEM/IPC 显式模拟弹性体，把机器人动作作为传感器弹性体边界条件，求出 deformable mesh 的动态响应，再通过相机投影得到 marker 坐标变化。这样得到的 tactile observation 与真实 marker tracking 输出同构，而不是仿真内部的力、penetration depth 或渲染图像。

第二个核心改变是 representation 的 inductive bias。marker flow 被组织成 unordered point set：输入是原始 marker 位置和变形后 marker 位置的集合，PointNet-like encoder 用共享 MLP + pooling 得到全局 latent。这比 CNN 更合理，因为 marker 图像中的平移等变/局部卷积假设并不完全匹配触觉任务；很多关键触觉信息是全局接触模式与 marker 原始空间位置的组合。点集表示天然适应 marker 排列变化、丢点和不同传感器实例。

和 prior 的本质区别不是“用了 FEM”这么简单，而是它把仿真、观测表示、预训练和 domain randomization 组织成同一个对齐问题：物理层对齐弹性形变，信号层对齐 marker tracking，学习层对齐低维 tactile latent，分布层覆盖现实 mismatch。这个组合使得策略学到的不是某个 sensor image pattern，而更接近“接触形变模式到动作修正”的映射。

Method

方法中真正必要的机制有几个。

第一，FEM/IPC 解决的是触觉观测的因果来源问题。接触丰富任务中，尤其 monotone insertion，物体和孔/传感器持续接触，切向形变不会在一步动作后消失。刚体 penalty 模型把切向效果压缩成摩擦近似，难以保留 elastomer 的恢复力和历史 deformation。IPC 的意义在于让 FEM 接触在较大时间步下保持稳定，不至于因为 contact solver 崩溃而无法用于 RL。这里的核心变化是从 quasi-geometric tactile approximation 变成 physics-grounded deformable contact simulation。

第二，marker point-set encoder 解决的是观测结构错配问题。marker tracking 输出本身是带噪声、可变数量、无固定顺序的点集。用 image/CNN 等于人为引入栅格化和卷积假设，且 marker distribution randomization 会让 CNN 更难收敛。PointNet-like encoder 直接处理坐标集合，保留原始空间位置和变形后位置，使网络可以学习全局接触模式。这里的核心变化是把 tactile perception 从 image recognition 改成 set-based geometric encoding。

第三，autoencoder 预训练解决的是 RL sample efficiency，而不是任务求解本身。marker flow 高维，但控制相关变量低维；用重建 displaced markers 的自监督任务预训练 encoder，相当于先学习一个通用的 tactile deformation manifold。后续 RL 只需在这个 latent 上学动作。文中结果显示它主要加速早期训练，最终性能是否显著改变不如 sample efficiency 清楚。

第四，domain randomization 是把不可精确建模的 mismatch 显式纳入训练分布。物理域覆盖材料和摩擦，光学域覆盖 marker grid、噪声和 tracking loss，任务域覆盖夹持/运动误差。这里并没有复杂新算法，但非常关键：没有光学域随机化时性能掉得明显，说明 representation 的跨实例泛化不是自动产生的，而是靠分布覆盖和 inductive bias 一起实现。

第五，RL 采用 asymmetric setting：actor 看 tactile latent，critic 看仿真 privileged state。这是实用选择。它降低了训练难度，但也意味着 policy 学习过程中利用了真实部署时不可见的信息来塑形 value landscape。这个设定合理，但在归因时要承认它是训练稳定性的一个重要来源。

Key Insight / Why It Works

最核心的有效性来源大概率是“触觉生成机制对齐 + 表示 inductive bias 对齐”的组合，而不是 RL algorithm。TD3、autoencoder、domain randomization 都重要，但不是最本质的新东西。

FEM 有效的原因很直接：在接触丰富 manipulation 中，policy 不是只需要知道有没有撞上，而是需要从 elastomer 的形变模式推断位姿误差和接触方向。对于 monotone insertion，这种信息尤其依赖持续接触下的切向 deformation。如果仿真无法保持切向恢复力，policy 在仿真里学到的 action correction 在现实中会系统性偏移。论文中刚体 baseline 在仿真成功但真实掉性能，正好说明仿真观测和真实观测的控制语义不一致。

点集表示可能是第二个实质贡献。marker-based tactile sensor 的原始有效信号不是图像纹理，而是 marker displacement field。CNN 需要从二值图像中重新发现 marker correspondence 和全局空间关系，且对 marker grid 随机化不友好；PointNet 直接吃坐标，把 nuisance 从像素域降到几何域。这个 inductive bias 很干净，也更容易跨 sensor instance。可以说它不是更大的网络，而是更少的错误假设。

预训练的作用更像 representation alignment / latent structure learning，而非产生新的操作智能。autoencoder 学的是 marker deformation manifold，帮助 RL 早期不必从稀疏奖励或 noisy transitions 中同时学习 perception 和 control。它的增益主要体现在低 step 数下；最终性能提升的归因不如 simulator 和 representation 清晰。若有足够仿真数据和训练时间，预训练可能只是加速器。

Domain randomization 的作用非常工程但不可替代。尤其 optical domain randomization 的消融说明，如果 marker distribution 不覆盖真实传感器，policy 会严重 overfit 到仿真 sensor instance。这里的泛化很大程度来自 data coverage，而不是网络天然 invariant。换句话说，所谓 generalizable tactile policy 是“合理 representation + 大量随机化覆盖”共同产物。

arbitrary-shape training 的现象也值得注意：训练在大量随机 polygon 上的 generalist policy 甚至优于只在 exact test shapes 上训练的策略。这更像 regularization/data coverage 的效果，而不是对形状建立了抽象推理。它说明在 Sim2Real 中，过拟合精确 CAD shape 反而有害；真实世界的微小制造误差、夹持误差和材料误差使 broad training distribution 更接近 deployment distribution。

需要警惕的是，论文中的“general-purpose”并不等于方法具备强 reasoning 或 planning。policy 仍然是低维闭环 correction，很多任务结构被人工固定：插入方向、动作空间、终止条件、奖励、手工旋转阶段等都由设计者给出。lock opening 中最后旋转是 manually designed，仿真还简化了锁芯和忽略 pins，这说明策略主要学 tactile servoing/search-lift，而不是完整解锁规划。

Relation To Prior Work

这篇属于 tactile Sim2Real + deformable simulation + RL manipulation 的交叉谱系。最接近的是基于刚体/penalty tactile model 的 Sim2Real manipulation，以及 FEM-based tactile simulator 用于信号解释或 supervised datasets 的工作。它和这些工作的区别在于：不是单独提出一个 tactile simulator，也不是单独做 tactile representation，而是把 FEM tactile generation 直接接到 RL policy training 并在真机上闭环验证。

相对刚体 tactile simulation，实质差异是物理状态空间不同。prior 近似的是 contact penetration 或 tactile force field；本文模拟的是 elastomer mesh 的连续形变。这个差异在持续接触和切向力相关任务中是本质的，不是精度小修小补。

相对 tactile image/domain adaptation 工作，本文绕开了“让图像像真实”的目标，转而使用 marker coordinates 作为 sensor-level abstraction。这是一个重要取舍：牺牲原始图像中的光学细节，换取控制相关信号的结构化和跨实例鲁棒性。对于 marker-based sensors，这个取舍很合理。

相对 PointNet/autoencoder/pretraining，这些模块本身不是新思想。新意在于识别 marker flow 的 set nature，并把 point-set autoencoding 用作 tactile RL 的前端。这里更像已有 representation learning 思想在触觉领域的正确落点，而不是算法层面突破。

相对真实数据 RL 或 imitation，这篇的定位是仿真驱动的 zero-shot transfer。它把数据成本从真实交互转移到仿真建模和随机化设计上。这个转移是否划算，取决于任务是否能被 FEM 低成本建模以及是否有可获得的物体/传感器几何。

Dataset / Evaluation

评估设计围绕 peg-in-hole 做得比较充分：有真机零样本迁移，有 simulator baseline，有 representation ablation，有 pretraining ablation，有 domain randomization ablation，有 arbitrary-shape training 和 sensor-instance generalization。它确实支撑了论文最核心的 claim：在 marker-based tactile manipulation 中，高保真弹性仿真加结构化 marker representation 可以显著缩小 Sim2Real gap。

monotone insertion 是一个很好的压力测试，因为它比传统“失败后抬起再试”的 insertion 更依赖连续接触中的切向形变。这个任务选择对 FEM 的优势是有利的，但不是 evaluation bias；恰恰是作者想证明的物理机制最该发挥作用的场景。

plug adjustment 和 lock opening 展示了 protocol 的跨任务可移植性，但证据强度低于 peg-in-hole。两者 episode 数较少，任务空间被人工约束，reward/action/state 都经过任务定制。lock opening 还简化仿真结构并在最后阶段使用手工旋转动作，所以它验证的是 tactile servoing pipeline 可以迁移，而不是完整现实任务的端到端泛化。

arbitrary-shape evaluation 比较有价值，但也有边界。训练中随机 polygon 覆盖很广，测试形状只有三类真实物体；这证明 broad shape randomization 有利于有限形状族的泛化，但还不能说明任意复杂 3D 几何或工业零件都能处理。

总体上，benchmark 支持“protocol 在若干低维接触校正任务上有效”，但不完全支持“general-purpose for contact-rich manipulation”这个更强表述。

Limitation

第一，方法成立依赖仿真几何和接触过程可被 FEM 经济地建模。论文使用的是相对低维、局部接触、几何明确的任务。若扩展到完整机械臂、多物体、多接触、多材料、复杂 rigid-body dynamics，IPC/FEM 的速度和建模便利性都会成为瓶颈。作者也承认当前 engine 对复杂刚体不友好。

第二，材料模型可能过于理想。真实 silicone elastomer 存在粘弹性、老化、迟滞、表面污染、非均匀材料属性等，文中主要通过 elastic modulus、Poisson ratio、friction randomization 吸收。这个假设在当前任务有效，但上限不清楚。若任务依赖动态滑移、微小力估计或长时间接触历史，Neo-Hookean + friction randomization 可能不够。

第三，泛化很大程度依赖训练分布覆盖。arbitrary-shape training、optical randomization、task randomization 都说明数据覆盖是核心。所谓 generalization 不是从少数任务中抽象出强物理推理，而是通过 simulation scaling 覆盖可能变化。核心能力可能主要来自数据覆盖和正确 representation，而非 policy 的推理能力。

第四，actor 没有显式 memory。虽然任务中有连续步骤，但 observation 主要是当前 marker displacement 相对 episode 初始状态，policy 并未形成长期状态建模。对于需要隐藏状态估计、接触模式切换记忆或多阶段策略的任务，这可能不够。planner 实际没有形成长期状态建模，更多是局部 tactile feedback correction。

第五，增益归因仍有耦合。FEM、PointNet representation、domain randomization、privileged critic、pretraining、shape randomization同时存在。虽然有消融，但跨任务上没有系统拆开。比如 plug/lock 中到底是 FEM 保真度关键，还是预训练和随机化覆盖关键，文中未充分说明。

第六，真实部署仍依赖 marker tracking。论文通过 padding、dropout/randomization 处理丢点，但当 deformation 大到 tracking 崩溃、marker 严重遮挡或光学质量下降时，pipeline 的鲁棒性上限未知。它把图像理解问题简化成 marker tracking，但没有消除这一依赖。

Takeaway

  • 1）对 marker-based tactile Sim2Real，最值得迁移的 insight 是：不要把触觉图像当普通图像，应该尽早提取控制相关的几何中间表示。
  • marker flow / point set 是比 RGB 或 binary image 更自然的 policy input。
  • 2）在接触丰富任务里，仿真是否保留切向弹性形变比视觉外观是否逼真更重要。
  • 若任务依赖持续接触、摩擦和 elastomer 恢复力，刚体 penalty 模型的 Sim2Real gap 很可能是结构性的。

一句话总结

这篇论文把 marker-based 触觉 Sim2Real 从刚体近似和图像对齐推进到“弹性体物理仿真 + 点集触觉表示 + 分布随机化”的系统路线，真正贡献在于重建了触觉控制信号的建模链路，而不是提出了新的 RL 算法。