IEEE Transactions on Robotics

Correspondence-Free, Function-Based Sim-to-Real Learning for Deformable Surface Control

作者：Yingjun Tian, Guoxin Fang, Renbo Su, Aoran Lyu, Neelotpal Dutta, Weiming Wang, Simeon Gill, Andrew Weightman, Charlie C.L. Wang · 机构：Department of Mechanical and Aerospace Engineering, The University of Manchester, Manchester, U.K.; Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, Hong Kong; Department of Materials, The University of Manchester, Manchester, U.K.

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：653-672

控制操作软体机器人

精读笔记

Problem Setting

《Correspondence-Free, Function-Based Sim-to-Real Learning for Deformable Surface Control》（IEEE Transactions on Robotics / 2026）处理的是软体机器人自由曲面控制里的现实 gap：仿真或仿真训练的 forward kinematics 能快速给出形状，但真实硬件由于材料、制造、装配、气动响应和建模简化会产生显著几何偏差。控制端真正需要的是一个准确、连续、可微、可快速求导的 real-world shape predictor，而不是离线对齐几个 marker。

关键矛盾是：真实世界最容易获得的高覆盖形状数据是 3-D scanner 点云，但它没有仿真点对应，且常有遮挡/缺失；MoCap 有对应但稀疏、容易丢 marker。传统 sim-to-real 若依赖 full correspondence，就会在最需要大形变曲面校正的场景中失效。以前方法卡在两个地方：一是 marker-based transfer 空间覆盖不足，校正不了整张自由曲面；二是 correspondence assumption 使得 dense scanner data 难以直接进入训练。论文不是提出新的控制策略，而是重构了可用于 IK 的 sim-to-real forward model。

Motivation

已有路线不够的根本原因不是网络容量不足，而是监督形式不匹配。软体曲面的大变形让真实采集天然是 partial、unordered、non-corresponded；而 prior sim-to-real 仍把问题写成对应点之间的残差学习。这导致大量真实几何信息被浪费，或者必须先做脆弱的非刚性配准。

作者的核心观察是：虽然仿真不准，但仿真 mesh 的拓扑、UV 参数化和低维形状趋势通常是可信的；现实差异并不需要从 actuation 端重新学一个完整 shape generator，而可以作为一个条件化的连续空间变形叠加在仿真结果上。缺的是一种既能利用无对应点云，又能保留仿真结构和可微性的中间表示。

Core Idea

这篇的核心不是“用 NN 做 sim-to-real”，而是把 sim-to-real 的对象从离散点残差改成函数空间：给定当前仿真形状，网络预测一个 RBF-based spatial warping function，然后这个函数把仿真曲面上的任意点映射到校正后的真实曲面。也就是说，网络输出的不是形状本身，而是形状条件化的 deformation operator。

这个建模方式引入了很强的 inductive bias：真实 gap 被假设为平滑、连续、低频的空间变形；仿真负责提供拓扑和主要变形 manifold，RBF warping 只负责校正系统性偏差。相比直接学习 actuation-to-real-shape，它显著降低了 sample complexity；相比 marker residual learning，它把监督从固定对应点扩展到无序点云上的集合对齐。因此它更 scalable 的地方不在网络更大，而在于信息流被重新组织为 simulation prior + continuous correction + correspondence-free alignment。

Method

方法的关键机制可以压缩为三件事。

第一，B-spline surface descriptor。它解决的是高维 mesh 直接作为条件输入过于冗余的问题。由于仿真形状共享拓扑，作者用 rest-shape 参数化加 B-spline fitting 得到控制点，作为当前仿真形状的 compact state。这一步的核心变化是把自由曲面状态变成低维、可微、可采样的几何编码，而不是直接处理 dense mesh。

第二，shape-conditioned RBF warping。网络根据 B-spline 控制点预测 RBF 变形函数的系数，kernel center 按 UV 在当前仿真曲面上采样。它解决的是不同 actuation 下 sim-to-real gap 不同的问题，同时避免为每个采样点独立预测残差。RBF 的作用更像连续几何先验：限制校正函数平滑，并天然支持任意点查询和梯度传播。

第三，confidence-weighted differentiable alignment。训练时真实形状可以是 scanner 点云或部分 marker。对于无对应点云，作者用加权 Chamfer 做集合级对齐，同时学习 confidence map 来降低缺失区域/不可置信区域的反向约束。这个机制的必要性在于：普通 Chamfer 会把完整预测曲面吸向缺失观测的边界或错误邻近点；固定 correspondence 又会在大变形/缺失时失败。confidence map 本质上是在学习一个观测可靠性 mask。

normal compatibility 和 RBF compatibility/geometric regularization 主要是稳定项。它们解决 RBF 在大 gap、少 kernel 时可能生成不自然 warping 的问题，但不是核心范式变化；更像让函数空间不塌陷、不产生奇异形变的约束。

Key Insight / Why It Works

最重要的 insight 是：不要把真实数据当作替代仿真的完整监督，而要把真实数据用于学习仿真 manifold 上的 correction field。软体机器人虽然高 DoF，但实际由有限 chamber pressure 驱动，形状变化落在相对低维的 manifold 上；仿真即便有 bias，也通常能给出这个 manifold 的坐标系。论文利用这一点，把困难的 real forward modeling 分解为 simulation surrogate + low-complexity residual warping。

有效性最可能来自三个因素。第一是 representation alignment：B-spline/UV 参数化把所有仿真形状放在共享坐标系统中，RBF kernel 也沿这个坐标系统移动，这比无结构点云学习稳定得多。第二是 inductive bias：RBF warping 假设 gap 平滑，正好匹配软体自由曲面的大尺度系统误差。第三是 data efficiency：真实数据不需要 dense correspondence，所以 scanner 的高覆盖点云和缺失 marker 都能进入训练，实际扩大了可用监督。

论文中最实质的贡献是 confidence-weighted Chamfer 与 function-based warping 的结合。单独看，RBF deformation、Chamfer alignment、B-spline surface、NN surrogate 都不是新概念；但把它们组织成一个可微、可控、能处理 partial observation 的 sim-to-real forward model，是有价值的系统性重组。

哪些可能只是 engineering？网络结构选择、kernel 数量、loss 权重、normal loss、IK 中交替 ICP/gradient descent，大多是使系统跑稳的工程设计。性能增益中 direct learning baseline 较弱也需要注意：直接从几十帧真实扫描学习 actuation-to-pointset 本来就不占优，因此它被击败不能单独证明方法本质更强；更强证据是同一仿真模型经 warping 后在多个硬件上稳定降低真实 shape error。

这不是 retrieval，也不是 test-time compute 驱动；更像是 latent structure + representation alignment。所谓泛化主要来自训练数据覆盖下的 smooth interpolation，而不是模型学到了跨机器人通用物理规律。若训练 actuation 覆盖不足，RBF warping 很可能给出平滑但错误的外推。

Relation To Prior Work

最接近的路线有三类：仿真 surrogate forward kinematics、marker-based sim-to-real correction、非刚性点云/曲面配准。论文与第一类的关系是补丁式增强：仍用 NN 学 simulator surrogate，只是在其后加 real correction。与第二类的本质差异是监督不再依赖完整 marker correspondence，空间覆盖也从 sparse marker 扩展到 whole surface。与第三类的差异是它不是对每一帧做独立 registration，而是学习一个由仿真形状条件化的函数族，使校正结果可嵌入 IK 并对 actuation 求导。

看似新的部分中，RBF deformation 和 Chamfer loss 都是已有思想；真正新增的信息在于：把 RBF 函数系数作为 sim-to-real 网络输出，并用 partial point-cloud alignment 训练这个函数空间。它属于 model-based learning / residual sim-to-real / differentiable geometry pipeline 的谱系，不是端到端 black-box policy learning，也不是新型 soft robot controller。

Dataset / Evaluation

评估的覆盖面相对扎实：四个气动软体系统，包括膜、mannequin、普通 soft manipulator、可压缩 manipulator；两种真实采集设备，包括 scanner 和 MoCap；同时验证 forward prediction、消融、不同 simulator、IK 和物理任务执行。对于论文核心 claim——无对应/缺失观测下学习可用于控制的 sim-to-real correction——这些实验基本是对口的。

但 evaluation 的边界也很明确。第一，所谓 generality 是框架在不同硬件上重新训练后的适用性，不是一个模型跨硬件泛化。第二，大多数测试仍在同一硬件、同一 actuation 分布内做插值；训练数据覆盖对结果的贡献很大。第三，IK 实验展示了实际价值，但 objective 中最近点匹配与 ICP pose alignment 会弱化一些绝对形状误差的解释。第四，direct learning baseline 并不是特别强的竞争者，它更多说明少量真实数据直接学 shape 很难，而不是完全排除了其他 correspondence-free shape learning 方案。

Limitation

核心前提一：仿真与真实形状必须共享拓扑和大致变形模式。如果仿真预测的形状落在错误 manifold 上，RBF warping 只能做平滑几何修补，不能恢复缺失的物理模式。

核心前提二：sim-to-real gap 必须足够平滑。RBF 函数天然偏低频，适合硅胶曲面的大尺度偏差，但不适合尖锐折痕、接触导致的局部突变、皱褶、高频 buckling 或拓扑变化。作者也承认 sharp features 不是适用对象。

核心前提三：数据覆盖决定上限。论文中的泛化大概率主要是 actuation space 内的 interpolation；训练集设计、Halton sampling、极值压力覆盖、真实扫描数量都会显著影响结果。核心能力可能主要来自数据覆盖 + 仿真 manifold，而不是模型具有强外推能力。

另一个限制是 confidence map 的可解释性。它被设计为忽略缺失/不可靠区域，但文中未充分说明它在复杂缺失模式下是否会系统性低估难对齐区域，从而把真实误差隐藏掉。confidence regularization 抑制全零解，但不能保证学到的是物理可见性而非 loss-avoidance mask。

最后，控制层面仍是 quasi-static shape control。动态响应、滞后、接触、温度变化、载荷变化都没有被真正建模。IK 的成功依赖前向模型局部可微且足够准；如果执行过程中出现未建模状态，planner 没有长期状态估计或闭环纠偏机制。

Takeaway

  • 1. 这篇最值得迁移的思想是：在 sim-to-real 中优先学习“仿真输出空间上的函数校正”，而不是直接学习 real dynamics/shape；只要仿真提供正确 latent manifold，残差函数会显著降低真实数据需求。
  • 2. 对 deformable object/soft robot，correspondence-free supervision 的关键不是简单用 Chamfer，而是必须处理 partial observation；learned confidence/mask 与完整预测模型的非对称对齐是一个可复用设计。
  • 3. RBF/B-spline 这类传统几何表示在机器人学习里仍然很有价值，因为它们提供连续性、可微性和强 smoothness prior，比纯 point-based black-box 网络更适合嵌入优化控制。
  • 4. 未来真正值得做的是把这种静态几何 sim-to-real 扩展到动态、接触和闭环状态估计；否则它仍主要是高质量 quasi-static forward correction，而不是完整软体机器人控制框架。

一句话总结

这篇论文把软体自由曲面的 sim-to-real 从依赖对应点的离散残差学习推进为基于仿真 manifold 的连续函数校正，是一类“几何先验 + 可微 alignment + 少量真实数据”的实用型 sim-to-real 演化。