IEEE Transactions on Robotics

LeTac-MPC: Learning Model Predictive Control for Tactile-Reactive Grasping

作者：Zhengtong Xu, Yu She · 机构：School of Industrial Engineering, Purdue University, West Lafayette, IN, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：4376-4395

控制优化操作抓取触觉

精读笔记

Problem Setting

这篇论文实际处理的是 tactile-reactive grasping 中最容易被低估的一环：不是找到初始抓取位姿，而是在物体已经被夹住或即将被夹住后，实时调节夹爪宽度以应对物体物性差异、动态运动和外部扰动。

关键矛盾是：稳定抓取需要物体状态和物性信息，但这些信息在 GelSight 图像中是高维、间接、局部且物体相关的；控制器又需要低维、稳定、可预测、可约束的状态。以前的 model-based tactile controllers 通常把问题简化为接触面积、marker 位移、slip event 等特征，但这些特征对软物体和复杂纹理非常脆弱。纯 learning grasping 方法可以直接处理图像，但通常不保证实时闭环、收敛行为和动态可行性。

因此这篇论文的真实问题是：如何把高维触觉图像变成一个可被实时 MPC 使用的控制状态，而不是如何做一个更好的 tactile classifier。

Motivation

作者的核心观察是：GelSight 触觉图像里确实包含物体硬度、摩擦、接触几何、受力状态等信息，但这些信息不一定能被稳定地显式提取出来。特别是当物体比传感器 gel 更软、接触形变很弱、纹理复杂或形状不规则时，接触面积这类人为特征会直接失效。

已有路线缺的不是传感器分辨率，也不是更复杂的神经网络，而是一个能把 representation learning 和 closed-loop control 对齐的结构。纯感知模型学到的特征未必服务控制；纯 MPC 又需要人为定义状态。LeTac-MPC 正是在这个缺口上做折中：让网络学隐式触觉表征，但用 MPC 层约束这个表征必须能支持短时预测和轨迹优化。

Core Idea

核心思想可以概括为：不再显式估计物体物理属性，而是学习一个对夹爪控制有用的 tactile latent state；然后把这个 latent state 放进一个可微 MPC 层，使其在训练时被控制目标塑形。

这改变了建模方式。传统 tactile control 是“图像 → 手工状态 → 控制律”；LeTac-MPC 是“图像 → latent state → 可优化控制问题”。这个 latent state 没有明确语义，但被 MPC 的局部动态模型和代价函数强行组织成可控制对象。它引入的 inductive bias 是：触觉图像中与稳定抓取相关的信息，应当能在短 horizon 内被一个局部线性动态和二次代价利用。

本质区别不在于用了神经网络，也不在于用了 MPC，而在于把 MPC 作为网络输出层参与训练，使 representation learning 直接面向 closed-loop convergence，而不是面向分类、滑移检测或单步动作预测。

Method

方法中真正关键的机制有三层。

第一，触觉编码器把 raw GelSight image 压到低维 embedding。它解决的是 hand-crafted tactile feature 在跨物性场景下不稳定的问题。这里的关键不是 ResNet-152 本身，而是放弃显式接触面积/硬度估计，把物性和状态压进一个控制相关 latent。

第二，可微 MPC 层学习 embedding 随夹爪速度变化的局部动态，并通过二次代价输出一段夹爪位置轨迹。这个设计的作用是把网络输出从“动作回归”变成“受控制结构约束的轨迹生成”。它带来的核心变化是：模型不只拟合标签，还要学出一个能被优化器使用的 latent geometry。

第三，训练标签不是传统意义上的 grasp success，而是数据采集中外力作用下发生滑移时的临界夹爪宽度 p_slip。这个标签把学习目标定义成“尽可能松但不滑”的边界。它比二分类成功/失败更接近控制目标，也解释了为什么方法能在脆弱物体上避免过大夹持力。

部署时加入约束、控制增益和 marker displacement 辅助项，更多是把 learned latent MPC 调成真实硬件可运行的控制器。这部分重要但偏 engineering；其贡献是保证实时性和鲁棒性，而不是核心表示学习创新。

Key Insight / Why It Works

这篇论文最重要的 insight 是：触觉控制不一定需要可解释的物理状态，但需要一个被控制目标规训过的 latent state。LeTac-MPC 的有效性主要来自 representation alignment：CNN 学到的 embedding 不是为了识别材料，也不是为了预测滑移标签，而是为了让 MPC 输出轨迹接近临界防滑宽度。这个训练信号直接把触觉图像中的物性线索对齐到控制目标。

第二个有效因素是 MPC inductive bias。相比直接回归夹爪动作，MPC 层引入了局部动态、速度/加速度平滑、终端收敛和 receding horizon。这使得网络不需要一次性学完整闭环策略，只需要学一个短时可预测的 latent dynamics。对这种单自由度夹爪宽度调节任务，这个 bias 很合适。

第三个因素是数据设计。用不同刚度/摩擦的标准块采集临界滑移宽度，本质上是在构造一个低成本的物性覆盖数据集。作者强调只用标准块却泛化到日常物体，但这里需要谨慎：泛化很可能来自 tactile image 中局部接触模式与物性变化的覆盖，而不是模型获得了抽象物理推理能力。换句话说，它更像是学到了控制相关触觉 manifold，而不是显式物理模型。

最可能的核心贡献是“可微 MPC 作为 representation-shaping layer”。ResNet、QP、MPC、GelSight 都不是新东西；新意在于它们的耦合方式。部署时 marker displacement 的加入会让增益归因变得不完全干净：文中未充分说明 learned latent 与额外 model-based feedback 各自贡献多少。尤其在动态扰动场景，marker displacement 很可能显著提升响应速度。

这不是 retrieval，也不是 test-time compute scaling；更接近 better inductive bias + latent structure + data coverage。scaling 成分存在于 pretrained visual backbone 和触觉数据覆盖，但不是主要叙事。真正成立的条件是任务结构足够简单：只要控制夹爪宽度，且触觉图像能反映接触稳定性，latent MPC 就有很强优势。

Relation To Prior Work

最接近的技术谱系有三条：基于 GelSight 的 model-based tactile control、学习式 tactile grasping/regrasping、以及 differentiable optimization layer / OptNet 风格的 structured policy learning。

相对传统 tactile control，这篇的本质差异是放弃显式低维触觉特征作为状态。PD/MPC baseline 依赖 contact area 和 marker displacement，因此在软物体上明显受限。LeTac-MPC 则让网络从 raw image 中提取隐式物性和状态，避免了手工特征的脆弱性。

相对 learning-based grasping，它的差异是控制结构更强。很多学习抓取方法预测 grasp success、sample action 或做低频 regrasp，不关心实时收敛、平滑性和约束。LeTac-MPC 把学习输出嵌入 MPC，所以更像一个 learned controller，而不是一个 action proposal model。

相对已有 learning tactile MPC 或 video prediction MPC，这篇避免了高成本图像预测，只在 latent space 中做短时线性预测。这是实际实时性的关键。它不是提出了新的 MPC 理论，而是把已有 differentiable QP layer 放在触觉控制任务里，并设计了合理的 latent dynamics 和数据标签。

因此，看似新的是“learning MPC for tactile grasping”；实质创新是 tactile latent representation 与 MPC 控制目标之间的端到端对齐。

Dataset / Evaluation

数据采集设计很有意思：训练只用四种标准块，通过双臂系统施加外力并逐渐放松夹爪，记录滑移临界宽度作为标签。这比人工标注 grasp success 更接近控制边界，也降低了数据采集复杂度。

评估是真机评估，覆盖日常物体、动态运输、剧烈摇晃和碰撞扰动，能较好支撑“比 hand-crafted tactile control 更泛化、比 open-loop 更 reactive”的 claim。尤其是软物体场景中，contact area 特征失败而 raw-image latent 仍可工作，这直接验证了论文最核心的主张。

但 evaluation 仍有明显边界。测试任务都围绕单自由度夹爪宽度调节，没有复杂 manipulation，也没有跨夹爪、跨传感器、跨 GelSight elastomer、跨接触位置的大规模验证。日常物体数量有限，且测试对象虽然形状/纹理多样，但物理空间覆盖是否系统并不清楚。文中没有充分 ablation 区分 CNN backbone、MPC layer、p_slip 标签、marker displacement 部署反馈和数据覆盖各自的贡献。

因此实验足以说明这是一个有效系统，但还不足以证明其 latent representation 具备强物理泛化能力。

Limitation

最核心限制是传感器可观测性。LeTac-MPC 只能利用 GelSight 图像里已经存在的接触形变信息。如果物体极软，软到无法在 gel 上产生可辨识形变；或极滑，切向力无法引起足够 marker/gel 变形，算法就没有信息来源。论文中的剥壳熟鸡蛋实验很好地暴露了这一点。

第二，方法的控制维度很低。它实际上解决的是 parallel gripper 的一维宽度调节，不是多指手的复杂接触规划，也不是 in-hand manipulation。MPC 层的线性 latent dynamics 在这个任务上合理，但扩展到多接触、多自由度和长期操作时可能不够。

第三，泛化 claim 需要收敛到更精确的表述：它泛化到若干未见日常物体，而不是对任意物体物性泛化。核心能力可能主要来自数据覆盖了足够的刚度/摩擦范围，加上 tactile image 的局部接触模式具有共享结构。所谓物理理解是隐式的，不能等同于显式估计可迁移物理参数。

第四，部署时的 engineering 成分不小。增益调节、约束加入、marker displacement 辅助反馈、低层 gripper tracking 都对最终性能重要。增益来源不清，特别是动态扰动中 learned latent 与手工切向反馈的贡献没有被彻底拆开。

第五，跨传感器迁移是潜在硬伤。GelSight raw image 对光照、gel 状态、marker pattern、相机标定和表面磨损敏感。文中承认一个传感器训练的模型迁移到另一个传感器可能退化，这意味着当前方案仍偏 sensor-specific。

Takeaway

  • 1. 对触觉控制而言，最有价值的方向不是显式恢复所有物理量，而是学习 task-conditioned latent physical representation，并用控制结构约束它。
  • 2. 可微优化层的作用不只是“让 MPC 可训练”，更重要的是塑造 latent space：让表示天然服务于稳定、平滑、可约束的闭环控制。
  • 3. 数据标签设计比网络结构更关键。
  • 用临界滑移宽度作为 supervision，本质上把“最小安全夹持力”这个控制目标写进了数据。

一句话总结

LeTac-MPC 是一篇把 tactile representation learning 从感知/分类推进到实时闭环控制的工作，其真正贡献是用可微 MPC 将高维触觉 latent 组织成可优化的控制状态，而不是提出新的抓取策略本身。