IEEE Transactions on Robotics

TensorTouch: Calibration of Tactile Sensors for High Resolution Stress Tensor and Deformation for Dexterous Manipulation

作者：Won Kyung Do, Matthew Strong, Aiden Swann, Boshu Lei, Monroe Kennedy · 机构：Department of Mechanical Engineering, Stanford University, Stanford, CA, USA; Department of Computer Science, Stanford University, Stanford, CA, USA; School of Engineering and Applied Science, University of Pennsylvania, Philadelphia, PA, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：2107-2126

操作触觉传感器视觉状态估计

精读笔记

Problem Setting

TensorTouch: Calibration of Tactile Sensors for High Resolution Stress Tensor and Deformation for Dexterous Manipulation（IEEE Transactions on Robotics / 2026）

这篇论文不是在做一个新的 tactile sensor，也不是单纯做 force regression；它实际在解决 optical tactile sensor 的物理标定问题：给定一张由软 gel 形变产生的内部图像，恢复传感器表面的密集位移、接触法向/剪切力和应力张量，并让这些量能用于多接触 dexterous manipulation。

真正困难点有三个。第一，大形变软 gel 下，图像变化和力/位移之间不是局部线性关系，bulging、接触面积扩散、剪切耦合都会让简单光流或 marker tracking 失效。第二，多接触场景中，不同 contact patch 的形变场会在 gel 内部相互叠加，contact localization 和 force attribution 不再是独立单点估计。第三，dense stress/deformation 的真实标签几乎不可直接测量；外部 ATI 只能给总力或 indenter-level force，mocap 只能给 pose，无法提供每个 surface element 的应力。

以前方法大多在两端之间摇摆：一端是 raw tactile image 直接给 policy，用起来方便但 sensor-specific 且不可解释；另一端是低维 calibrated output，例如 contact center、normal force、single wrench，物理意义强但丢掉了 dense contact geometry 和 shear distribution。本文的关键矛盾是：要获得可迁移、可控制的物理表示，需要高保真力学建模；但高保真 FEA 在线不可用，且仿真本身有 sim-to-real gap。

Motivation

作者真正的出发点是 representation alignment：如果 tactile policy 直接吃 RGB/gel 图像，那么策略学到的是某个 sensor 的光照、相机、gel 外观和形变模式；一旦换 sensor 或 gel，表示就崩。相比之下，force、stress、deformation 是更接近 manipulation 所需的中间变量，理论上可以作为 sensor-agnostic interface。

已有路线不够的地方不只是精度低，而是监督结构不对。小形变 Poisson reconstruction、optical flow、marker displacement 等方法能给 shape proxy，但对大形变和剪切力不足；单 wrench 或 normal force distribution 对多物体接触太粗；纯 simulation tactile rendering 又在软材料接触上很容易失真。缺口是：一个能把真实接触轨迹、真实几何和真实外力测量转化为 dense mechanics labels 的标定框架。

因此，TensorTouch 的动机不是“用 ViT 提高预测精度”，而是“用 FEA 把不可观测的密集物理量补出来，再把它蒸馏到视觉触觉网络里”。这是一种把 tactile calibration 从图像建模问题改写成 inverse continuum mechanics 问题的路线。

Core Idea

核心思想可以概括为：用真实数据约束仿真，用仿真生成真实世界无法直接测量的密集物理监督，再用网络把这个昂贵的物理反演近似成实时映射。真实采集阶段获得 tactile image、indenter 6D pose 和外部 force/torque；FEA 阶段根据真实轨迹和真实 indenter 几何重放接触过程，得到表面位移、应力张量和接触力场；学习阶段训练 image-to-field model，从单张 tactile image 输出这些 dense fields。

它和 prior 的本质区别在于监督信号的组织方式。不是从图像中手工提取 contact feature，也不是让网络直接拟合总力，而是构造一个物理一致的 latent field 作为中间表示。这个 latent field 带有明确的 inductive bias：gel 是超弹性连续体，接触力和应力由材料模型、边界条件和 contact mechanics 约束，2D 图像像素对应 3D sensor surface。网络学的不是任意视觉模式，而是被 FEA 约束过的物理场。

这一路线可能更 scalable 的原因在于：一旦某类 sensor 完成标定，在线推理只依赖图像；同时输出空间是物理单位而非 sensor-specific embedding。它也可能更 generalizable，因为多 indenter 几何和多接触 FEA 提供了比单一球形 poking 更宽的 deformation coverage。但这种 generalization 很大程度仍是 data coverage + physics prior 的组合，不应理解为网络获得了通用接触物理推理能力。

Method

1. 真实轨迹驱动的 FEA，而不是纯仿真采样。motion capture 和 ATI force/torque 的作用是把真实 indentation 的 pose、force 和 image 对齐，避免仿真数据分布完全脱离真实 sensor。keypoint extraction 解决的是 FEA 成本问题：保留接触开始、方向变化和大形变状态，丢掉冗余连续帧。核心变化是把人工随机探索变成可重放的物理仿真轨迹。

2. 超弹性 FEA 作为 dense label engine。Yeoh model、hybrid elements、多接触 rigid indenter、固定 gel base、摩擦接触等选择，本质上是为了在软 gel 大形变时避免线性弹性模型的错误监督。FEA 的角色不是 runtime simulator，而是一个离线 label generator；它补全了真实系统无法观测的 stress/deformation fields。

3. real-to-sim force correction。ATI 总力被用来校正 Abaqus reaction/contact force 的尺度和方向偏差。这一步很关键，因为材料参数、摩擦和边界条件只要有小误差，force label 就会系统偏移。这里的校正实际上承认 FEA 不是 ground truth，而是需要外部测量 anchoring 的高维插值器。

4. 2D-3D correspondence 和 baseline adaptation。前者保证 FEA surface field 能投影到 tactile image 坐标，后者处理 gel hysteresis 导致的 reference drift。它们不新颖，但对该 pipeline 是否能闭环成立是必要条件。没有稳定的坐标/基线对齐，网络会学到大量伪相关。

5. Hiera + Q-Upsampling dense predictor。网络部分的核心不是 transformer 本身，而是多尺度 spatial feature 保留：接触边界和局部 shear 需要高分辨率，整体 bulging 和多接触耦合需要大感受野。Q-Upsampling 相比普通 ViT/DPT 的增益大概率来自更适合 tactile dense field 的多层特征融合，而不是模型规模。

Key Insight / Why It Works

这篇论文最重要的 insight 是：对于软 optical tactile sensor，dense force/stress estimation 的瓶颈不是网络表达能力，而是监督构造。只要能构造足够一致、覆盖足够广的 dense physical labels，image-to-field 学习本身并不神秘。TensorTouch 的有效性主要来自 representation alignment + physics-supervised distillation，而不是某个单独网络模块。

最可能的核心贡献是 FEA-supervision pipeline：真实 pose/force 把仿真拉回真实分布，FEA 提供 dense hidden state，网络负责 amortized inference。这是典型的 offline expensive inference → online fast predictor 范式，和很多 sim-to-real perception/calibration 工作同构。它有效是因为 tactile image 本身确实包含丰富形变信息，而 FEA 给出了一个物理合理的解码目标。

第二个关键来源是 data coverage。作者用 YCB-derived indenter shapes、不同 gel softness、多接触和随机 6D human-guided indentation 扩大形变分布。泛化能力很可能主要来自这些几何和轨迹覆盖，而不是模型自动学会了通用 mechanics。若测试对象的接触几何、材料、摩擦或力范围超出训练/FEA 覆盖，性能上限会迅速暴露。

网络架构的贡献要相对克制看待。Hiera + Q-Upsampling 优于 DenseNet/ResNet/ViT-DPT，说明 dense tactile field prediction 需要多尺度结构和空间细节保留；但这更像合适的 decoder engineering，而不是触觉建模上的根本突破。表中 ViT-DPT 的异常差表现还提示 baseline 适配可能不充分，增益来源不完全清楚。

多接触 manipulation 的成功也应理解为 calibrated dense field + clustering + graph controller 的组合。这里没有形成复杂长期状态推理，更多是接触区域检测、力差识别和局部 contact graph navigation。所谓 selective grasp 能力并不是 policy 从 stress tensor 中学到了抽象操作语义，而是物理场表示让简单控制器获得了足够清晰的局部反馈。

Relation To Prior Work

这篇工作处在 FEA-based tactile calibration、optical tactile dense estimation 和 tactile representation for manipulation 的交叉处。和 GelSight 系列 shape-from-shading/Poisson reconstruction 相比，它不满足于表面形状，而是试图恢复接触力、剪切力和 stress tensor；和 marker/optical-flow 方法相比，它不依赖表面 marker 的位移代理，而是通过 continuum mechanics 建立力学解释；和单 wrench regression 相比，它输出 dense spatial field，更适合多接触。

和 iFEM / FEM surrogate 类工作最接近。真正不同点在于它更强调大形变软 gel、多 indenter、多传感器形状以及 real trajectory replay，而不是只在简化几何或小厚度 gel 上做逆解。它的实质创新不是“使用 FEA”本身，而是把 mocap/ATI/FEA/image projection/network distillation 串成一套可以服务真实 manipulation 的 calibration workflow。

看似新的部分中，Hiera、masked pretraining、multi-head dense output、contact clustering、graph-based controller 都是已有思想的重组。真正新增的信息在于：FEA 标签不只是 normal deformation，而是包含 normal/shear stress、contact normal/shear force 和 displacement 的统一多场表示；并且这些输出被用于真实多物体操作，而不是停留在离线预测。

它属于“physics-generated supervision + learned real-time inverse model”的技术谱系，而不是纯端到端 tactile learning。这个定位很重要：它的价值在于把触觉图像转译成标准化物理接口，而不是提出一个通用 tactile foundation model。

Dataset / Evaluation

数据覆盖比很多 tactile calibration 工作更认真：真实 sensor、真实 indenter、mocap/ATI 同步、多 gel softness、多 YCB-derived 几何、多接触轨迹，并且用 FEA 生成 dense labels。它不是纯 synthetic，也不是单点球形压入，因此对大形变 contact field 的覆盖相对可信。

评估分三层：第一层是网络对 FEA-derived dense labels 的重建，这验证了 amortized FEA 是否可学，但不验证物理真实性；第二层是用 ATI 和 mocap 对 contact force/position 做现实校验，这才是关键证据；第三层是多物体 string/cable selective grasp、shear/slip 和 durability，说明该表示能进入控制闭环。

不过 evaluation 对最强 claim 的支持并不完全充分。论文强调 sensor-agnostic representation，但实验更像证明 pipeline 可适配多个 sensor/gel，而不是证明同一 policy 或同一 calibrated representation 能跨 sensor 无缝迁移。多物体操作任务也比较窄，主要是两个线状/电缆物体的 selective grasp；它验证了多 contact patch 分离和局部力差控制，但还不能说明 stress tensor 表示普遍提升复杂 dexterous manipulation。

另外，force/position 的现实校验点数量不大，且主要是单接触；多接触 force attribution 的 ground truth 更难，文中没有提供同等强度的独立验证。剪切/slip 实验有价值，但经过 random forest calibration，说明系统在真实剪切力上仍依赖后验校正。

Limitation

最大的隐含前提是 FEA 足够接近真实 gel mechanics。材料参数、摩擦系数、边界固定、反光层忽略、indenter 刚体假设、gel 粘弹性/滞后等都会影响 label。论文用 ATI 校正缓解了一部分，但这也意味着 dense stress field 本质上是“校正后的仿真真值”，不是直接观测真值。

scalability 的上限在 calibration 成本。每个新 sensor geometry、gel formulation、装配边界、相机视角都需要 2D-3D mapping、baseline 处理、材料表征、轨迹采集和 FEA replay。作者说 sensor-agnostic，但实际是“只要每个 sensor 都能被标定到同一物理输出空间”；这个前提并不轻。

泛化可能主要来自数据覆盖。YCB-derived indenter 和随机 6D 轨迹确实扩大了训练分布，但对真实操作中的软物体、非刚体 indenter、高速动态、温度变化、长期 aging、复杂摩擦历史是否泛化，文中未充分说明。尤其对软-软接触，FEA 中刚性 indenter 假设可能不再成立。

多接触分离仍偏工程。contact clustering 依赖阈值、连通域和空间分离；当两个物体距离小、force field overlap 或 gel 很软时会 merge。论文自己也承认近距离 cable 会失败。这说明 dense field 并没有自动解决多接触归因，只是提供了更好的输入。

网络部分的增益归因不清。Hiera + Q-Upsampling 好于 baseline，但 baseline 是否充分调参、ViT-DPT 为什么出现高 false positive，文中没有完全解释。可能主要来自 architecture fit + pretraining + output normalization，而非某个明确理论优势。

最后，stress tensor 对下游是否必要仍未被隔离验证。 selective grasp 可能只需要 contact center、force magnitude 和 shear trend；完整 15D dense tensor 的边际价值没有通过 ablation 清楚证明。

Takeaway

  • 1. 触觉表示的核心路线可能会从 raw image embedding 转向 calibrated physical field。
  • 对 manipulation 来说，sensor-agnostic 的关键不是更大 encoder，而是把不同 sensor 对齐到可解释物理变量。
  • 2. 对软 tactile sensor，大形变不是噪声，而是信息来源；但要利用它，必须引入连续介质力学或等价的强 inductive bias。
  • 简单 optical flow/marker displacement 在这类场景下上限明显。

一句话总结

TensorTouch 是一条把 optical tactile sensing 从 sensor-specific 图像回归推进到 physics-calibrated dense field estimation 的路线，其真正贡献在于用 FEA 生成大形变多接触的物理监督并将其蒸馏为实时模型，而不是单纯提出一个更强触觉网络。