精读笔记

Problem Setting

Heterogeneous Tactile Transformer（arXiv preprint / 2026）解决的不是传统 tactile perception 里的单任务性能问题，而是 tactile representation 在传感器异构条件下不可复用的问题。触觉传感器之间的差异比相机之间更本质：optical tactile 输出高维空间图像，array/taxel sensor 输出低维但高频、force-sensitive 的时间序列；它们不是同一信号的不同噪声版本，而是对接触物理过程的不同投影。

真正困难点在于：如果只做 sensor-specific learning，数据无法跨设备积累；如果强行做统一 encoder，又会破坏每类传感器自己的结构 inductive bias。以前 optical tactile pretraining 的瓶颈是把触觉学习默认建模成“图像表示学习的一个特例”，这在 GelSight-style sensor 上能 scale，但天然排除了非视觉触觉。这个任务的关键矛盾是：既要共享 latent 以便迁移，又不能把传感器差异压平成无意义的 domain noise。

Motivation

已有路线缺的是跨传感器物理事件级别的监督。MAE/contrastive tactile pretraining 可以从单一 sensor family 中学到有用结构，但它无法回答一个问题：同一次接触在 GelSight 图像中的形变、在 Xela taxel 上的力响应、在 TAC-02 中的压力变化，哪些部分应该被视为同一个物理变量？没有这个桥，所谓 tactile foundation model 会被限制在单一传感器生态里。

作者的核心观察是：异构触觉并非不能统一，只是统一不应发生在 raw input level，而应发生在 contact-event latent level。UMI 式 paired collection 给了一个低成本路径：不需要人工标注物理状态，只要让两个传感器同步接触同一个物体/事件，就能形成跨模态自监督信号。这个方向的关键缺口因此不是更大的 optical tactile dataset，而是同步 heterogeneous tactile dataset。

Core Idea

HTT 的真正核心是把“传感器差异”从 representation learning 的障碍，变成一种跨模态监督来源。每个 sensor 先用自己的 encoder 处理原生输入结构，然后进入 shared transformer trunk；paired sensors 之间通过 masked target embedding prediction 做对齐。这样模型不是在 raw space 翻译触觉信号，也不是简单把多传感器特征 concat，而是在 latent space 学习“同一接触事件在不同传感器下的共同解释”。

这个建模方式引入了一个重要 inductive bias：共享 trunk 应该承载 sensor-invariant 的 contact semantics，而 sensor-specific encoder 负责保留输入格式和低层物理响应。相比 optical-only tactile pretraining，它更 scalable 的地方在于数据可以来自不同硬件生态；相比 supervised heterogeneous fusion，它更 generalizable 的地方在于 paired self-supervision 不绑定具体下游任务。实质区别是从“为某个任务融合传感器”转向“用异构传感器互相监督形成可迁移 tactile latent”。

Method

方法中最关键的机制不是 transformer 本身，而是三种信息流的分工。

第一，per-modality MAE reconstruction 解决的是 grounding 问题。没有它，cross-modal alignment 很容易把表示推向只保留传感器间共同但粗糙的信息，尤其会损失 optical sensor 的空间细节或 array sensor 的时间动态。MAE 在这里的角色不是创新，而是防止 shared latent 失去本模态可解释性。

第二，cross-modal masked embedding prediction 解决的是互补信息绑定问题。源传感器的完整 embedding 加上目标传感器的可见 token，用来预测目标被 mask 的 latent token；这比简单 contrastive alignment 更强，因为它要求源模态对目标模态的局部缺失信息有预测能力。不过由于文中没有显式空间对应，这种预测更可能学到 contact-event-level 的统计对应，而不是精确 taxel-to-pixel 的物理映射。

第三，training schedule 和 gradient blocking 解决的是优化稳定性问题。先 MAE warmup，再逐渐引入 alignment，并阻断 alignment 对 encoder 的直接破坏，本质上是一个 curriculum：先学每个传感器自己的结构，再让 shared trunk 学跨传感器公共结构。这部分很实用，但更像必要 engineering，而不是概念贡献。

Key Insight / Why It Works

这篇最有价值的 insight 是：异构触觉的共同结构不在输入空间，而在接触事件的 latent 因子中。optical tactile 看到的是接触几何、局部形变、纹理；array sensor 更直接看到力、压力、滑移动态。单独训练时，每个传感器只能从自己的投影中恢复任务相关变量；paired pretraining 则让模型利用“同一接触事件的不同投影”来逼近更完整的 contact state。

最可能的核心贡献是 HPT paired data + cross-sensor alignment，而不是 HTT 的具体 transformer 架构。shared trunk 的价值在于迫使不同 sensor encoder 输出进入同一计算通道；alignment loss 的价值在于把互补物理 cue 注入 shared representation。尤其 force/slip 任务上的提升说明，optical 表示可能通过 paired array sensor 获得了 force-sensitive bias，而 array sensor 也可能通过 optical sensor 获得了更丰富的接触几何先验。

但需要直说：部分增益可能主要来自 scaling / data coverage。MAE-only 已经在很多任务上大幅超过 scratch 和 optical-only baselines，说明大规模 HPT 数据本身贡献很大。cross-modal alignment 的边际贡献在 object classification 上并不稳定，对 Xela 甚至有负效应；这暗示 alignment 不是无条件改善，而是在任务需要跨模态互补物理变量时才更明显。classification 更依赖物体 identity 与局部纹理，force/slip 更依赖 contact dynamics，因此 alignment 在后者更有说服力。

所谓 unseen sensor 泛化也要谨慎看。真实实验中 Sharpa fingertip tactile sensor 未出现在预训练中，但作者直接使用 9DTact encoder，这更像“相近 optical sensor 的 zero-shot transfer”，不等价于任意新 tactile sensor 即插即用。HTT 展示的是 sensor-family-level transfer 的可能性，而不是完全 sensor-agnostic 的解决方案。

Relation To Prior Work

它最接近三条路线：optical tactile self-supervised pretraining、heterogeneous tactile fusion、以及跨模态 representation alignment。T3、SITR、Sparsh 等工作证明了 tactile MAE/contrastive pretraining 在视觉触觉上有效，但它们基本把触觉当作图像处理。UniTac-nv 处理非视觉触觉的统一表示，但不解决 optical-array 之间的互补对齐。Touch-to-touch translation 关注传感器间映射，但目标是转换而不是可复用 backbone。UniForce 更接近 paired heterogeneous data，但目标偏 latent force prediction，而不是通用 tactile representation。

HTT 的新意不在“sensor-specific encoder + shared transformer”这个结构本身，这在多模态/多传感器学习里并不新；也不在 MAE，这显然是已有 recipe。实质创新是把同步异构 tactile pair 用作自监督对齐信号，并把这个信号用于学习一个下游可复用的 tactile backbone。它属于“paired multimodal self-supervised representation learning”在 tactile sensing 里的具体落地，而不是一个全新的 transformer 方法。

Dataset / Evaluation

HPT 是这篇论文的核心资产。1.6M paired frames、覆盖 optical 与 array 两类传感器、包含 press/twist/slide interaction，使它比纯 optical tactile dataset 更能支撑 heterogeneous representation 的 claim。更重要的是，作者区分了 unlabeled pretraining data 与 downstream evaluation data，且包含 object classification、force estimation、slip detection、simulated manipulation 和 real-world manipulation，任务覆盖比一般 tactile representation paper 更完整。

Evaluation 基本支持“paired heterogeneous pretraining 有助于跨任务迁移”这个主 claim，尤其 force/slip 和真实 manipulation 比 object classification 更有意义。object classification 仍然偏 perception probe，且 paired collection setup 与 pretraining 分布更接近；force/slip 使用 probe rig，有分布迁移，因此更能说明 representation 是否学到物理 cue。真实机器人实验是亮点，因为没有外部视觉，任务确实依赖触觉闭环。

但 evaluation 也有明显 limitation。真实实验 rollout 数量有限，且 unseen sensor 泛化没有系统比较不同新传感器接入方式。ManiFeel 中 TacFF encoder 需要额外 MAE 训练，说明新 modality 并非完全零成本接入。benchmark 是否充分验证“general sensor-agnostic tactile backbone”还不够；更准确地说，它验证了“在有限传感器族和接触任务范围内，paired pretraining 比单模态 pretraining 更有用”。

Limitation

最大限制是 paired data 依赖。HTT 把 sensor heterogeneity 问题转化为 paired data collection 问题：只要能同步采集，同一接触事件就能对齐；但如果新传感器无法与已有传感器大量配对，方法的可扩展性会下降。它不是完全摆脱硬件差异，而是用数据采集系统把差异桥接起来。

第二，latent alignment 的物理含义文中未充分说明。没有空间级 correspondence，optical patch 与 taxel token 之间没有明确几何匹配，因此 alignment 可能主要学到 episode-level 或 contact-state-level 统计相关，而不是可解释的局部物理映射。这在 object classification 够用，在 force/slip 上有效，但对需要精细接触定位、局部接触规划或多指接触推理的任务，上限不清楚。

第三，增益归因不清。MAE-only 已经很强，HTT 相比 MAE 的收益有时小、有时负、有时明显。文中没有充分拆解数据规模、paired collection、多传感器联合训练、shared trunk、alignment loss 各自贡献。部分结果可能主要来自更大的数据覆盖与更接近下游触觉分布，而不是 cross-modal objective 的本质优势。

第四，sensor-agnostic claim 需要收敛。当前新传感器适配更多是同族 optical transfer 或额外训练新 encoder；对于磁性、流体、事件式、高维多轴 taxel 等更远传感器，HTT 是否仍成立未知。所谓泛化可能依赖 sensor family overlap，而不是抽象 contact physics 已被完全学到。

Takeaway

• 第一，触觉 foundation model 的关键不只是更大数据，而是异构传感器之间的 paired physical interaction。
• 未来 tactile pretraining 很可能会从单传感器 MAE 转向 contact-event-centric multimodal alignment。
• 第二，sensor-specific encoder + shared latent trunk 是合理方向，但必须保留本模态 reconstruction 或其他 grounding，否则跨模态对齐会牺牲传感器独有信息。
• 这个 insight 可以迁移到机器人中的其他异构传感器，如力觉、声音、近场视觉、proprioception。

一句话总结

HTT 是触觉表示学习从单一 optical tactile 预训练迈向异构传感器 paired self-supervision 的一步，真正贡献在于用同步接触事件把不同触觉硬件的互补物理信息对齐到共享 latent，而不是提出了一个新的 transformer 架构。