精读笔记
Problem Setting
这篇论文瞄准的是触觉灵巧操作里的一个结构性瓶颈：机器人触觉数据难采、窄分布，而接触丰富任务又恰恰最依赖高频、局部、动力学相关的反馈。以前 VLA 路线的优势在语义规划和视觉泛化，但触觉控制的关键变量不是“看见什么”，而是“接触之后会发生什么”。已有 VTLA 大多把触觉作为下游 fine-tuning 的额外输入，实际没有解决触觉先验的规模问题，也没有让模型在预训练阶段形成动作-接触后果的耦合。关键矛盾是：可规模化数据在人类侧，可执行策略在机器人侧；触觉又高度依赖 embodiment 和传感器，因此不能直接迁移。
Motivation
作者的核心观察是：人类演示数据比机器人触觉数据更容易规模化，但过去人类数据主要贡献视觉、语言和手部动作，触觉被系统性缺席。与此同时，单纯在机器人下游任务中加入触觉并不能让模型学到通用接触物理，因为数据量和接触覆盖都太小。真正缺的是一种跨 embodiment 的触觉-动作公共坐标系，以及一种让触觉参与预训练目标的机制。换句话说，这篇论文不是在问“触觉能不能提升机器人操作”，而是在问“触觉能不能像视觉-语言一样被预训练，并从人类数据迁移到机器人控制”。
Core Idea
核心思想是把触觉建模从后训练阶段前移到预训练阶段，并把触觉从输入模态变成预测目标。模型在大规模人类 egocentric 数据上同时学习未来动作和未来触觉，这相当于强迫 VLA 内部表示解释接触动力学：如果一个动作会导致指尖压力变化、滑移或接触转移，模型必须在 latent space 中保留这些信息。
本质区别在于 prior work 多是在已有 VLA 上“插入触觉”，而 TTP 是试图让触觉成为 foundation policy 的一部分。统一动作空间和统一触觉空间引入了很强的 inductive bias：不同 embodiment 的差异被压到共享语义槽和 MANO 表面 taxel 上，模型学到的是接触模式与动作后果的可迁移结构，而不是某个传感器的原始读数。这使方法理论上更 scalable：新增数据源只要能投影到共享空间，就能继续扩大触觉预训练语料。
Method
方法的必要机制有三层。第一层是统一空间：200 维动作槽把人手、机械臂、灵巧手、夹爪状态组织到同一 schema，351 维 UniTacHand taxel 则把异构触觉投影到人手表面拓扑；这解决的是预训练与后训练表征断裂问题。第二层是联合预测：action expert 生成未来动作 chunk，tactile expert 生成未来触觉 chunk；这解决的是触觉只作为被动反馈而不建模动力学后果的问题。第三层是 manifold-preserving gating：用动作/触觉 noise-free anchors 衡量当前上下文是否落在可靠 manifold 附近，再调节残差增强；这解决的是 flow-based 解码对上下文扰动敏感的问题。
需要注意，MPG 更像稳定训练和减少分布漂移的工程性 regularization，而不是整篇的根本创新。真正改变建模方式的是“未来触觉预测 + 统一跨 embodiment 触觉空间”。如果去掉这两个，模型会退化为一个带额外 sensor token 的 VLA fine-tuning 系统。
Key Insight / Why It Works
最可能有效的原因是 representation alignment 加 data coverage，而不是模型结构本身突然获得了新的推理能力。H-Tac 把大量人类接触事件投影到统一触觉表面，提供了比机器人数据宽得多的接触模式覆盖；模型通过未来触觉预测学习动作导致的接触变化，相当于学了一个弱形式的 contact dynamics prior。下游机器人任务少量 post-training 时，不需要从零学“多大力会滑、何时接触、压力该落在哪些区域”，只需要把已有接触先验适配到具体 embodiment。
最核心贡献应归因于统一触觉空间上的大规模预训练。触觉 expert 的未来预测是关键 regularizer，因为它让触觉不是附属输入，而是 action-conditioned consequence；这比简单 tactile token fusion 更有意义。MPG 可能有帮助，但更像降低训练噪声和 OOD 上下文敏感性的辅助技巧，增益不应被过度解读。
论文中的一些提升也可能主要来自 scaling / data。尤其真实机器人任务中，TTP w/o pre-training 已经明显强于很多 baseline，说明基座能力、后训练数据和架构适配本身贡献很大。TTP 相对 w/o pre-training 的提升支持触觉预训练有用，但没有完全拆开数据规模、触觉监督、动作统一空间、未来预测目标之间的因果关系。所谓 generalization 更像是在大规模接触分布上的 retrieval / interpolation，而不是显式物理推理。
Relation To Prior Work
它最接近三条路线的交叉：人类 egocentric pretraining 到机器人控制、VTLA/触觉 VLA、以及 UniTacHand/TactAlign 式跨 embodiment 触觉表征。与 OpenVLA、π0/π0.5、BeingH-0.5 这类 VLA 相比，TTP 的新增信息是触觉-动作接触先验，而不是更强的语言规划。与已有 VTLA 相比，差异在于触觉不是下游附加模态，而是预训练语料和预测目标的一部分。与 UniTacHand 相比，TTP 不只是做触觉表征对齐，而是把该对齐空间接入 policy pretraining。
看似新的部分中，flow matching、chunk action、VQA-style 序列化、gating 都是已有思想的重组；实质创新是把这些放在“人类触觉数据 → 统一触觉空间 → 机器人触觉策略”的闭环里。它属于 foundation robot policy 往 physical interaction grounding 演化的一步：从视觉语义 foundation model，转向带接触后果预测的 embodied foundation policy。
Dataset / Evaluation
H-Tac 的价值在于覆盖了三类数据源：从公开 HOI mesh 数据合成接触、人类桌面双手触觉采集、以及机器人/仿真触觉增强数据。这个组合很 pragmatically useful，因为它牺牲了触觉来源的一致性，换取接触模式覆盖和可规模化。其风险也很明显：大量触觉标签来自几何距离或投影，不一定等价于真实 force distribution；MANO taxel 空间可能把非人手 sensor 的细节压扁。
评价上，真机实验比仿真实验更有说服力，因为任务确实需要接触调节：削皮、擦拭、薯片、折纸、插头、软硬分类都能暴露视觉策略的短板。但试验规模偏小，OOD 也主要是物体/场景扰动，不足以证明开放世界泛化。仿真 benchmark 没有原生触觉，只用 state-action difference 作为 tactile proxy，这更像 sanity check，不能强支撑触觉预训练 claim。整体评价支持“触觉预训练对接触任务有价值”，但尚不足以证明其泛化机制已经脱离数据覆盖。
Limitation
方法成立强依赖三个前提：第一，不同 embodiment 的关键触觉信息可以被 MANO/UniTacHand 表面拓扑保留下来；第二，人类接触模式与机器人可执行接触策略之间存在足够强的结构同构；第三，下游任务位于预训练接触分布的可插值范围内。这些前提在手内操作、指尖接触、桌面物体任务中可能成立，但对工具-环境复杂动力学、非手形接触、全身操作或高速滑移未必成立。
增益来源不清是主要问题。论文没有充分拆分：数据规模 vs 触觉模态 vs 未来触觉预测 vs 统一空间 vs 基座模型。部分结果可能主要来自 scaling / data，而不是某个新模块。真实机器人实验 trial 数有限，且任务设计天然偏向触觉方法；这没有问题，但意味着结论应限定在 contact-rich manipulation，而不是泛化到所有机器人任务。
此外，未来触觉预测是否在闭环控制中形成长期状态建模仍不清楚。它可能只是一个强 auxiliary loss，让表示更平滑、更接触敏感；并不意味着模型真的学到了可组合的物理世界模型。所谓 reasoning/planning 很可能仍由 VLA 基座和数据分布驱动，触觉部分主要提供局部接触 correction。
Takeaway
- 最值得记住的不是某个具体架构，而是触觉应该进入预训练目标，而不是只作为下游 sensor input。
- 对接触任务，预测未来触觉是比简单融合当前触觉更强的 inductive bias，因为它迫使策略表示动作后果。
- 第二个可迁移 insight 是：跨 embodiment 学习的关键往往不是 domain randomization，而是设计一个足够有语义结构的 shared physical interface。
- 这里的 MANO taxel + action slot schema 就是这种接口。
一句话总结
TTP 是把 VLA 从视觉-语言-动作预训练推进到“人类触觉-动作接触先验预训练”的代表性工作，其真正贡献在于用统一触觉/动作空间和未来触觉预测把大规模人类接触数据转化为机器人接触控制的可迁移 inductive bias。