精读笔记

Problem Setting

这篇论文不是在问“触觉输入是否有用”，而是在问“触觉策略能否像视觉 VLA 一样形成跨硬件的 foundation initialization”。问题真正难点在于触觉信号没有统一的观测空间：GelSight 类 image tactile、array glove、force/torque state 在数据结构、物理响应、空间覆盖和接触语义上都不一致。以前方法通常固定在某个 sensor、某个 gripper/hand、某个 observation format 上，最多做 sensor-specific representation pretraining 或把触觉作为 VLA adapter。这样学到的东西很难判断是 contact skill 还是 sensor-specific shortcut。

关键矛盾是：接触丰富操作需要触觉提供不可见的局部接触状态，但触觉本身又强依赖硬件形态。如果直接 scale 原始触觉数据，模型会被 sensor identity 和 morphology 差异主导；如果只做高层 VLA，又丢掉接触反馈的控制价值。FTP-1 的目标就是在这两个极端之间建立一个可共享的触觉策略接口。

Motivation

已有路线缺的不是又一个 tactile encoder，而是一个可以承载异构触觉经验的共同策略空间。视觉 foundation policy 能 scale，很大程度上因为图像 token 至少共享二维像素/patch 结构；触觉没有这个天然坐标系。不同 tactile sensor 的“同一个接触事件”在原始观测上可能完全不同，但在功能层面可能都对应“thumb tip 接触变强”“wrist force 偏移”“index finger lateral slip”。

作者的核心观察是：跨触觉硬件迁移应该按功能形态而不是按传感器格式对齐。也就是说，generalist tactile policy 需要先回答“这个触觉信号属于手/夹爪的哪个功能区域”，再学习该区域触觉变化如何影响动作。这个缺口正是已有 tactile-VLA adapter 和 sensor-specific policy 没有系统解决的。

Core Idea

FTP-1 的核心思想是把触觉建模从 sensor-centric 改成 morphology/function-centric。它用 MTTS 将不同传感器的输入都组织成固定数量的功能区 token，每个 token 对应一个手/夹爪/腕部功能区域，并带有共享的 functional-area embedding。这样，模型看到的不是“某个 GelSight 图像”或“某个 array tensor”，而是“某个功能部位的接触 latent”。

这个 inductive bias 很关键：它把低层传感器差异留给 sensor-specific encoder，把跨任务、跨 embodiment 的接触-动作规律交给共享 tactile expert。相比 prior 把触觉作为 VLM 的附加模态，FTP-1 明确给触觉一条独立的计算路径，action expert 再读取触觉 expert 的输出。这实际上改变了信息流：触觉不是视觉语言 backbone 的扰动项，而是一个独立的 contact-state provider。这个设计更 scalable，因为新增 sensor 理论上只需要新 encoder 对齐到 MTTS，而不必重新定义整个 policy backbone。

Method

方法里真正必要的机制只有几类。

第一，MTTS 解决的是“触觉 token 如何跨硬件有共同语义”的问题。固定功能区 slot 不是为了漂亮地组织输入，而是为了让同一 tactile expert 能在不同 sensor 上复用参数。如果没有这个 morphology-aware interface，共享 Transformer 学到的很可能是 sensor/source ID，而不是接触技能。

第二，异构 tactile encoders 解决的是“不同观测类型如何进入同一策略空间”的问题。image/array/state 分别用不同 encoder 并不新，关键是这些 encoder 的输出都被压成 MTTS token。也就是说，encoder 的角色是 sensor adapter；核心变化不是 encoder 更强，而是 encoder 不再直接决定策略语义。

第三，独立 tactile expert 解决的是“触觉如何被融合而不污染 VLA 知识”的问题。论文里 adapter-style tactile injection 表现不好，这很合理：触觉信号噪声大、分布窄、与语言视觉 token 的统计结构不同，直接注入 VLM 容易破坏原有语义表征。FTP-1 让 action expert attend tactile expert，而不是双向混合，本质上是在做模块隔离和能力复用。

第四，统一 action space / FAAS 是跨 embodiment 训练的必要工程接口。它的重要性在于让不同机器人动作维度能被 masked sparse vector 表示，但这更像 generalist robot policy 的已有路线延伸，不是本文最原创的部分。

Key Insight / Why It Works

我认为 FTP-1 真正有效的原因主要是 representation alignment + data coverage，而不是出现了某种新的触觉推理能力。

最核心贡献应当是 MTTS + shared tactile expert 的组合。MTTS 给了触觉一个类似“身体坐标系”的归一化语义空间，使得来自不同硬件的 contact signal 可以在策略层共享；shared tactile expert 则迫使模型在这些语义槽上学习可复用的接触模式，例如接触增强、滑移、插入阻塞、压力维持等。这个结构性 bias 比单纯扩大 tactile encoder 更重要。

第二个有效因素是模块隔离。触觉对于 contact-rich action 很有用，但对于 VLM backbone 来说可能是高噪声、低语义密度输入。adapter 方案失败并不意外：它试图用轻量模块把一个强硬件依赖模态塞进视觉语言流，容易让模型在小数据 finetuning 时过拟合或干扰视觉先验。FTP-1 的 tactile expert 更像一个 contact memory/latent state extractor，action expert 只在需要时读取。

第三，收益里有相当部分可能来自 scaling / data mixture。3,000 小时、26 sources、21 sensors 对触觉领域已经很大，且包含 human/dexhand/gripper 多域数据。所谓 unseen sensor transfer 也并非完全 out-of-support：Xense 与 GelSight-Mini 相近，Contactile 与某些 array glove 有结构相似性。论文的 ablation 支持 tactile pretraining 有额外贡献，但还不足以排除“相似 sensor + 相似 task 覆盖”带来的 implicit retrieval。

第四，当前模型更像强初始化而非真正的低层闭环控制器。它预测 action chunk，通过 tactile observation 改善 finetuning 后的 reactive behavior；但没有显式 tactile dynamics model、contact prediction 或 force servo loop。因此文中描述的 recovery、slowing down、stable pressing 更可能是 BC policy 在数据覆盖下学到的局部反应模式，而不是形成了可解释的接触规划机制。

辅助但非核心的部分包括具体 encoder 选择、T3 初始化、adaptive RMSNorm proprioception、z-score normalization、训练基础设施等。这些会影响稳定性和最终数值，但不改变论文最重要的机制判断。

Relation To Prior Work

FTP-1 位于 generalist VLA policy、tactile representation pretraining、VTLA adapter 三条线的交叉处。和 OpenVLA/π0/π0.5/RDT 这类 generalist policy 相比，它的新增信息是把触觉纳入 foundation policy 的预训练闭环，而不是只做视觉-语言-动作。和 Sparsh/T3/AnyTouch 等 tactile representation 相比，它不是只学 perception embedding，而是端到端面向 action-labeled manipulation pretraining。和 Tactile-VLA/ForceVLA/OmniVTLA 这类 tactile-augmented VLA 相比，它的本质差异在于 tactile branch 是 foundation-level shared expert，而不是 task/sensor-specific adapter。

看似新的地方有一些其实是已有思想重组：统一 action space 来自 generalist robot policy，sensor-specific encoder + shared trunk 来自 heterogeneous transformer / tactile representation，multi-expert architecture 来自 π0 系列。实质创新在于把这些东西组合成一个明确的跨触觉传感器策略接口，并用大规模异构 tactile manipulation data 验证。换句话说，论文的贡献不是某个单点算法，而是把 tactile policy 从 sensor-specific engineering 推向 model-level shared initialization。

Dataset / Evaluation

数据覆盖是论文最强也最需要谨慎解读的部分。FTP-1-Dataset 聚合了 human hand、dexterous hand、gripper/UMI 数据，覆盖 image/array/state 三类触觉模态和 21 个 sensor。对于触觉领域，这个 scale 足以让 foundation baseline 的说法成立；但与视觉/语言 foundation model 相比仍很小，而且数据源、任务、传感器、embodiment 分布高度不均衡，需要大量 resampling 和格式对齐。

评估设计比许多 tactile paper 更有说服力：有仿真也有真机，有多个机构、多套硬件，有 seen sensor 和 unseen sensor finetuning。尤其 unseen sensor 只从 scratch 训练 sensor-specific encoder、复用 tactile expert，这确实在验证“共享触觉知识”这一核心 claim。

但评估仍没有完全证明强泛化。unseen sensor 数量只有两个，且文中承认存在最相似的 pretraining sensors；任务数量有限，主要是插入、擦拭、按压等 contact-rich manipulation，尚不能说明对任意触觉形态或复杂 long-horizon planning 泛化。成功率提升支持它是好的 finetuning initialization，但不等于已经学到 sensor-agnostic tactile control law。

Limitation

最大限制是方法把问题从“传感器异构”转移成“能否定义合适的功能区映射”。MTTS 需要人为规定 24 个 functional areas，并把每个 sensor 映射进去。对于手/夹爪/腕部力传感器这很自然；但对于大面积电子皮肤、软体机器人、工具端触觉、多接触面接触，这个 slot ontology 可能不够。功能区先验既是优势也是上限。

第二，泛化能力可能 heavily rely on data coverage。论文证明了在有限 unseen sensor 上复用 tactile expert 有效，但没有证明在没有相似预训练 sensor 或相似 contact tasks 时仍有效。所谓 transfer 可能部分是近邻检索式迁移：新的 sensor encoder 学会把信号投到已有 contact pattern 的附近，然后 action expert 调用相似经验。

第三，增益归因仍不完全干净。FTP-1 同时改变了 tactile architecture、pretraining data、共享 expert、functional embeddings、π0.5 initialization、UAS 等多个因素。NTP ablation 是必要的，但仍不能完全回答 MTTS、tactile expert、数据规模各自贡献多少。

第四，它没有解决真正高频 tactile/force servoing。论文自己也承认主要关注 general tactile perception。对于需要稳定阻抗控制、微小滑移补偿、连续力闭环的任务，action-chunk VLA 可能存在 latency 和控制带宽瓶颈。当前的 reactive behavior 更像离线 imitation 中学到的局部策略，而不是可靠的低层接触控制。

第五，长期状态建模不充分。接触丰富任务往往需要记忆接触历史、估计隐含几何和累积形变；FTP-1 主要在当前观测上预测 chunk，未显示显式 tactile world model 或 belief state。长程任务上的成功不应被解读为形成了强 planning。

Takeaway

• 1. 触觉 foundation policy 的关键不是把更多 tactile pixels 喂进 VLA，而是先建立一个跨硬件的功能语义接口；MTTS 这类 morphology-aware tokenization 可能会成为后续 tactile generalist policy 的基本设计模式。
• 2. 对触觉这种硬件依赖强、噪声大、语义密度低的模态，独立 expert + action-side attention 比直接注入 VLM 更合理；模块隔离本身就是重要 inductive bias。
• 3. 当前进展更像“强预训练初始化 + 数据覆盖驱动的接触模式复用”，还不是通用 tactile reasoning 或 force-control foundation model。
• 下一步真正有价值的是把 tactile prediction / contact dynamics / low-level servoing 接到这个统一接口上。

一句话总结

FTP-1 是触觉策略从 sensor-specific VTLA/representation pretraining 走向 generalist foundation initialization 的第一类系统化尝试，真正贡献在于用 morphology-aware token space 和共享 tactile expert 把异构触觉经验组织成可迁移的接触-动作先验。