精读笔记
Problem Setting
这篇论文不是在做一般意义上的 tactile VLA，也不是单纯给 dexterous hand 加一个触觉 encoder。它瞄准的是一个更具体的矛盾：现有大规模 VLA / dexterous foundation policy 具有较好的视觉语义、手部运动先验和粗动作生成能力，但在真实接触过程中缺少高频闭环反应；而已有 visuo-tactile imitation policy 可以利用触觉，却通常是小模型、任务级、同步低频融合，难以继承 foundation model 的泛化能力。
真正困难点是频率错配和职责错配。触觉对控制有用的部分往往发生在接触后的几十到几百毫秒内，例如 slip、过压、边缘接触、插入偏差、摩擦状态变化；但 VLA 的视觉编码和动作 chunk 生成通常是低频、重计算、偏开环的。如果把触觉简单拼进状态，模型要同时学习语义规划、动作生成和快速接触反应，数据效率很差，也容易让触觉被视觉先验淹没。
因此 T-Rex 的实际问题设定是：如何在不放弃大规模视觉/人类视频预训练能力的前提下，给策略补上一条高频 tactile-reactive control pathway。关键不是触觉是否有信息，而是如何让触觉在正确的时间尺度、正确的动作生成阶段产生因果影响。
Motivation
已有路线不够主要有三类原因。第一，大规模 VLA 的预训练数据几乎都是视觉/语言/动作，缺少同步触觉；直接要求 tactile foundation pretraining 不现实，因为 dexterous teleop + 多指触觉的采集成本太高。第二，已有 tactile policy 多是 task-specific imitation，能在固定任务里做接触修正，但没有大模型的 semantic / visuomotor prior，迁移性弱。第三，简单 multimodal fusion 没有解决时间尺度问题：触觉高频、局部、强接触依赖；视觉语言低频、全局、语义导向，两者不应该在同一个同步 Transformer pass 中等价处理。
作者的核心观察是：触觉能力可能不需要在最初的大规模预训练阶段获得，而可以作为一种“机器人接触 dynamics alignment”在 mid-training 阶段补上。也就是说，人类 egocentric 视频负责提供广覆盖的手-物体交互先验，100 小时机器人触觉数据不追求覆盖所有任务，而是覆盖 elementary motor primitives，使模型学会在接触阶段如何用 tactile residual 修正已有动作。
这个动机是合理的：触觉的可迁移部分更像低层 contact servoing / force adjustment，而不是高层任务语义。把它放在 mid-training，而不是端到端从零学，是这篇论文最重要的设计选择之一。
Core Idea
T-Rex 的核心思想是把一个 foundation manipulation policy 拆成“慢的粗动作生成”和“快的触觉末端修正”，但仍然放在统一的 flow-matching 动作生成框架里，而不是做两个完全独立系统。低频 action expert 从噪声 denoise 到一个中间动作状态，编码了视觉、语言和一般 dexterous prior；高频 tactile expert 复用这个中间状态和 KV cache，只在 denoising 轨迹的最后一段接入实时触觉，输出可执行动作 chunk。
这个设计改变了触觉的建模位置：触觉不再是与图像并列的全局输入，而是作用于 action distribution 的局部 refinement 阶段。直觉上，这符合接触任务的结构：视觉决定“去哪、拿什么、怎么大致接近”，触觉决定“现在接触是否正确、力是否过大、是否滑动、是否需要微调”。因此它引入的 inductive bias 是 temporal hierarchy + residual contact correction。
和 prior 的本质区别在于：RDP 这类 slow-fast tactile policy 主要是 task-specific diffusion/parallel gripper setting；VLA-touch / Tactile-VLA 更像把 tactile 当作额外 modality 融入 VLA。T-Rex 则试图把 tactile-reactive refinement 变成 foundation policy 的可训练专家，并通过 mid-training 数据让该专家获得跨 primitive 的接触反应能力。
Method
方法中值得保留的机制不是 MoT、VQ-VAE、future prediction 这些名词本身，而是它们承担的角色分工。
第一，cascaded flow matching 解决的是低频规划与高频触觉反应无法同频执行的问题。action expert 负责 denoising 的前半段，产生处在合理动作流形上的中间状态；tactile expert 只完成后半段，使触觉信号集中影响最终动作细节。这相当于把高频触觉控制建模成 conditional terminal correction，而不是重新生成整段动作。
第二，KV cache 复用解决的是大模型实时性问题。视觉语言上下文只在慢 stream 更新，快 stream 不重新跑视觉塔和大 Transformer，而是用缓存上下文 + 新触觉 token 做局部更新。这里的关键变化是 test-time compute 被重新分配：昂贵计算用于稳定全局上下文，便宜计算用于高频闭环。
第三，spatio-temporal tactile encoding 解决的是原始触觉信号高频、噪声、漂移和接触事件稀疏的问题。VQ-VAE force token 强制模型关注短时 force dynamics，deformation map 提供接触几何。它的作用更像 tactile event discretization / denoising，而不是单纯增加模型容量。
第四，mid-training 数据的 primitive organization 解决的是数据效率问题。作者没有收集大量完整任务，而是收集 verb-noun / object-primitive 组合，试图让触觉专家学到可组合的接触反应。这个数据设计可能比架构细节更重要。
Key Insight / Why It Works
我认为最可能真正有效的是三者叠加：大规模人类视频预训练提供粗 dexterous prior，primitive-level robot tactile mid-training 覆盖常见接触模式，异步 tactile expert 把触觉限制在动作末端 refinement。单独任何一个都不够。
最核心的贡献不是“用了触觉”，而是把触觉从全局感知模态降格/定位为高频 residual controller。这个定位很关键。接触丰富任务中，触觉的优势并不是帮助模型理解 instruction，而是在视觉不可见或滞后的局部状态上给动作微调信号。把触觉放到 denoising 后段，使其天然学习 action residual，而不是与视觉争夺全局解释权。这是一个强 inductive bias。
第二个关键点是 memory reuse / test-time compute restructuring。异步 fast stream 本质上是用缓存视觉上下文换取更高 tactile update rate。这不只是工程优化，因为它改变了闭环结构：模型可以在同一个视觉计划内多次根据新触觉重新求末端动作。虽然论文表述为 MoT，但机制上更接近 hierarchical MPC-like replanning，只是 action proposal 来自 flow policy。
第三，数据增益很可能很大，甚至可能是主要来源。T-Rex 不是只比 baselines 多了架构，它还用了 22,889 小时人类 egocentric pretraining、100 小时触觉机器人 mid-training，再加每任务约 100 demos。相比 task-specific tactile baselines，这个数据与预训练差距巨大。因此“30% improvement”不能简单归因于 MoT 或 VQ-VAE。文中有 recipe ablation，但仍无法完全分离：是 tactile expert 结构好，还是 mid-training primitive 覆盖正好覆盖了 benchmark。
VQ-VAE force encoder 的价值可能是辅助但实际有用：它把短时触觉历史离散化，减少 drift 和非接触 dominant state 对学习的污染。它是否学到了真正的 slip / shear / contact transition vocabulary，文中未充分说明；但从消融看，动态 force representation 比单步 force 有增益，说明 temporal tactile signal 不是可有可无。
future visual latent prediction 更像 alignment regularizer，不太可能是核心贡献。它可能帮助 latent expert 保持 temporal grounding，但触觉反应能力主要来自 tactile-conditioned terminal denoising 和 mid-training 数据。这里的增益来源不清，论文没有充分证明 future prediction 对 tactile-reactivity 的独立贡献。
需要警惕的是，所谓 generalization 可能很大程度来自 primitive overlap。评测任务虽然复杂，但许多子技能如 slide、press、twist、wipe、insert、rub、squeeze 与 mid-training taxonomy 高度相关。这不是坏事，甚至正是论文主张的 compositional primitive coverage；但它意味着结果更像“覆盖足够多低层接触 primitive 后的组合泛化”，而不是开放世界 tactile reasoning。
Relation To Prior Work
这篇属于三条技术谱系的交叉：egocentric human video pretraining for dexterous manipulation、flow/diffusion-based VLA action generation、slow-fast tactile-reactive control。
和 EgoScale / EgoVLA / DexWild 等人类视频预训练路线相比，T-Rex 的新增信息是 tactile-grounded robot mid-training。它承认人类视频能给运动和语义先验，但不能给机器人可执行的接触动力学。因此 T-Rex 更像是在 EgoScale 之后加一个 contact dynamics alignment stage。
和 RDP 最接近的地方是 slow-fast tactile refinement：都是让慢策略给粗动作，快触觉通路做反应。不同在于 T-Rex 把这个思想嵌入 foundation VLA / MoT / flow matching，并用缓存上下文实现异步高频触觉 expert；RDP 更偏任务级 diffusion policy。实质创新在于把 slow-fast tactile control foundation-model 化，而不是 slow-fast 本身。
和 Tactile-VLA、VLA-touch、ForceVLA 等 tactile VLA 相比，T-Rex 的差异是触觉进入动作生成过程的位置不同。很多 tactile VLA 是 modality fusion 或 force-aware expert，本质上仍是同步条件生成；T-Rex 强调触觉在末端 denoising 阶段的高频作用。这是更贴近控制问题的设计。
MoT、VQ-VAE、future prediction 都不是孤立的新思想；它们是已有组件的重组。真正新增的信息流组织是：视觉语言上下文慢更新、动作中间状态缓存、触觉快更新并只修正 terminal flow segment。
Dataset / Evaluation
数据集是这篇论文的重要资产，可能也是性能的主要驱动之一。100 小时在 dexterous bimanual + 10 fingertip tactile 上并不算巨大 foundation-scale，但在 tactile-rich robot data 里已经相当可观。更重要的是它不是按完整任务收集，而是按 200+ objects × 22 motor primitives 的可行组合组织，这种 taxonomy 直接服务于 mid-training 的可迁移接触模式学习。
评测是真机、双臂、多指、接触丰富，覆盖插入、滑动、挤压、柔性物体、薄片/卡片、旋拧、双手协同等，确实比常见 tabletop pick-place 更能验证 tactile-reactive claim。任务不是纯视觉能轻松解决的类型，因此 benchmark 方向是对的。
但 evaluation 也有明显限制。第一，每任务 16 trials 偏少，且很多结果用 partial-credit rubric，成功率包含 progress scoring，不完全等价于 binary task completion。第二，评测任务和 mid-training primitives 的 overlap 很可能较高；这支持“primitive coverage 有效”，但削弱开放泛化的说服力。第三，baselines 的训练资源和数据阶段不完全对称：T-Rex 有专门 mid-training，而很多 tactile baselines 是 per-task 从 100 demos 训练，比较中混合了架构、预训练和数据规模因素。
总体上，实验足以支持“这个 recipe 在当前平台和任务集上显著更强”，也支持“naive tactile conditioning 不够”。但它还不足以证明 T-Rex 学到了硬件无关、任务无关的通用触觉控制表征。
Limitation
最大限制是增益归因不清。T-Rex 同时改变了预训练、数据、架构、触觉表示、推理频率和训练阶段，很难判断核心增益到底来自哪里。虽然有 ablation，但没有完全匹配 compute/data/pretraining 的对照。特别是相对 ViTacFormer/RDP 的巨大提升，很可能主要来自 human pretraining + tactile mid-training 的 scaling，而不是 MoT 架构本身。
第二，方法依赖强硬件同质性。触觉 force vector、deformation map、Sharpa hand、Dexmate arm、teleop retargeting、相机配置都深度绑定。VQ-VAE codebook 和 deformation encoder 是否能跨传感器迁移，文中未充分说明。触觉领域最难的 sensor heterogeneity / calibration drift 仍被推到未来工作。
第三，策略本质仍是 offline BC / flow imitation，缺少在线接触探索和长期状态估计。失败案例中位置误差、滑落、过力、摩擦不均、螺纹对齐失败，都说明模型没有真正维护稳定的 contact belief 或物理状态，只是在动作 chunk 内做触觉条件修正。对 tight tolerance 和 long-horizon contact sequencing，上限会很快出现。
第四，所谓 reasoning 需要谨慎解读。语言和视觉先验可能帮助选择对象和粗动作，但触觉部分更像 learned reactive residual，不是显式物理推理。Sort Mahjong 这类任务看似 tactile recognition，但是否真正通过 surface texture 分类，还是受训练分布/物体配置影响，文中没有给出足够诊断。
第五，异步设计把问题从“如何实时跑大 VLA”转移为“如何保证缓存视觉上下文在接触过程中仍然有效”。当视觉场景快速变化、物体滑移、遮挡导致全局状态失效时，tactile expert 只能在过期 context 上修补，可能无法恢复。
Takeaway
- 1. 触觉在 foundation manipulation policy 中最自然的位置可能不是 early fusion，而是低层、高频、terminal action refinement。
- 这个 insight 可以迁移到 force、audio、proprioceptive residual 等其他快模态。
- 2. 对 dexterous manipulation，数据组织方式可能比任务数量更关键。
- 按 motor primitive × object interaction 收集 mid-training 数据，是比堆完整任务 demos 更可扩展的 tactile grounding 路线。
一句话总结
T-Rex 是把 egocentric-pretrained dexterous VLA 推向接触闭环控制的一步，真正贡献在于用 primitive-level tactile mid-training 和异步 terminal flow refinement，把触觉从附加模态变成高频动作修正机制。