精读笔记

Problem Setting

Tactile-WAM 处理的是 contact-rich manipulation 中 WAM 的状态表示不完整问题。视觉 WAM 可以生成看似合理的视频未来和动作 chunk，但在插入、装配、卡滞、滑移这类任务里，真正决定动作修正的是局部接触状态，而这些变量往往不在 RGB 中显式可见。以前路线的卡点不只是缺少触觉输入，而是缺少对触觉信息流的约束：如果把触觉当作普通 token 与视觉 token 全连接融合，触觉的稀疏局部事件会干扰视觉动态模型；如果只把触觉作为当前反馈，又无法让 WAM 预测未来接触演化。关键矛盾是：触觉对 action prediction 是强信号，对 video prediction 可能是弱相关噪声。

Motivation

作者的核心观察是，接触丰富任务中的失败往往不是视觉语义理解失败，而是局部物理状态不可观测导致的 correction 失败。已有视觉 WAM 的“未来”主要是 appearance future，它缺少 contact future；已有触觉策略或触觉世界模型虽然利用触觉，但通常没有精细处理在视觉预训练生成 backbone 中触觉应该进入哪些 attention path。真正缺的是一种机制：让触觉作为动作相关的预测状态存在，同时避免它破坏视频生成路径。Tactile pollution 这个概念抓住了一个实际问题：多模态融合不是越充分越好，尤其当一个模态对不同输出头的因果相关性不同。

Core Idea

论文真正的思想是把触觉从“额外观测模态”提升为“未来物理状态变量”，但只让它在动作生成路径中发挥作用。也就是说，模型仍然遵循 WAM 的 joint denoising 框架，同时预测未来视觉 latent、未来触觉 contact latent 和 action chunk；但触觉 latent 的计算角色被重新定义为 action-side physical anchor，而不是 video-side conditioning source。

这个设计引入的 inductive bias 很明确：视觉 backbone 负责保持全局场景动态和预训练视频先验，触觉 register 负责提供局部接触事件，动作 token 通过非对称注意力读取触觉。相比 unrestricted visuo-tactile fusion，它更 scalable 的地方在于不要求视觉生成模型吸收所有触觉事件；相比纯策略侧触觉 correction，它又保留了 WAM 的未来预测接口，使动作可以依赖预测出的接触变化。

Method

关键机制不是模块堆叠，而是三条信息流约束。第一，future tactile registers 与 action horizon 对齐，解决的是动作修正需要读取未来接触状态的问题；核心变化是触觉不再只是历史观测，而成为与 action chunk 一起 denoise 的 latent state。第二，VideoClean mask 解决 tactile pollution：video query 不能 attend to tactile key/value，动作 query 仍可读取触觉；这保护了视觉预训练路径，使触觉不会被迫解释 RGB 未来。第三，touch-aware bias 解决触觉何时有用的问题：它不是让动作一直强读触觉，而是在 predicted touch-change 高的 anchor 上增加 action-to-tactile attention logit。这里重要的是“变化”而非“存在”，因为 first contact、slip onset、jamming 这类离散转折通常比静态触觉强度更决定下一步动作。

Key Insight / Why It Works

最核心的有效性来自 better inductive bias，而不是单纯 scaling。论文把不同输出的因果依赖拆开：视频预测主要依赖视觉动态先验，动作预测在接触任务中依赖局部触觉变化。TAAM 的价值就在于把这种不对称依赖显式写进 attention mask 和 bias，而不是希望 transformer 自己从有限数据中学会。

最可能的核心贡献是 VideoClean + action-only tactile routing 这组结构约束。它解释了为什么 naive VT-WAM 反而更差：触觉 token 的局部事件性对视频生成是污染，对动作修正才是信息。touch-change bias 是第二层贡献，它把触觉读取从“有触觉就融合”变成“接触状态发生变化时才强调”，这更接近接触控制中的事件触发逻辑。

未来触觉预测本身可能既是贡献也是 hidden supervision。proxy 由 tactile image motion 派生，训练时 teacher-forced bias 使用 target touch-change，推理时再用上一轮 predicted proxy；这相当于给 denoising 过程注入了一个接触事件定位任务。完整模型相对 +VideoClean 的巨大增益说明 proxy/bias 很关键，但文中未充分说明这部分收益到底来自更好的 latent structure、辅助监督带来的 representation alignment，还是来自 benchmark 中接触模式较可预测。它不是 test-time planning，也不像长期 world model reasoning，更像短程 contact-event retrieval plus correction。

Relation To Prior Work

它最接近 DreamZero/WAM、VT-WM/OmniVTA/VTAM/Dream-Tac/TacForeSight 这条 visuo-tactile predictive policy 谱系。和视觉 WAM 的本质差异是 predicted state 从 appearance future 扩展到 contact future；和触觉策略的差异是触觉不是只作为当前反馈，而是作为未来状态被共同 denoise；和一般多模态触觉世界模型的差异是它强调 routing asymmetry，而不是 unrestricted fusion。

看似新的部分中，“预测未来触觉”“用触觉改善接触任务”并不是新命题，已有工作已经证明。实质创新在于针对视觉预训练 WAM 提出触觉污染，并用 attention-level 的非对称约束来保护视觉路径，同时把触觉变化作为 action attention 的事件偏置。换句话说，这篇不是开辟触觉 WAM，而是在已有触觉 WAM 趋势中给出一个更干净的信息流组织原则。

Dataset / Evaluation

评估覆盖 ManiFeel 的多任务仿真和五个真实机器人接触任务，能较好支撑“接触敏感任务受益于触觉未来状态和触觉路由”这一 claim。任务包含插入、装配、搜索、重定向等类型，其中收益主要集中在 bolt-nut、gear、power、USB 这类局部接触转移主导的任务；object search、peg reorientation、部分 insertion 仍失败，说明方法解决的是局部 contact correction，不是泛化搜索或长程恢复。

实验对核心机制有一定说服力：naive tactile fusion 变差、VideoClean 改善 RGB prediction、full model 大幅提升 success，这组结果支持 tactile pollution 和 action-side routing 的叙事。但 evaluation 仍有明显上限：没有充分展示跨传感器、跨材料、跨 embodiment、跨任务分布的泛化；真实机器人任务数量有限；完整增益的归因不够干净。benchmark 确实验证了局部接触任务收益，但不足以证明通用 touch-aware world model。

Limitation

第一，方法依赖良好的时序对齐。触觉事件通常比 policy horizon 高频，若接触瞬间落在 anchor 之外，future tactile register 可能错过关键变化。第二，proxy supervision 不是 calibrated force，只是 tactile image motion 的替代信号；在传感器漂移、材料差异、滑移模式变化时，它是否仍代表 action-relevant contact change 文中未充分说明。第三，VideoClean 是保守路由假设：它默认触觉不应影响视频预测，但在某些任务中触觉变形与可见形变强耦合，完全阻断 video-query 读触觉可能限制 joint physical prediction。

更重要的是，方法可能把问题从“学习触觉如何影响动作”转移为“设计触觉 proxy 和路由先验”。这在 ManiFeel 这种接触模式较结构化的 benchmark 上有效，但泛化到开放物体、复杂材料、异步多指触觉时，核心能力可能主要来自数据覆盖和 proxy 对任务分布的匹配。所谓 WAM reasoning 也应谨慎理解：当前证据更像短程接触事件条件化，而不是长期物理规划或可组合因果建模。

Takeaway

• 第一，多模态 WAM 的关键不是把所有 token 混在一起，而是按输出目标设计信息流；触觉对动作有用，不代表对视频预测也有用。
• 第二，contact-rich manipulation 中值得预测的不是完整触觉图像，而是 action-relevant 的接触状态变化；touch-change 比 touch-presence 更像可迁移的事件变量。
• 第三，未来这条线应从 fixed asymmetric routing 走向 learned/adaptive routing，但前提是有足够规模和质量的 paired visuo-tactile rollout。
• 第四，真正值得继续做的是把短程 contact correction 与长程 search/recovery/regrasp planning 结合，否则触觉 WAM 只会在局部装配类任务上强。

一句话总结

Tactile-WAM 是一篇把触觉 WAM 从“多模态融合”推进到“动作侧接触事件路由”的工作，其实质贡献是为视觉预训练 WAM 引入防污染的非对称触觉信息流，而不是简单证明触觉有用。