精读笔记

Problem Setting

论文标题：Feeling the Unexpected: ResTacVLA for Contact-Rich Manipulation via Residual Tactile Representation（arXiv preprint / 2026）。

这篇论文实际处理的是 VLA 在 contact-rich manipulation 中的物理闭环缺失问题。视觉语言动作模型已经能做语义理解、粗定位和动作生成，但在插入、旋拧、擦拭这类任务里，失败往往发生在最后几毫米或接触建立之后：状态被遮挡，接触力不可见，螺纹是否咬合、孔位是否偏心、表面是否真的接触都不是 RGB 能稳定判定的变量。

真正困难点不是“如何加入触觉输入”，而是触觉信号的统计形态和视觉完全不同。视觉是持续、高带宽、密集监督的；触觉是事件驱动、阶段性有用、且容易受抓取姿态和局部接触噪声影响。直接拼接 tactile frame 到 VLA 中，本质上是在让一个稀疏模态和一个强视觉主干竞争注意力，训练目标又通常由动作 imitation 驱动，模型自然会选择更稳定、更常见的视觉捷径。

以前方法卡在这里：它们把触觉看作额外观测，而不是把触觉建模为视觉不可解释部分。结果是 contact phase 之前触觉大多是噪声，contact phase 之后触觉又太局部、太稀疏，模型没有机制知道什么时候该信触觉、信多少、信哪一部分。本文的关键矛盾就是：触觉最有价值时恰好是视觉最不可靠时，但常规融合会让视觉在整个时间轴上持续占优。

Motivation

已有路线不够的原因在于它们默认多模态融合的目标是 alignment 或 feature enrichment：把 tactile embedding 对齐到视觉/语言空间，或者作为辅助 token 注入 policy。这个假设对语义任务合理，但对接触任务有问题，因为 tactile 的价值往往来自 non-shared information，而不是 shared information。越是追求跨模态共同语义，越可能把触觉中真正决定接触成败的细粒度残差信息压掉。

作者的核心观察是：触觉不应该被当作另一路视觉，而应被当作 prediction error。机器人在执行动作时，视觉能预测一部分触觉后果；真正需要传给 policy 的，是实际物理反馈和视觉先验之间的差异。这和 predictive coding 的类比是合理的：不是处理所有输入，而是抑制可预测部分，放大 surprise。

关键缺口是缺一个机制来同时回答两个问题：第一，触觉中哪些信息是视觉已经解释过的、因此不该干扰策略；第二，什么时候视觉先验不可靠、触觉应该被放大。ResTacVLA 的动机正是把这两个问题显式化，而不是指望 Transformer 在有限 demo 下自动学会模态调度。

Core Idea

核心思想是把触觉建模从“raw tactile as input”改成“residual tactile as information gain”。它不让 tactile token 和 visual token 在同一层面竞争，而是先用视觉预测触觉 latent，再把真实 tactile latent 中无法被视觉解释的部分抽出来。这个 residual 定义引入了一个强 inductive bias：触觉只有在提供视觉之外的信息时才应影响动作。

这个建模改变了信息流。prior work 多数是从 tactile 到 shared representation；ResTacVLA 是先从 vision 到 expected touch，再从 expected touch 和 actual touch 的 discrepancy 中构造 policy signal。区别不只是多了一个预测器，而是把融合问题改写成误差编码问题。这样做理论上更 scalable：随着视觉主干变强，可预测触觉会被更好地滤掉，留下的 residual 更接近 task-relevant physical uncertainty；而不是让更大的视觉模型进一步压制触觉。

VQ contact primitives 是第二个关键 bias。连续 tactile residual 可能包含大量传感噪声、局部纹理和抓取姿态差异，直接输入 policy 会提高样本复杂度。离散化把它压成事件级接触词表，使 policy 学的是“碰撞、对齐、啮合、滑移、持续接触”这类 latent event，而不是像素级 tactile deformation。这个设计本质上是在 contact domain 中构造一个离散中间语言。

Surprise-aware gating 则解决 temporal sparsity：触觉不是一直有用。free-space 阶段让触觉进入 policy 只会污染轨迹；contact phase 才需要它。用视觉预测不确定性控制 gate，是把模态选择从隐式 attention 变成显式 phase-dependent routing。

Method

方法上需要保留的机制只有三层。

第一层是 cross-modal predictor。它解决的是“视觉能解释掉哪些触觉变化”。用 wrist camera 预测 tactile latent，并把真实 tactile latent 与预测值的差作为 residual。这里的必要性在于，它为触觉建立了一个视觉条件下的 baseline；没有这个 baseline，policy 看到的是完整触觉图像，其中大部分信息可能与动作无关或已由视觉编码。

第二层是 residual-to-primitive 的离散化。它解决的是 tactile residual 太连续、太噪、太依赖传感器局部细节的问题。VQ bottleneck 把 residual 压成 latent contact primitives，核心变化是从高维传感流转为低熵事件表示。这个瓶颈很可能是性能稳定性的关键之一，因为它限制了 policy 利用 spurious tactile patterns 的自由度。

第三层是 surprise-aware tactile injection。它解决的是触觉的阶段性有效问题。σ_t 被用作视觉预测不确定性的 proxy，经 gate 控制 tactile primitive 和默认 no-contact token 的插值。核心变化是 tactile 不再始终注入，而是只有当视觉 prior 不可靠时才影响 action expert。

其余实现——π0.5 backbone、PaliGemma 编码、多相机输入、flow matching action head——更多是承载框架，不是本文的概念贡献。它们让方法接入当前 VLA 系统，但不是 residual tactile idea 成立的根本原因。

Key Insight / Why It Works

最重要的 insight 是：对接触操作而言，触觉的有效信息不是绝对触觉状态，而是相对于视觉先验的不可预测部分。这比“加 tactile encoder”更接近问题本质。接触任务中视觉经常能解释大部分轨迹阶段，但在物理交互瞬间失效；residualization 正好把监督压力集中到这些视觉失效点。

我认为最可能的核心贡献是 residual representation + adaptive gate 的组合，而不是单独某个模块。只做 residual 而不 gate，会在无接触阶段注入大量低价值信息；只做 gate 而不 residual，触觉通道仍可能包含太多视觉冗余和噪声。VQ 是重要辅助，主要作用是正则化和事件抽象，未必是概念上不可替代的，但在小数据真机 imitation setting 下很可能显著降低过拟合。

这不是 scaling 方法，也不是 retrieval 或 test-time compute；本质上是 better inductive bias + latent structure。它把多模态融合中的“谁主导”问题改成“视觉解释后还剩什么”的问题，因此更适合小规模接触数据。其有效性也可能来自 curriculum-like effect：先预训练 CMP 学 contact residual，再冻结后训练 policy，等于把难学的 tactile semantics 从 action learning 中剥离出来。

需要警惕的是，σ_t 被解释为 surprise 但不一定真是可靠的不确定性度量。NLL predictor 的 variance 很容易学成数据分布频率、传感噪声或阶段标签 proxy。gate 的相位变化看起来合理，但也可能只是学到了 demo 中 contact timing 的相关性，而不是在线物理推理。

另一个不清楚的点是增益中有多少来自 residual idea，有多少来自额外 tactile pretraining、VQ regularization、冻结 encoder 稳定训练、以及任务数据覆盖。文中 ablation 支持方向正确，但还不足以完全分离这些因素。

Relation To Prior Work

最接近的路线有三类：visuo-tactile VLA、tactile representation learning、以及 force/tactile augmented policy。和 VLA-Touch、VTLA、Tactile-VLA 这类方法相比，ResTacVLA 的不同点不是“也用了触觉”，而是拒绝把触觉当作平行模态 token。它显式建模视觉无法解释的触觉残差，因此信息目标从 alignment 变成 complementarity。

和 VITaL、Beyond Sight、UniT、Sparsh 等 tactile representation work 相比，本文不是追求通用触觉表征或跨模态共享语义，而是面向 policy 的 task-relevant residual abstraction。这里的实质新增信息是：对 contact-rich manipulation，shared representation 未必是最优，orthogonal residual 可能更重要。

和 force-aware VLA 或 torque-aware VLA 相比，本文使用高分辨率视觉触觉传感器，并试图保留局部接触几何。但更本质的差异是其融合逻辑：不是简单把力/触觉作为反馈量，而是把它作为视觉 prediction error。

看似新的部分中，predictive coding、VQ discrete latent、gated fusion 都不是新概念；创新在于把它们组合成一个适配 contact-rich VLA 的信息瓶颈：视觉先验负责解释常规状态，触觉残差负责物理异常，gate 负责阶段路由。这属于多模态机器人策略中从 early fusion 向 error-coded / uncertainty-routed fusion 演化的一步。

Dataset / Evaluation

评估是全真机，任务覆盖旋拧、插入、peg、transfer、wiping，基本覆盖了几类典型 contact-rich primitive：精密对齐、遮挡下插入、螺纹接触、持续表面接触和动态扰动。这个任务集合比单一 insertion benchmark 更能支持“触觉 residual 对多类接触有用”的 claim。

结果最有说服力的是：vision-only 在 alignment 还能工作，但 interaction phase 明显掉；naive tactile fusion 有时甚至更差；Residual Tactile Representation 在不同 backbone 上都有收益；去掉 VQ 和 gate 都退化。这些证据支持论文的中心论点：问题不是有没有触觉，而是如何组织触觉信息。

但 evaluation 的上限也明显。所有实验仍在单一机器人、单一 GelSight Mini、固定相机配置、有限任务族内进行。所谓 multi-task generalization 更像同平台多任务训练后的任务内泛化，不是跨环境、跨物体类别、跨传感器或跨机器人泛化。robustness 评估有价值，但扰动类型仍较工程化，不能证明 primitives 是真正可迁移的 contact vocabulary。

benchmark 是否完全验证 predictive coding claim 也有限。t-SNE 和 gate 曲线是合理的解释性证据，但不是强因果证据。若要更严格，需要测试视觉先验被系统性误导、触觉传感器换域、未见接触事件、以及 gate 被干预时 policy 是否按预期退化。

Limitation

最大前提是视觉到触觉的预测必须足够有意义。若 wrist camera 视角差、遮挡严重、物体材质/形变超出训练分布，CMP 的 residual 可能混入大量无关误差；此时 residual 不再等价于 useful surprise，而只是 predictor failure。方法把“学习触觉策略”的难题部分转移成“学习视觉条件下触觉先验”的难题。

第二个限制是 scalability。VQ contact primitives 在五个任务上可以形成可解释簇，但任务族扩大后 codebook 是否仍能保持语义稳定，文中未充分说明。接触事件组合可能呈长尾分布，离散词表要么不够细，要么变成任务 ID / 阶段 ID 的隐式编码。

第三，泛化证据不足。当前结果更像在同一硬件与任务分布内证明了一个强 inductive bias，而不是证明通用触觉 VLA。跨传感器、跨材料、跨夹爪、跨相机外参后，residual latent 是否还能对齐，文中未充分说明。

第四，增益归因不完全清晰。ResTacVLA 同时引入了 tactile pretraining、UniT latent、VQ、uncertainty gate、冻结 CMP 和 action expert 注入位置变化。虽然 ablation 覆盖了部分组件，但无法排除性能主要来自更稳定的 pretraining pipeline 或更强的表示正则，而不是 predictive coding 本身。

第五，它没有真正解决长期接触状态建模。当前机制主要是 per-frame 或短时刻 tactile residual 注入，适合即时纠偏；对于长时程装配中需要记忆摩擦历史、累计位姿误差、接触模式转移的场景，planner 实际没有形成显式长期物理状态。所谓 reasoning 更像局部反馈控制，而不是高层物理推理。

Takeaway

• 最值得记住的第一点：多模态机器人策略里，弱模态不一定要和强模态对齐；在 contact-rich setting 中，更合理的目标可能是学习强模态解释不了的 residual。
• 第二点：触觉的 scalable 接入方式可能不是更大的 tactile encoder，而是更强的信息瓶颈和更明确的路由机制。
• VQ primitives + surprise gate 是一种可迁移范式，可推广到 force、audio、event camera 等稀疏/事件模态。
• 第三点：这篇论文真正推动的是 fusion objective 的改变——从 early fusion / shared latent 转向 predictive residual / uncertainty-conditioned fusion。

一句话总结

ResTacVLA 是一类从“触觉作为附加模态”转向“触觉作为视觉预测误差”的接触操作 VLA 方法，真正贡献在于用 residualization、离散接触事件和不确定性路由重构了触觉信息进入策略的方式。