精读笔记

Problem Setting

《Inference-time Policy Steering via Vision and Touch》（arXiv preprint / 2026）关注的是冻结生成式机器人策略的部署时修正，而不是重新训练一个更强的 visuo-tactile policy。问题可以理解为：给定一个已有 diffusion policy，把它当作 action proposal distribution，在执行前用预测未来和 reward verifier 选择或编辑动作。

真正困难点在于接触任务的成功条件是双层的：一层是视觉可见的全局语义进展，例如目标杯、目标孔、目标擦除区域；另一层是视觉经常不可见或不稳定可见的局部物理交互，例如压力、夹持力度、滑移、插入接触。以往视觉 steering 卡在第二层：视觉 reward 能选对方向，但无法保证 contact dynamics。纯触觉 steering 卡在第一层：它能改善局部接触，但不知道任务语义模式是否正确。

这篇论文的关键矛盾不是“如何融合多模态”，而是“视觉和触觉不该被同等时间尺度、同一 reward、同一 optimization objective 处理”。如果硬把两者加起来，长程视觉 reward 和短程触觉 reward 会互相污染：视觉信号会压过 contact 约束，或者触觉局部最优会牺牲全局目标。

Motivation

已有 inference-time steering 的默认假设是：候选动作的好坏可以从视觉未来中判断。这在 pick/place 或目标选择类任务里成立，但在 contact-rich manipulation 里明显不成立。很多失败不是“没去对地方”，而是“去了对地方但没施加对的力 / 没稳定接触 / 提前挤压 / 没插进去”。这些 failure mode 对 RGB reward model 来说本质上是弱可观测甚至不可观测的。

作者的核心观察是：视觉和触觉的优势天然分层。视觉适合做 semantic mode selection，因为需要看较长 horizon 才知道 robot 是朝哪个目标去；触觉适合做 local physical refinement，因为有效信息通常发生在短时间接触窗口内。缺口是现有方法没有把这种时间尺度差异结构化进 steering objective，而是要么只用视觉，要么只用触觉，要么 naive fusion。

因此，这篇论文不是在说“多模态输入更好”这个常识，而是在说：test-time policy steering 里，多模态信息应该被分配到不同优化层级和不同 horizon 上。

Core Idea

ViTaL 的核心思想是把 multimodal inference-time steering 拆成两步：先视觉选模式，再触觉改执行。长 horizon 上，从 base diffusion policy 采样多个候选动作序列，经 latent world model rollout 后用视觉 verifier 选择最符合当前 phase visual objective 的序列；短 horizon 上，把这个序列的前几个动作当作 anchor，用触觉 reward 对 diffusion denoising 做局部 guidance。

这个设计改变的是信息流组织方式。prior 往往把 reward 当成统一评价器，直接对候选动作排序或对 diffusion 过程做 guidance；ViTaL 则显式假设任务成功由两个不对称子问题构成：global mode selection 和 local contact realization。视觉不直接负责 contact，触觉也不直接负责 semantic target。这个 inductive bias 很强，但也正是它有效的原因。

和 prior 的本质差异在于，它不是简单加入触觉 modality，而是避免在错误尺度上融合 modality。触觉 reward 被约束在视觉 anchor 附近进行 editing，因此不会把策略拉到错误语义模式；视觉 reward 只负责选候选，而不尝试通过不可微 VLM 反向优化接触细节。这使得方法比端到端多模态策略训练更像一种 modular test-time compute 框架，也更容易复用已有视觉 reward model、触觉 encoder 和 diffusion policy。

Method

关键机制可以压缩为四点。

第一，latent visuo-tactile world model。它解决的是 steering 需要“执行前看到后果”的问题。视觉和触觉都被投到冻结 encoder 的 latent 空间，world model 预测候选动作下的未来 latent。核心变化是 verifier 不再只看当前观测，也不要求真实执行后再反馈，而是在 imagined future 上做 outcome-based selection。这里 world model 的作用不是生成高保真视频，而是保留 reward-relevant semantics 和 contact cues。

第二，phase-conditioned visual/tactile objectives。它解决的是高层语言指令太粗、不同阶段 reward 目标不同的问题。比如 pipette 任务里，前期需要轻握，接近目标后需要重握，之后还要返回红杯。这个机制的本质是把 reward modeling 从单一全局指令变成阶段化判别，降低 reward ambiguity。

第三，visual sampling-and-verification。它解决 global mode selection。因为视觉 verifier 是 VLM reward，直接做 gradient guidance 成本高且不稳定，所以作者选择采样 N 个候选、world-model rollout、视觉 reward 排序。这不是复杂规划，而是 test-time best-of-N selection；有效性依赖 base policy proposal 覆盖了足够多可选模式。

第四，tactile-guided diffusion editing。它解决局部 contact refinement。视觉选中的动作序列被部分加噪，再通过 base diffusion policy denoise；在 denoise 过程中，用 tactile reward 对 clean action estimate 求梯度并修正噪声方向。关键是 editing 从视觉 anchor 附近开始，不是从零生成，所以触觉只能局部改变执行方式，而不容易破坏视觉目标。

Key Insight / Why It Works

这篇论文最重要的 insight 是：多模态 steering 的难点不是 reward 加权，而是 temporal abstraction mismatch。视觉 reward 的有效 horizon 和触觉 reward 的有效 horizon 不一样；如果强行同一层优化，reward normalization 也解决不了语义错配。bi-level decomposition 是核心贡献，比具体使用 DINOv3、AnyTouch2、ROBOMETER 或某个 decoder 更重要。

方法有效主要来自三个因素。第一是更好的 inductive bias：把“where/what”交给视觉，把“how much force/how contact”交给触觉。这个结构和接触操作的因果分解高度一致。第二是 test-time compute：best-of-N visual sampling 加 diffusion guidance 本质上用额外推理时间弥补 policy 的局部缺陷。第三是 representation alignment：视觉 reward 借助 VLM/ROBOMETER，触觉 reward 借助 AnyTouch2/CLIP-like latent-text alignment，使得 reward 不必为每个任务重新训练。

最可能的核心贡献是 tactile reward + diffusion editing 被放在视觉 anchor 之后，而不是 tactile verifier 本身。所谓“language-conditioned tactile reward”有新意，但它的能力上限高度取决于预训练触觉 encoder 的语义结构；如果 latent-text alignment 不稳，这一块会很脆弱。视觉 verifier 和 world model 更多是已有路线的组合与工程化接入。

需要警惕的是，成功很可能依赖数据覆盖和 base policy proposal distribution。Visual stage 不是在发现新策略，而是在候选里挑更好的；tactile editing 也不是任意接触规划，而是在 anchor 附近做局部梯度修正。如果 demonstrations 和 intermediate rollouts 没覆盖相关接触模式，world model 和 diffusion prior 都无法凭空生成稳定行为。因此这里的“planning”更像 receding-horizon retrieval/editing，而不是强意义的 model-based planning。

另一个值得注意的点是 Pred reward 有时比 GT reward 更准，作者解释为 world model smoothing sensor noise。这个现象合理，但也提示 verifier 可能更偏好模型生成的低方差、分布内未来，而不是更真实但噪声更大的执行轨迹。若部署环境变化更大，这种 reward-on-imagination 的鲁棒性仍未充分说明。

Relation To Prior Work

这篇论文位于 diffusion policy test-time steering、world-model lookahead、visuo-tactile manipulation 三条线的交叉处。和 VLM-in-the-loop / visual lookahead steering 最接近的部分是：采样候选动作、rollout 未来、用语言条件 reward 排序。新增的是触觉不再作为额外 observation，而作为局部 refinement signal。

和 TouchGuide 类触觉 steering 相比，ViTaL 的差异在于它不只在 action space 上学触觉 verifier，也不把触觉当作唯一引导信号；它显式建模未来触觉 outcome，并把触觉限制在视觉选定模式附近做 editing。这样避免了纯触觉方法缺失全局语义目标的问题。

和 visuo-tactile policy learning 相比，ViTaL 不是训练一个端到端多模态策略，而是在 frozen policy 外面加 steering wrapper。这使它更像 test-time adaptation / MPC-style reranking，而不是 policy architecture contribution。它的实质创新是优化结构，而不是某个模型模块。

看似新的部分中，world model、VLM reward、diffusion editing、best-of-N sampling 都已有先例；真正新增的信息是把它们按“视觉长程选择 + 触觉短程编辑”组织成一个符合接触任务结构的 bi-level objective。这个组织方式比单个模块更有价值。

Dataset / Evaluation

评估使用真实 Franka 机器人、RGB 相机和 GelSight Mini，在 wiping、peg insertion、pipette transfer 三个接触任务上测试。任务选择是合理的：它们都需要视觉目标选择，同时又存在 contact failure mode，因此能直接检验论文 claim。相比只在仿真或离线 benchmark 上验证，这里的真机实验更有说服力。

不过任务覆盖仍然偏窄，基本都是固定场景、少数目标变化、有限语言指令、有限物体集合。每个任务 demonstration 数量不大，但 world model 还使用额外 policy rollout 数据；这使结果更接近“在特定 setup 内收集足够分布数据后的 deployment steering”，而不是开放环境泛化。

实验确实支持 bi-level 比 unimodal 和 naive fusion 更好这一核心结论。尤其 naive fusion 失败说明简单 reward 加权不是充分方案。但评估没有完全解开增益来源：额外 test-time compute、触觉 sensor、world model joint training、phase decomposition、diffusion editing 各自贡献多少仍不够清晰。附录有 world model 和 base policy ablation，但对于真实部署中的泛化边界仍未充分说明。

Limitation

最大前提是 world model 必须在 reward-relevant 维度上预测得足够准。接触事件往往短、非线性、受微小几何误差影响；如果 latent world model 平滑掉关键瞬态，tactile guidance 可能优化一个错误的 imagined contact。论文承认 compounding error，但更深层的问题是：contact-rich manipulation 的 reward-relevant state 可能正是最难预测的部分。

第二个前提是 tactile-text latent alignment。AnyTouch2 这类触觉 encoder 的预训练规模远小于 VLM，语言描述如“grasp lightly / heavily / insert the peg”是否真的对应稳定、可泛化的触觉语义，文中未充分说明。当前任务里的 tactile objective 相对简单，可能主要是在区分接触强弱或有无接触；更复杂的接触属性是否成立未知。

第三，base policy 的分布覆盖是硬上限。Visual sampling 只能从 policy 能生成的 modes 中选；diffusion editing 只能在 anchor 周围局部修改。若成功行为不在 policy manifold 附近，steering 不会创造新的技能。所谓 inference-time adaptation 更像 proposal reranking + local repair，而不是真正学习新能力。

第四，phase decomposition 仍有人工/离线语义设计痕迹。论文说用 VLM offline 分解任务，但实际任务阶段、threshold、触觉目标切换规则对 pipette 很关键。这里可能隐藏了不少 task-specific supervision。若阶段边界错误，bi-level reward 也会错。

第五，scalability 上限来自 latency 和 combinatorics。当前 N=10、H=16 已经依赖 VLM reward 推理作为瓶颈；更复杂任务需要更多候选、更长 horizon、更多 contact mode，best-of-N 很快会不够。长期规划能力可能只是短 horizon receding control 的叠加，而不是稳定全局计划。

Takeaway

• 1. 对接触操作而言，多模态不是简单 early fusion / reward sum；更合理的是按时间尺度和因果角色分工：视觉选语义模式，触觉修物理执行。
• 2. Test-time steering 的有效形式可能越来越像 modular MPC：policy 提 proposal，world model 做 imagination，reward model 做 verification，diffusion editing 做局部 repair。
• 关键不是单个模型更大，而是信息流组织更对。
• 3. 语言条件 tactile reward 是值得迁移的方向，但当前更应把它看作 contact embedding alignment 的早期证据，而不是成熟的通用触觉语义理解。

一句话总结

ViTaL 是一篇把视觉长程 semantic verification 和触觉短程 contact editing 结构化组合起来的 test-time steering 工作，真正贡献不在多模态堆叠，而在为接触操作引入了按模态时间尺度分解的 bi-level policy steering inductive bias。