精读笔记
Problem Setting
论文标题：TORL-VLA: Tactile Guided Online Reinforcement Learning for Contact-Rich Manipulation（arXiv preprint / 2026）。
这篇论文解决的不是“给 VLA 加触觉”这个问题，而是更具体也更实际的问题：在接触丰富的真实机器人任务中，离线训练好的 VLA 即使有 tactile/force input，遇到训练分布外的局部接触状态时仍无法在线调整动作。典型失败不是语义理解错误，而是 contact bottleneck 上的局部物理状态偏移：杯子半插入、锁扣未完全卡住、蛋被抓得过紧或过松。这些状态在 RGB 上经常不可见或近似成功，但物理上已经偏离。
真正困难点在于 credit assignment 和 safety 同时出现。接触任务中错误动作可能不会立刻失败，而是进入一个需要 retry 或 intervention 的状态；如果人类接管后完成任务，标准 value learning 会把之后的成功错误归因给之前导致接管的 policy action。以前 tactile-aware VLA 卡在 offline policy ceiling；以前 online refinement / residual RL 卡在真实接触任务里探索成本高、人类 intervention 数据会污染价值估计。这里的关键矛盾是：需要在线适应，但又不能靠高风险探索；需要利用人类纠正，但又不能把人类救回来的成功当成策略自己的能力。
Motivation
作者的核心观察是：contact awareness 不等于 contact adaptation。已有 TA-VLA、ForceVLA、Tactile-VLA 等路线把触觉作为输入、fusion feature 或 auxiliary target，确实让 policy 更知道当前是否接触、力是否异常，但部署时策略参数固定，不能从当前环境的摩擦、几何误差、物体顺应性和累计执行误差中学习修正。
另一个缺口是 human-in-the-loop RL 的 value bias。真实机器人接触任务不可能完全依赖 autonomous exploration，因为危险、慢、会损坏物体；但一旦允许人类 intervention，episode-level sparse success 就不再是干净的策略回报。论文的动机不是简单把 VLA 和 SAC/TD3 拼起来，而是要让 VLA 提供高质量 reference，让 RL 只学习局部 contact correction，并且在 intervention 边界处阻断错误 credit propagation。
Core Idea
核心思想可以概括为：把 VLA 从最终控制策略降级为 action-and-contact reference model，再用轻量在线 RL 在接触瓶颈处做局部修正。冻结的大 VLA 负责长程语义、视觉上下文和 demonstration prior；小 actor-critic 负责当前 wrench-conditioned adjustment。这个结构上的变化很重要，因为它承认大 VLA 的优势在高层任务结构和动作先验，而不是毫秒级接触反馈闭环。
论文引入的关键 inductive bias 是 future wrench reference。reference model 不只预测动作，还预测如果执行这些动作，未来接触力/力矩应如何演化。在线 actor 看到 measured wrench、recent wrench、predicted wrench 和 reference action，于是可以学习“当前实际接触轨迹 vs 预期接触轨迹”的偏差修正。这比单纯把 tactile token 塞进 VLA 更像控制意义上的 error feedback。和 prior 的本质区别在于：触觉不再只是改善 offline representation，而是进入 test-time / online adaptation loop，成为动作修正的状态变量。
Method
方法的机制层面可以拆成三点。
第一，wrench-aware reference model 解决的是 offline prior 的物理化问题。它把双指触觉映射成 12D wrench，并用短历史编码当前接触动态；随后在视觉-语言编码之后做 late fusion，避免破坏 pretrained VLA 的语义空间。joint action-wrench prediction 的作用不是为了展示多任务学习，而是让 action reference 带有 expected contact consequence，这为后续 online refiner 提供物理参照。
第二，stage-specific online refiner 解决的是局部接触适应问题。它不试图重新学习完整任务，也不全程覆盖 VLA，而是在 stage estimator 判定的 contact-critical window 内激活对应 actor-critic head。这样显著降低 RL 的状态-动作分布复杂度：RL 只需要学习 cup insertion、latch engagement、egg grasp/place 这类局部 correction，而不是从视觉语言指令到完整任务的全栈策略。
第三，intervention-censored critic 解决的是 human correction 下的价值污染问题。task critic 仍学习普通 sparse task return；IC critic 在 policy chunk 后接 human-dominated chunk 的边界处移除 bootstrap，并加 intervention cost。这个设计的核心变化是把“被人救回来的成功”从前一段 policy action 的 Bellman target 中切掉。actor loss 里再用 IC value 与 VLA reference 做 hinge comparison，防止 online actor 学出比 reference 更容易导致 intervention 的 refinement。
一些结构如 MoE fusion、zero-initialized bypass、stage routing gate 是合理工程设计，但不是论文最本质的贡献。它们的作用主要是让 wrench 信息不被大模型语义特征淹没，并让在线模块只在合适窗口生效。
Key Insight / Why It Works
这篇论文真正有效的原因大概率有三层。
第一，任务分解非常符合接触操控的误差结构。长程任务失败通常不是每一步都错，而是少数 contact bottleneck 上 reference 稍微偏了。用 VLA 负责大部分 easy / semantic / transport 部分，用 RL 只修正 bottleneck，是比端到端 RL fine-tune 更高效的 credit assignment。这里的本质不是更大的模型，而是更好的控制分层和局部化学习。
第二，future wrench prediction 提供了一个隐式 contact model。它不一定精确到动力学模型，但足以形成“应该看到什么接触反馈”的 prior。在线 actor 可以利用 measured wrench 与 predicted wrench 的 mismatch 做 correction。这属于 better inductive bias / representation alignment，而不是单纯 scaling。尤其在视觉状态接近但物理状态不同的场景，wrench trajectory 比 RGB 更接近真实 Markov state。
第三，IC critic 解决了一个实际但常被忽略的问题：human intervention 数据不是普通 expert demo，也不是普通 off-policy data。若不 censor，RL 会系统性高估那些把机器人带到危险边缘但最终被人救回来的动作。这个机制比简单 imitation intervention 更有实质创新，因为它明确修改了 Bellman backup 的因果边界。
不过需要直接指出：论文的收益不全都能归因给 IC critic。TORL-VLA 相比 baselines 同时拥有更强 reference model、future wrench head、wrench-conditioned refiner、stage-specific heads、human-intervened online data 和额外工程 gating。最终 28/30 这类提升很可能是多因素叠加。MoE ablation 显示 fusion 结构影响很大，但这也可能说明任务内 contact-stage / visual patterns 被更好拟合，并不必然代表通用接触推理。future wrench 是否学到可迁移动力学，还是在 539 条 demonstration 和固定 latch-box 环境内做 trajectory prior，文中未充分说明。
Relation To Prior Work
它最接近三条谱系的交叉：tactile/force-aware VLA、residual / reference-guided online RL、human-in-the-loop robot RL。
相对 tactile-aware VLA，实质差异是 deployment-time adaptation。TA-VLA、ForceVLA 等把触觉变成 offline policy 的输入或辅助目标；TORL-VLA 把 tactile-derived wrench 变成 online actor-critic 的闭环状态，并且用 predicted wrench 作为 expected contact reference。这是从 perceptual augmentation 到 control adaptation 的转变。
相对 RLT、Policy Decorator、PLD 等 reference-guided refinement，差异在于接触物理信号和 intervention credit 的处理。很多 residual RL 都可以修正大 policy，但通常默认 replay return 可直接用于 value backup。TORL-VLA 的 IC critic 是更贴近真实机器人 HITL 数据分布的改动。
看似新的部分中，MoE fusion、late fusion、zero-init bypass、action chunk refinement 都是已有思想的重组；实质创新更集中在：action-wrench reference interface，以及 intervention-censored value learning。它属于“foundation policy + local online adaptation + safety/intervention-aware RL”的方法演化，而不是一个新的大模型范式。
Dataset / Evaluation
评估是实机，且任务确实是接触丰富：窄孔放杯、机械锁扣、易碎蛋处理。这比纯仿真或离线 benchmark 更能支撑 contact adaptation 的 claim。实验也比较了 offline VLA、tactile/force-aware offline VLA、无 RL 的 TORL reference、以及类似 RLT 的 online refinement，基本覆盖了论文要击败的关键路线。
但 evaluation 的外推性有限。所有任务都在同一个 latch-box setup、同一机器人、同一 gripper、同一 tactile interface 上完成；所谓多任务更多是同一环境内的多个 contact bottleneck，而不是跨场景/跨物体类别/跨 embodiment 泛化。30 trials 的实机评估对于 robotics 论文是常见规模，但不足以证明 robust generalization。full-task throughput 有现实意义，不过也容易受到 stage routing、失败恢复策略、动作速度、安全阈值等工程因素影响。
Ablation 支持三个模块都有贡献，但不能完全分离 data effect。在线 adaptation variants 各自采集自己的在线数据，虽然预算匹配，但具体 intervention 分布和探索轨迹可能不同。IC critic 的诊断很有说服力地表明它学到了 intervention-risk separation，但这还是任务内 replay 上的 post-hoc analysis，不等价于证明该机制在未知接触模式下泛化。
Limitation
最大隐含前提是 reference 已经足够接近成功。TORL-VLA 不是从失败分布中自主发现新策略，而是在 VLA reference 附近做 local repair。如果初始 VLA 对任务阶段、物体几何或高层顺序不可靠，online refiner 很难补救。
第二个前提是 wrench 可测且可对齐。方法高度依赖 fingertip wrench 的稳定性、标定、坐标系一致性和传感器安装。换传感器、换 gripper、换接触点之后，12D wrench abstraction 是否仍能无痛迁移，文中未充分说明。所谓 tactile-derived common force-torque interface 是合理方向，但不自动等于跨硬件泛化。
第三，stage-specific routing 可能把 scalability 问题转移到了人工阶段分解。当前任务只有少数 contact windows，stage estimator 也在固定流程中工作；如果扩展到开放长程任务，是否需要为每个 contact mode 训练一个 refiner/head，是明显上限。这个设计工程上有效，但泛化性不如端到端 universal refiner 清晰。
第四，human intervention 是强 hidden supervision。系统不仅用 demonstration，还用在线人工接管边界、人工动作和 sparse success。很多提升可能来自人类把数据分布引导到关键失败边界，而不是策略自主探索。IC critic 处理了 credit bias，但没有消除对高质量 intervention 的依赖。
第五，future wrench prediction 的语义边界不清。它可能学的是局部 contact dynamics，也可能只是固定任务轨迹下的时间-阶段模式。尤其在 latch-box 这种结构化环境中，predicted wrench 的成功可能来自 benchmark overlap / implicit memorization，而不是真正可组合的物理预测。
Takeaway
- 1. 对 contact-rich manipulation，触觉/力觉最有价值的位置不是简单并入 VLA 输入，而是作为 online correction 的闭环状态；contact awareness 到 contact adaptation 是一个实质范式差异。
- 2. 大 VLA + 小 RL refiner 的分层结构很合理：foundation policy 负责语义和长程 prior，RL 只吃局部接触误差。
- 这比直接 RL fine-tune 大模型更可能成为真实机器人中的主流路线。
- 3. Human-in-the-loop RL 需要显式处理 intervention credit boundary。
一句话总结
TORL-VLA 是一篇把 tactile-aware VLA 推向 tactile-guided online contact adaptation 的工作，真正贡献在于用 action-wrench reference 加 intervention-censored RL 把大模型先验、接触反馈和人类接管数据组织成可训练的局部修正闭环。