精读笔记

Problem Setting

这篇论文真正处理的是 contact-rich manipulation 中 action chunk policy 的执行期接触失配问题。任务本身不是难在动作空间复杂，而是难在关键状态不在视觉里：是否真正接触、压力是否合适、是否开始卡住、摩擦/阻力是否异常，这些往往只能从 force/torque 中看出来。

以前方法卡在两个位置：vision-only policy 没有接触可观性；force-aware policy 虽然读入 force，但多数仍是 observation-to-action 的 reactive mapping，没有显式回答“这段动作如果正确执行，未来力应该是什么样”。因此执行时看到一个 force 值，并不知道它是正常接触、轻微偏差，还是即将失败。

关键矛盾是：contact-rich task 需要高频闭环调节，但当前大模型式 visuomotor / VLA policy 往往以低频 action chunk 输出为主。action chunk 提高了学习和推理效率，却牺牲了 chunk 内对接触扰动的响应。FAWAM 的目标就是在不放弃 chunk policy 的前提下，把 force prediction 变成执行期闭环参考。

Motivation

已有路线不够的地方，不是 force modality 没被使用，而是 force 的使用方式太浅。把 force 拼进 observation，模型只能学习当前 force 与下一步动作的相关性；加入 auxiliary force prediction，也未必会把预测结果用于执行时纠偏。换句话说，force 仍然只是 representation regularizer，而不是 control signal。

作者的核心观察很实际：人做擦、削、推这类任务时，不只是感受到力，还会有一个预期的接触后果；当真实反馈和预期不一致时，会立刻调整动作。这个“预期—偏差—修正”的闭环，在现有 VLA / world action model 里基本缺失。

因此缺口是 predictive contact reference。视觉 world model 可以想象未来画面，但接触失败往往在画面里晚出现、弱可见；force-aware reactive policy 能感知异常，但缺少预期基线。FAWAM 正是把两者接起来：预测未来 wrench，并把它作为 online correction 的参照。

Core Idea

FAWAM 的核心不是“加了力传感器”，而是改变了 force 在策略中的语义角色：force 不再只是输入，而是同时作为 latent contact state、future consequence、execution reference。这个信息流重组是论文最值得关注的部分。

具体说，模型先用历史 wrench 估计当前局部接触状态，用它调制动作生成；再让动作 decoder 同时生成未来 action 和未来 wrench，使动作表示被迫编码接触后果；最后在执行 action chunk 时，用预测 wrench 与实时 wrench 的差异驱动残差修正。这样，policy 不是盲目执行动作序列，而是带着一个 learned contact expectation 执行。

和 prior 的本质区别在于：ForceVLA / TA-VLA 一类方法主要把 force 作为增强感知或辅助监督；FAWAM 把 force prediction 变成 closed-loop control 的 reference。这个 inductive bias 很强：成功演示的 wrench trajectory 被视为任务进展的一部分，偏离它就意味着需要纠偏。这比直接从 raw force 到 action 更可学习，因为误差信号天然对齐“当前执行与计划之间的差”。

Method

方法可以压缩成三个机制，而不是一堆模块。

第一，force-conditioned action generation。历史 wrench 被编码为 contact feature，并通过 AdaLN-style modulation 作用于 action decoder。它解决的是视觉 latent 对接触状态不可观的问题。相比简单 concat，这种调制更像是在动作生成过程里动态改变 policy 的局部模式：同一个视觉状态下，不同接触状态可以产生不同动作。

第二，joint action-wrench prediction。模型不只预测未来动作，还预测未来 end-effector wrench。它解决的是动作模型缺少 contact consequence 的问题。这个监督会迫使 decoder 学到动作与接触结果之间的耦合，而不是仅拟合演示动作。注意这里的 wrench prediction 不一定要非常物理精确；它更重要的作用是提供一个 task-conditioned reference trajectory。

第三，force-guided residual correction。base policy 以低频产生 action chunk，residual corrector 高频运行，用 measured-predicted wrench error、未来 base action 和未来 predicted wrench 来输出局部残差，并通过 gate 决定是否启用。它解决的是 chunk 内 open-loop 执行无法响应突发接触变化的问题。gate 的存在很关键，因为残差模块如果持续介入，容易破坏 base policy 的正常行为。

整体上，FAWAM 不是把控制完全交给 learned residual，而是让 base policy 负责 nominal behavior，让 residual 只处理 contact deviation。这是一个合理的分工。

Key Insight / Why It Works

最核心的有效性来源大概率是“把 force 从绝对观测变成相对误差”。raw force 本身高度依赖物体、姿态、工具、摩擦和传感器偏置；但 measured force 与 predicted force 的差异更直接表示执行是否偏离当前计划。这个误差信号是 residual correction 可学的关键。

第二个关键点是 joint prediction 对 representation 的约束。单纯 force-conditioned policy 容易把 force 当短期相关特征使用，甚至在数据少时过拟合局部 force pattern；要求同时预测未来 wrench，相当于给动作 latent 加了一个 contact-dynamics auxiliary structure，使其更接近“动作—后果”表示。这是比简单 multimodal fusion 更强的 inductive bias。

第三个点是 residual learning 的局部性。contact-rich failure 很多不是全局计划错误，而是局部接触压力、角度、阻力的偏差。让一个小 MLP 在 10Hz 上改剩余 chunk，比让大模型重新规划整个动作更稳定、更便宜，也更符合数据规模。这里的能力不像长期 planning，更像 learned servoing around a predicted contact trajectory。

哪些可能只是辅助？AdaLN-Zero modulation 具体形式可能不是本质，换成其他 conditioning 方式也许差别不大；two-stage flow-matching training 很可能主要继承 GE-Act/GE-Base 的工程框架。真正贡献不在生成模型训练 recipe，而在 predicted wrench 被用作 execution-time reference。

哪些增益来源不清？full FAWAM 相比 w/o residual 使用了额外 20 条 human intervention episodes，因此最终 85% 的提升不能完全归因于架构。Res-only 也有明显提升，说明一部分收益来自 corrective data aggregation / residual imitation，而不是 force-aware world model 本身。文中虽然做了 Res-only ablation，但没有把 intervention data 控制到所有强 baseline 上，因此“FAWAM 框架本身优于带同等纠错数据的其他 policy”仍未完全证明。

这篇更像是 better inductive bias + corrective data，而不是 scaling 或真正物理推理。所谓 world action model 在这里主要提供短期未来 visual/action feature 和 wrench reference，不应理解为学到了可组合的接触物理模型。

Relation To Prior Work

最接近的技术谱系有三条：force-aware visuomotor/VLA policy、world action model、residual / DAgger-style corrective learning。FAWAM 的新意在于把三者串成闭环，而不是单独推进某一条。

相对 ForceVLA、TA-VLA，FAWAM 的本质差异是 force prediction 的用途。TA-VLA 这类 auxiliary torque/force prediction 更多是 representation grounding；FAWAM 把 predicted wrench 拿到 deployment 中作为 reference，形成 measured-predicted error。这是实质新增信息。

相对 RDP、Force Policy、hybrid force-position control，FAWAM 不显式设计 interaction frame 或 force controller，也不是纯 reactive low-level force servo。它学习的是“偏离演示接触轨迹时该如何残差修正”。因此它更依赖数据覆盖，但也更容易接入大模型式 action chunk policy。

相对 GE-Act / WorldVLA / video-action world model，FAWAM 没有真正把 force 融入视频未来生成，也没有做长期 contact-aware planning。它是在 action branch 上加入 wrench consequence prediction。这个选择很 pragmatic：现阶段没有大规模同步 force-video 数据，直接做 force-video world model 很难。但也意味着它的 world modeling 深度有限。

看似新的部分中，residual correction 和 human intervention data 本身是已有思想；joint auxiliary prediction 也不是新范式。实质创新是：用 predicted wrench trajectory 把 world-model-style prediction 和 residual correction 对接起来。

Dataset / Evaluation

实验是小规模但有价值的真机验证。四个任务都属于持续接触、力敏感执行，覆盖擦、削、推、曲面擦拭等不同接触形态；每个任务有受控几何/接触条件变化。相比纯离线 benchmark，这类真实机器人评估确实更能检验 contact feedback 的价值。

评估支持的核心 claim 是：force 只作为 observation 不够，预测未来 wrench 并用于 residual correction 更有效。主结果、消融和扰动实验的方向是一致的，尤其扰动实验比较直接地验证了 closed-loop correction 的必要性。

但 evaluation 的外推性有限。任务都是同一平台、同一传感器、同一实验环境下的 tabletop contact tasks；每个任务 90 demos，residual 额外 20 intervention episodes，规模不大。所谓 robustness 更多是对预设扰动和受控条件变化的鲁棒，而不是跨物体类别、跨材料、跨工具、跨接触拓扑的泛化。

另外，baseline 公平性有一个隐性问题：full FAWAM 使用额外 corrective data，而部分 baselines 没有同等 human intervention 训练。论文能说明 full pipeline 有效，但不足以完全隔离“架构设计”与“额外纠错数据”的贡献。

Limitation

最根本的限制是 wrench reference 的可泛化性。end-effector 6D wrench 是低维且间接的接触表示，它把接触位置、接触面积、摩擦、物体形变、多点接触全部压成一个合力/合力矩。对于本文任务这可能够用，但对于 dexterous manipulation、复杂装配、柔性物体、多接触点操作，这个表示会丢掉关键结构。

第二，方法依赖成功示范中的 force trajectory 足够一致。如果同一任务存在多种合法接触策略，或者不同材料/几何导致正确 wrench 分布差异很大，那么 predicted wrench reference 可能把策略锁定在演示分布附近，反而限制泛化。

第三，residual corrector 的能力上限由 intervention data 覆盖决定。它不是从物理约束推导出的稳定控制器，而是学到的局部纠偏映射；遇到训练中没见过的大偏差、突发碰撞、接触拓扑变化，gate 可能不触发或 residual 方向错误。文中也承认 intervention episodes 有限。

第四，force 没有进入 video world model，只在 action decoder 中预测。这意味着视觉未来和接触未来并没有被统一建模；如果视觉变化和力变化存在复杂耦合，当前架构可能捕捉不到。所谓 force-aware world model 更准确说是 force-aware world-action decoder。

第五，增益归因仍不完全清晰。Full model 的提升同时来自 force conditioning、auxiliary wrench prediction、额外 correction data、residual gating 和高频执行闭环。消融有帮助，但还不足以说明哪个因素在更大任务集上是决定性的。

Takeaway

• 1. 对 contact-rich manipulation 来说，force 最有价值的用法可能不是作为额外 observation，而是作为 predicted consequence 和 execution reference。
• 这个视角值得迁移到 tactile、audio、proprioceptive anomaly 等其他 interaction modality。
• 2. 对 action chunk policy，闭环不一定要让大模型高频重规划；可以让大模型输出 nominal plan + expected sensor trajectory，再用小模型高频做 residual servoing。
• 这是一个现实且可扩展的系统分工。

一句话总结

FAWAM 是把 force-aware policy、world-action prediction 和 residual corrective imitation 连接起来的一步，真正贡献在于把预测 wrench 变成 action chunk 执行期的接触误差参考，而不是单纯增加一个力觉输入模态。