精读笔记

Problem Setting

论文标题：KAM-WM: Kinematic Affordance Maps from Latent World Models for Robot Manipulation（arXiv preprint / 2026）。这篇论文面对的是 few-demonstration imitation learning 中一个很具体但重要的问题：policy 缺少可泛化的交互先验，尤其是接触应该从哪里开始、以什么方向接近。静态视觉 prior，包括 mask、segmentation、spatial prompt，能帮助定位对象，但本质是 zero-order：它告诉 policy 哪些像素相关，却不编码 approach geometry 或 post-contact tendency。真正困难点在于低数据 regime 下 policy 很难仅从几十条 demo 中同时学到语义定位、接触侧、运动方向和双臂协调。以往方法卡在两端：VLA / action-conditioned model 需要大量机器人数据或 fine-tuning；video world model 可提供动态知识，但 rollout 成本高且生成未来帧未必直接对控制有用。KAM-WM 试图解决的关键矛盾是：如何把大视频模型中的动态先验低成本地转译成机器人 policy 可用的 conditioning，而不是把整个视频模型变成 planner。

Motivation

已有路线不够的原因在于它们要么信息不足，要么接口太重。mask 类方法缺的是 first-order cue：在 hanging mug、placing into container、bimanual handover 这类任务里，目标区域不是全部，接触方向和可行进入路径才是成功关键。视频生成/世界模型路线理论上有这些信息，因为预测未来视频必须建模对象运动和交互趋势，但常规使用方式需要 iterative denoising、future rollout、visual subgoal selection 或 action co-training，导致 test-time compute 和训练成本都不适合低数据 imitation。作者的核心观察是：冻结的 text-conditioned image-to-video Flow Matching 模型在第一步 denoising / 高噪声端点的 latent velocity，已经会在任务相关接触区域和机器人 embodiment 附近产生高响应。这暗示运动知识不一定要通过完整生成未来帧才能用，可能可以直接从生成模型的 vector field 中读出。关键缺口因此变成：找到一个不 rollout、不 fine-tune backbone、但能把 latent motion prior 接给 policy 的接口。

Core Idea

KAM-WM 的核心思想是把 Flow Matching 模型的单步 latent velocity 当成一种 first-order affordance prior。Flow Matching 学到的是从噪声 latent 到条件未来视频 latent 的 vector field；在 t=1 的高噪声端点，给定固定噪声和当前图像/语言条件，模型输出可被看作指向“该条件下 plausible future video latent”的位移估计。作者不声称这是物理速度场或 3D 运动场，而是把它作为任务条件化的 latent response：哪里响应大，说明视频模型认为那里和未来变化相关；响应方向结构则提供比 mask 更细的粗运动/接触信息。

本质区别在于建模方式从“生成未来作为子目标”转为“读取生成模型的局部 vector field 作为先验”。这改变了信息流：video model 不参与 policy rollout，不输出目标图像，也不被机器人动作监督 fine-tune；它只在 episode 开始提供一个压缩后的 latent prior，后续控制仍由 closed-loop policy 完成。新的 inductive bias 是：policy 不再从 RGB 中独自发现 interaction geometry，而是在训练时学习如何利用一个已包含视频动态统计的 frozen latent field。相比 mask prior，它引入了 first-order bias；相比 video rollout，它更 scalable，因为 test-time compute 从多步生成变成单次 query；相比 VLA fine-tuning，它把大模型能力作为 frozen memory reuse，而不是重新训练。

Method

方法层面应关注机制而非模块堆叠。第一，KAM 提取解决的是“如何低成本读出动态先验”：作者在 t=1 查询冻结 Wan2.2 image-to-video Flow Matching backbone，一次前向得到 latent velocity field。这个选择的必要性在于 t=1 是唯一严格 rollout-free 的点；若取 t<1，就需要部分 denoising，重新引入生成成本。第二，KAM 表示解决的是“如何避免把 latent field 误解释成 planner”：幅值可视化为交互热区，归一化响应保留方向结构，但 policy 实际消费 dense latent field，而不是人工解码成 flow 或 3D 位移。这样避免了错误的几何承诺，也把对齐任务留给 demonstration learning。第三，token compression 解决的是“dense world-model feature 如何进入控制器”：Perceiver bottleneck 把高维时空 latent field 压成少量动态 token，使 prior 成为 diffusion policy 的 global condition。第四，policy conditioning 解决的是“如何把一次性 prior 和闭环控制结合”：KAM 固定提供 episode-level task prior，RGB/proprioception 负责实时反馈，diffusion policy 学习从二者联合预测 action chunk。这里真正的核心变化不是用了 Diffusion Policy，而是把 frozen video-model velocity 变成可学习对齐的控制条件。

Key Insight / Why It Works

最关键 insight 是：生成模型的 vector field 本身就是一种可查询的知识表征，不必通过采样结果才有用。Flow Matching / rectified flow 的训练目标使模型在每个噪声状态预测朝向数据分布的位移；条件视频模型的位移场自然编码“在当前图像和语言下，未来哪些区域会变化、以何种 latent pattern 变化”。机器人操作中的许多低数据失败不是因为 policy 完全不会控制，而是因为它不知道该关注哪个接触区域、从哪侧进入、哪个局部结构代表可行动作。KAM 刚好提供这个 bias。

我认为最可能的核心贡献是“single-step vector-field readout”而不是 Perceiver 或 diffusion policy。Perceiver 只是把 prior 接入 policy 的工程接口；FiLM 也只是保证 RGB stream 不丢语言条件。真正的增益来源大概率是 latent structure + memory reuse：Wan2.2 在大规模视频数据中学到的对象运动、接触变化和 embodiment-like visual statistics，被低成本迁移到 robot imitation。它不是 test-time planning，因为没有 rollout、没有 search、没有 state update；也不是显式 dynamics model，因为动作不进入 world model。更准确地说，这是 frozen generative prior 的 representation alignment。

KAM vs mask ablation 是本文最有价值的证据：在同一 policy interface 下，把 zero-order spatial prior 换成 KAM 后，对方向敏感任务提升更明显，说明不是单纯多了参数或多了注意力。但增益归因仍不完全干净。KAM 的幅值本身也可能提供更好的 localization；normalized direction 是否被 policy 真正利用，文中没有强因果证据。另一个可能性是 KAM 是一种更强的 task-conditioned feature extractor，而不一定是“运动方向”在起作用。所谓 first-order cue 目前更多是合理解释，而不是被严格证明的机制。

需要直接指出的是，部分结果可能主要来自 scaling / data：Wan2.2 5B 的预训练覆盖极大，KAM 可能是在检索常见视频模式，而不是推理新交互。尤其在 simulation benchmark 中，语言、物体类别、交互模板可能与公开视频/生成模型先验有高度重合；这会让 latent prior 看起来像泛化，实际可能是 data coverage 的外显。论文没有充分排除 benchmark overlap、implicit memorization 或 hidden prior coverage 的影响。尽管如此，把这种 coverage 变成低成本 policy prior 本身仍是有价值的工程-机制结合点。

Relation To Prior Work

最接近的谱系有三条。第一是 affordance / mask / spatial prompt 方法，它们提供 where prior；KAM 的实质新增信息是把 prior 从 zero-order localization 推到 latent first-order response。第二是 video world model for robotics，例如用视频生成做 subgoal、planning 或 inverse dynamics；KAM 的差异是完全不 rollout，不把视频模型当未来帧生成器，而是把其 vector field 当 feature oracle。第三是 object flow / point tracking / any-point trajectory conditioned policy；这些方法直接提供可解释 motion cue，但通常需要专门 tracking/flow supervision 或把 2D motion 转成 action。KAM 则不训练 flow predictor，也不提供可解释轨迹，而是读取通用视频模型的 latent velocity。

看似新的部分里，policy 用 token conditioning、diffusion policy、FiLM language modulation 都是已有组件重组，不应被视为主要创新。实质创新在接口定义：单步高噪声 latent velocity 被命名并使用为 kinematic affordance prior。这是一个很有迁移性的设计模式：不一定要 sample foundation model 的输出，foundation model 的中间 score/velocity/energy field 本身可能就是更便宜、更稳定的 control prior。

Dataset / Evaluation

评估覆盖了 LIBERO 和 RoboTwin 2.0，基本能说明该方法在模拟低示范 manipulation benchmark 上有效，尤其 RoboTwin 的双臂、接触密集、Hard randomization 设置比简单单臂 tabletop 更有说服力。LIBERO 的提升主要说明它作为 task-conditioned visual prior 对长任务和 goal-conditioned suite 有帮助；RoboTwin 的任务分布则更能验证方向性接触 cue 的价值。

但 evaluation 对核心 claim 的支持是有限而非决定性的。和 DP/OpenVLA/ACT/RDT/DP3/π0 的主要比较多来自论文或 leaderboard，不是统一代码、统一调参、统一 seed 的 controlled comparison，因此只能作为 contextual evidence。真正支撑“beyond localization”的是 KAM vs mask 的同接口消融，但该消融只覆盖代表性任务，不是完整 50-task sweep 的严格机制验证。低数据 20-demo 结果很有意思，但也是 targeted diagnostic。真实世界部分更像 feasibility note：换到 π0 backbone、四个任务、无对照 baseline，不能支撑真实部署优势，只能说明接口可能 plug-and-play。

还有一个明显问题是单 run success rate。低数据 imitation variance 很大，尤其 diffusion policy 对 seed、demo selection、checkpoint selection 敏感。没有 multi-seed CI 时，不应过度解读小幅差异。整体上，benchmark 支持“这个 prior 有用”，但尚不足以证明“latent velocity 的方向信息是主要因果来源”。

Limitation

最深层限制是 KAM 的有效性依赖 frozen video model 的预训练分布与机器人任务分布发生足够重叠。如果任务对象、交互方式、相机视角或机器人 embodiment 超出视频模型经验，latent velocity 可能变成噪声或错误 bias。所谓泛化很可能是大视频模型 data coverage 的泛化，而不是机器人 policy 的结构性泛化。

第二，KAM 是 episode 初始帧的一次性 prior，会 stale。长 horizon、遮挡、物体被移动、失败恢复、多阶段任务都会破坏初始 KAM 的有效性。policy 虽然闭环读取 RGB，但 KAM 本身没有随状态更新，因此它不是长期 world model，也没有持续规划能力。若未来需要 refresh KAM，就会重新引入 test-time compute 和何时刷新/如何融合的问题。

第三，它没有几何可解释性。KAM 不是 optical flow、不是 contact normal、不是 3D affordance，也不是 action-conditioned dynamics。对精密插入、力控、窄容差接触、隐藏状态任务，它只能提供粗 bias，无法替代几何/触觉反馈。把 latent direction 说成 kinematic cue 可以接受，但不能过度解释为运动规划。

第四，增益来源不清。KAM 可能同时包含更强 localization、language-conditioned saliency、robot embodiment prior、video-model semantic memory、甚至 texture/style bias。文中没有充分分离这些因素。某些 Hard 任务上 KAM 不如 mask，也说明 latent velocity 对 domain randomization、纹理和光照可能更脆弱。

第五，方法把问题从“如何学 affordance”转移为“如何拥有一个足够强的视频生成模型”。这在工程上合理，但学术上需要承认：能力上限主要受 frozen world model 的数据、规模和参数化限制，而不是下游 policy 的小模型设计。

Takeaway

• 第一，最值得迁移的 insight 是：生成模型的 score/velocity/vector field 可以作为控制先验直接读取，不一定要采样未来。
• 这对 robotics、planning、active perception 都有启发。
• 第二，first-order visual prior 可能是 mask prior 之后更自然的一步。
• 很多操作任务不缺语义定位，缺的是接触侧、运动趋势和局部交互结构；从视频模型读取这类信息，比从零训练 affordance predictor 更 scalable。

一句话总结

KAM-WM 是把冻结视频生成模型的单步 Flow Matching latent velocity 重新解释为机器人操作 first-order affordance prior 的方法，真正贡献不在 policy 架构，而在用低成本 vector-field readout 替代视频 rollout / 大模型 fine-tuning 这一类方法演化。