精读笔记

Problem Setting

论文标题：FlowMPC: Improving Flow Matching policies with World Models（arXiv preprint / 2026-06-16）。

这篇论文实际处理的是 flow/diffusion-style imitation policy 的 test-time improvement 问题：已经有一个从专家数据学到的 FM action trajectory generator，但它在执行时只能复现 demonstration distribution，不能根据当前状态显式选择更高 return 的动作序列。真正困难点不在于生成可行动作，而在于从多个可行动作模式中选择“当前最稳、最可能成功”的一个，尤其是在 manipulation 末端阶段，短暂成功和最终稳定成功之间差别很大。

以前路线大致有两类卡点：纯 BC/FM 卡在 distribution shift 和 compounding error；RL fine-tuning flow policy 虽然能引入 reward，但需要改 objective、训练成本高且可能破坏 generative prior。TD-MPC2 这类 world-model planning 则依赖 actor/proposal 和 model 的共同训练，在视觉 manipulation 的 imitation setting 下未必自然拥有高质量多模态 action prior。本文的关键矛盾是：FM policy 有行为先验但缺 return-awareness；world model 有评估/规划接口但缺可靠的高维动作搜索先验。

Motivation

作者的动机不是重新发明一个更强的 FM policy，而是补 FM imitation 的一个结构性缺口：它能表达 expert action distribution，却不能在 test time 根据 predicted consequence 做选择。对于多模态 manipulation，生成模型的优势在于覆盖多个可行轨迹模式；但一旦 rollout 中出现小偏差，单纯 imitation policy 缺少机制判断哪条 recovery trajectory 更优。

关键观察是：FM policy 本身已经是一个很强的 proposal model。与其用 RL 改写它，不如把它当作 action prior，让 learned world model 只负责在这些 proposal 上评估未来 reward/value。这个方向的缺口在于 prior work 要么做 flow policy RL，要么做 world-model RL，但较少把 FM trajectory generator 直接嵌入 TD-MPC2/MPPI-style inference loop 中，用 test-time planning 进行 policy improvement。

Core Idea

核心思想可以概括为：把 FM policy 从“最终策略”降级/重解释为“候选轨迹生成器”，再用 learned world model 在推理时做短 horizon reranking 和 MPPI refinement。这样模型不需要在整个连续动作空间里盲搜，也不需要让 FM policy 自己学习 reward-conditioned behavior；它只需要在 FM prior 支撑的动作流形附近判断哪条轨迹更可能成功。

这个设计引入的 inductive bias 很明确：规划被限制在 demonstration-induced action manifold 附近。好处是降低 world model 外推风险，也提高 MPPI proposal 质量；坏处是如果 expert data 没覆盖 recovery behavior，planner 也大概率找不到真正新颖的补救策略。因此它不是“让 imitation policy 获得通用规划能力”，而是用 world model 给一个强 imitation prior 加上 return-conditioned selection layer。本质差异在于 policy improvement 发生在 inference-time compute，而不是 policy optimization objective 中。

Method

方法层面真正关键的机制不是模块堆叠，而是几个接口约束。

第一，FM policy 生成整段 action sequence，而不是单步 action。这解决的是 MPPI proposal 质量问题：在高维连续控制和接触任务中，随机采样轨迹绝大多数没有意义；FM 提供的是 expert-like temporal structure，使 world model rollout 至少发生在相对可行动作区域。

第二，world model 对候选序列做 rollout，并用 predicted binary reward 加 terminal Q 评分。这解决的是 FM 缺 return-awareness 的问题：多个 imitation-plausible trajectories 中，planner 可以偏向 predicted success 更高的那一个。这里的核心变化是 action selection 从 imitation likelihood 转向 predicted task consequence。

第三，BC action head 用于 terminal value bootstrapping。这个设计看似小，但机制上很重要：Q 需要评估 terminal state 后接一个合理 action，而不是任意 sampled action。否则 value head 会被迫在离分布 action 上外推，规划会不稳定。BC head 本质上是把 value bootstrap 也锚定到 demonstration/action-prior distribution 上。

第四，复用 FM visual encoder 训练 world model。它解决 representation alignment 和 sample efficiency 问题：world model 不直接从 raw image 学动力学，而是在 FM 已学到的视觉 latent 上建模。这可能是性能稳定的重要来源，但更像 representation reuse / engineering choice，而不是新的模型原理。

第五，state-space 与 latent-space world model 按任务切换。PickCube 用 H=1 的 state-space model，PickSingleYCB 用 H=3 的 latent model。这说明该方法目前依赖任务级 design selection；文中未充分说明如何系统选择 world model form 和 horizon。

Key Insight / Why It Works

这篇最有价值的 insight 是：对强 generative imitation policy 来说，最便宜的 improvement 可能不是再训练 policy，而是在 test time 对其输出做 consequence-aware filtering。FM policy 已经把搜索空间从原始动作空间压到 expert action manifold；world model 只需在这个低熵候选集上做短视评估。这是典型的 test-time compute + action prior 组合，而不是纯 model-based RL 的开放式规划。

真正有效的原因很可能有三层。第一是 proposal quality：FM 生成的候选序列天然更接近可执行轨迹，MPPI 的有效样本率提高。第二是 representation alignment：world model 使用 FM visual latent，减少视觉建模负担，也让 planner 和 policy 共享 observation abstraction。第三是 terminal stabilization：end success 增益大于 anytime success，说明 planner 主要在“已经接近成功但需要保持/微调”的区域发挥作用。

我不认为实验足以证明该方法具备强长期规划能力。PickCube 最优 horizon 只有 1，这更像 one-step model-based action reranking 或 control correction。PickSingleYCB 的 horizon 也只有 3，仍是局部规划。所谓 world-model planning 在这里更可能是 learned short-horizon critic-assisted smoothing，而不是形成长期状态预测和复杂策略搜索。

哪些是核心贡献？FM-as-proposal + world-model reranking 是核心；BC head for in-distribution value bootstrap 是重要稳定器；visual latent reuse 和任务特定 world model variant 大概率是必要工程。增益来源不清，因为没有充分 ablation 来区分 FM proposal、random MPPI、terminal Q、BC head、encoder reuse、horizon 和 cosine schedule 的贡献。尤其文中提到学习率 schedule 对 PickCube 影响很大，这提示部分结果可能主要来自 tuning / engineering，而非单一算法机制。

Relation To Prior Work

这篇属于 imitation learning 与 model-based control 的交叉谱系，更接近“generative policy prior for planning”而不是新型 FM 或新型 world model。与 RL-for-flow-policy 的本质差异是：后者改变 policy objective，让 FM policy 学 reward；FlowMPC 保持 FM objective 不变，把 reward optimization 推到 test-time planner。

与 TD-MPC2 的差异也很具体：TD-MPC2 通常学习 actor 并围绕 actor/world model 做 model-based RL；FlowMPC 用 imitation-learned FM 替代 actor proposal，并把 world model 主要用于评估候选轨迹，而不是训练一个新的 actor。它不是对 TD-MPC2 objective 的根本创新，而是把 TD-MPC2 的 planning backbone 接到 FM trajectory generator 上。

看似新的部分很多其实是已有思想重组：diffusion/flow policy 提供 action prior，MPPI 做 trajectory reweighting，world model 做 rollout/value estimation，BC head 保证 in-distribution bootstrap。这些都不是单独的新算法。实质新增的信息在于：在 manipulation imitation setting 下，这种组合可以在不 fine-tune FM policy 的情况下带来可观 end-success 提升；并且 FM trajectory prior 与 learned model planning 的接口是可行的。

Dataset / Evaluation

评估范围很窄：只有 ManiSkill 中两个模拟 manipulation task，没有真实机器人、没有跨场景、多任务或显著分布外测试。专家数据来自 privileged-state SAC，再训练视觉+proprioception FM policy；这意味着数据质量较高，且 benchmark 与 expert collection pipeline 高度匹配。核心 claim“world model can complement FM policy”在这两个 task 上被支持，但更广的 claim——泛化、长期规划、真实部署鲁棒性——没有被验证。

实验最有说服力的地方是比较对象是同一个 FM policy 加不加 planner，说明增益确实来自 inference-time augmentation。但 evaluation 仍不足以做强归因：缺少关键 ablation，如只用 random MPPI、只用 value reranking、不用 FM proposal、不用 BC terminal head、不复用 visual encoder、不同 Kπ/K、不同 horizon 的系统曲线等。

结果更支持一个具体判断：FlowMPC 对“接近成功后的稳定保持”有效。PickSingleYCB anytime success 增益很小且置信区间重叠，而 end success 提升明显，这说明 planner 未必显著提高 reach-success 能力，而是减少成功后掉落/失稳。

Limitation

最核心限制是方法成立强依赖 expert data coverage。FM proposal 限制了规划搜索空间；如果 demonstration 没覆盖某类 recovery 或 alternative strategy，world model 很难凭空发现。这里的 planning 不是摆脱 imitation，而是更好地利用 imitation distribution。

第二，world model 的泛化能力没有被真正检验。因为候选动作大多来自 FM prior，模型 rollout 可能主要在 expert-like distribution 内工作；这降低了外推风险，但也意味着所谓 model-based reasoning 可能只是局部 reranking。遇到真实部署中的视觉扰动、接触动力学偏差或状态偏移，效果未知。

第三，scalability 上限不清。MPPI + FM sampling 引入 test-time compute，且 FM action sequence generation 本身不便宜。对于更高频控制、更长 horizon、更复杂任务，512 条候选、短 horizon rollout 是否够用没有答案；扩大 K/H 又会带来延迟和模型误差累积。

第四，增益归因不清。文中承认不同任务需要不同 world model variant 和 horizon，且某些训练 schedule 对结果影响大。这说明当前方法可能还依赖较多 per-task tuning。没有充分说明如何自动选择 latent/state-space model，也没有证明一个统一配置可泛化。

第五，benchmark 本身偏向短时 manipulation success，且 reward 是 binary。FlowMPC 在这种设置中可以把 learned reward/value 当成 success classifier 使用；在更稀疏、更延迟、更组合式任务中，短 horizon reward/value 是否仍有效文中未充分说明。

Takeaway

• 1. 对强 FM/diffusion imitation policy，最直接的提升路径之一是 test-time consequence-aware selection，而不一定是 RL fine-tuning。
• 把生成策略当 proposal，而不是最终策略，是一个值得迁移的设计模式。
• 2. World model 与 generative policy 的结合应尽量保持在 policy prior 支撑的动作流形内；这比开放式 model-based planning 更稳，也更符合 learned model 的可靠区域。
• 3. End-success 相比 anytime-success 更能暴露 imitation policy 的弱点：很多 policy 会“碰到成功”，但不会稳定保持。

一句话总结

FlowMPC 是一篇把 FM imitation policy 重解释为 trajectory proposal、再用 TD-MPC2-style world model 和 MPPI 在推理时做局部 return-aware reranking 的工作，贡献在于验证了 generative action prior + test-time model-based selection 这条实用演化路线，而不是提出新的 FM 或 world-model 原理。