精读笔记
Problem Setting
这篇论文解决的是推理时约束下的生成式机器人策略采样：base policy 已经学到专家轨迹分布，但部署时出现训练中未指定的障碍、安全约束或任务代价，需要在不重训的情况下生成仍像专家、但满足新约束的轨迹。关键矛盾是 fidelity vs feasibility：直接优化 cost 会离开 imitation prior，直接采样 policy 又无法响应新约束。以前方法卡在两个地方：post-hoc correction 把生成和修正分开，容易 OOD 或破坏整条轨迹的协同结构；gradient guidance / projection 虽然改了采样过程，但多数没有明确的 posterior target，因此很难判断“引导后”到底在采什么分布。
Motivation
已有路线缺的是 change-of-measure 层面的严肃处理。对于 diffusion / flow policy，真正需要的不是再加一个避障模块，而是把 learned trajectory distribution 和 inference-time objective 合成一个有定义的目标分布。作者的观察是：约束优化可以写成 optimality likelihood，预训练 policy 可以作为 Bayesian prior；这样问题自然变成从 p_data(x) exp(beta J(x)) 采样。Feynman-Kac corrector 正好填补这个缺口：它不是给 score 加启发式项，而是用 weighted dynamics 追踪 tilted density 的演化。
Core Idea
BayesFP 的核心不是“FK + robot policy”的组合本身，而是把推理时约束从外部修正器变成 posterior 的 likelihood。这个建模改变很重要：约束不再是采样结束后的 reject / project，也不再是和 score 随便相加的外力，而是在整条 trajectory population 上重新分配概率质量。它引入的 inductive bias 是：只在 demonstration manifold 附近寻找低 cost 解，而不是在全空间做 trajectory optimization。
它和 prior guidance 的本质区别在于 reweighting。cost-aware drift 本身几乎就是 linear-combination guidance；真正让它成为 posterior sampler 的是 FK weights 对 density mismatch 的修正。对于 flow policy，论文的另一个关键重组是把 deterministic ODE 改写为同 marginals 的 stochastic SDE，让原本缺失的 diffusion / score 结构重新出现，从而把 diffusion 里的 FK machinery 迁移到 flow-based VLA head。
Method
方法可以压缩成四个机制。第一，定义 posterior：q_t(x) exp(beta_t J(x))，其中 J 是推理时约束 / 目标的 penalty-augmented cost；这一步解决目标分布不明确的问题。第二，从 Fokker-Planck / FK PDE 推出 weighted SDE：drift 中加入 beta sigma^2 grad J / 2，weights 累积剩余 correction；这一步解决“只改 drift 不等于改目标分布”的问题。第三，对 flow policy 使用 marginal-preserving SDE：给 deterministic flow 注入可控 Brownian noise，并用 velocity field 闭式估计 score；这一步解决 flow 没有 stochastic sampling structure 的问题。第四，用粒子和 SMC 近似 posterior expectation / sample selection；这一步主要解决有限粒子下 weight degeneracy，不是理论核心。
Key Insight / Why It Works
真正有效的原因大概率有三层。第一层是 better inductive bias：posterior tilt 保留 q(x) 的高密度区域，因此不会像纯优化那样轻易生成 robot policy 从未学过的动作序列。第二层是 test-time compute：K 个粒子加 reweighting 实际是在推理时做一个轻量 population search，尤其对非凸障碍有用；这部分增益不能完全归因于“更正确的理论”，也来自更多采样预算。第三层是 trajectory-level selection：整条轨迹一起被赋权，而不是逐点把末端执行器推开障碍，因此在双臂 handoff、非凸绕行这类需要全局一致性的场景中更合理。
最可能的核心贡献是 FK weights 对 posterior 的校正，以及 flow-to-SDE 的统一化。cost drift、SDF penalty、body point collision cost 更像必要工程。理论保证有价值但条件偏强：compactness、cost continuity、penalty correctness、prior 在 minimizer 邻域有正密度，本质上说明“如果 prior 覆盖可行优解，足够强的 Gibbs tilt 会集中到那里”。这不是规划能力的凭空生成，而是对已有 support 的概率重分配。若可行解不在 learned distribution support 内，所谓 posterior sampling 无法救场，只会退化成 gradient guidance。
Relation To Prior Work
最接近的谱系是 control-as-inference、reward-guided diffusion / SMC、Feynman-Kac correctors、以及 inference-time policy steering。和 SafeDiffuser / classifier guidance / OmniGuide 类方法相比，BayesFP 的本质差异不是也用了 cost gradient，而是显式维护 product-of-experts / posterior density 的 reweighting correction。和 JM2D 相比，它不引入辅助 model-based variable，也不依赖最终 repair，而是直接在 policy trajectory space 上定义 posterior。和 Skreta et al. 的 FKC 相比，新东西主要是机器人约束场景化，以及把 FK corrector 延展到 deterministic flow policy；这里 flow marginal-preserving SDE 来自既有理论，所以创新更像把两条已有理论线正确拼接到 robot VLA / flow policy 上。实质新增的信息是：flow-based policy 也可以通过 score imputation + auxiliary diffusion 接入 posterior steering。
Dataset / Evaluation
评估覆盖面还算强：既有传统 Diffusion Policy，也有 GR00T-N1.6 和 π0.5 这类更现代的 VLA / flow head；既有仿真，也有小规模真机；也包含非凸障碍和双臂任务，能部分验证 whole-trajectory posterior sampling 的优势。它确实支持“推理时几何约束可以无重训注入预训练策略”这一核心 claim。
但 evaluation 的边界也很清楚。主要约束是 collision / SDF，可微、局部、几何形态明确；这离语义目标、长程任务约束、接触-rich 物理可行性还有距离。π0.5 的零样本提升同时受益于在线 SDF 把非目标物体和桌面显式标成 collidable，这是一种隐藏的结构化 supervision，不应解读成模型获得了更强 reasoning。真机实验规模较小，更多是 feasibility demo，不足以证明鲁棒部署。
Limitation
最大隐含前提是 overlap：p_data 必须给可行低代价轨迹足够概率质量。BayesFP 本质上是 posterior reweighting，不是全局 planner；如果训练数据从未包含绕行、抬高、换抓取姿态等行为模式，它没有机制系统地产生这些新策略。第二个上限是高维长 horizon 下的粒子退化：FK / SMC 在 trajectory space 中会面临维度和时间积累带来的 weight collapse，文中只用较小 K 展示可行，但没有严肃分析 scaling law。第三，约束必须可微或近似可微，并且 cost landscape 要足够 informative；现实接触、遮挡、不确定几何、动态障碍都会让 J 的质量成为瓶颈。第四，增益归因不完全清楚：一部分来自 principled posterior，一部分来自 test-time sampling budget，一部分来自 SDF-based external world model。文中未充分说明这些因素的独立贡献。
Takeaway
- 值得记住的不是具体避障 cost，而是：inference-time steering 应该先定义目标分布，再设计 sampler；否则很多 guidance 只是没有校正的 proposal drift。
- 第二，flow policy 并不天然排斥 diffusion-style Bayesian steering，只要能构造同 marginals 的 stochastic process 并恢复 score。
- 第三，posterior-level trajectory sampling 比 post-hoc pushing 更适合多模态和非凸约束，但它的能力边界就是 prior support。
- 未来真正值得做的是把这种 FK posterior steering 接到 learned reward / verifier / semantic cost，并研究长 horizon、高维 action、低 overlap 情况下的稳定性。
一句话总结
BayesFP 是把生成式机器人策略的推理时约束从 heuristic guidance 推进到 Bayesian posterior sampling 的一篇方法论文，实质贡献在于用 Feynman-Kac reweighting 统一 diffusion 与 flow policy 的 cost-tilted trajectory sampling。