精读笔记
Problem Setting
【QPILOTS: Efficient Test-Time Q-Steering for Flow Policies】（arXiv preprint / 2026）
这篇论文真正处理的是 flow / diffusion policy 的 policy extraction，而不是一般意义上的 offline RL 或 diffusion policy training。设定里已有一个 base flow policy πβ 和一个 critic Q，问题是如何从二者组合出一个 improved policy。难点在于 flow policy 的 action 是多步 denoising / ODE integration 的终点，critic 的有效输入却是 clean action；如果要最大化 Q，梯度必须穿过整条生成链，容易不稳定且对大模型不可接受。
以前方法卡在三类取舍：BPTT 能用梯度但不稳定；fine-tuning / adjoint matching 稳一些但每次 critic 变了都要改 policy；Best-of-N、residual edit、latent steering 不改 base policy，但要么丢掉 dense gradient，要么在 critic 不校准的 noisy latent 上做事，要么计算成本随采样数上升。核心矛盾是：生成过程的控制变量在中间 latent，价值函数的语义只在终点 action。
Motivation
作者的关键观察是，KL-regularized policy improvement 本来就给出一个指数倾斜分布：π*(a|s) ∝ πβ(a|s) exp(τQ(s,a))。这意味着 policy extraction 不一定要训练一个新 actor；也可以在 sampling dynamics 上直接实现这个 tilted distribution。
已有 inference-time guidance 的缺口在于 gradient 位置错了：如果在 x_t 这个 noisy / intermediate action 上评估 Q，critic 没有被训练成理解这种输入；如果只在最终 action 上做 edit，则错过了生成轨迹中间的可控机会。缺的是一个能把 clean-action Q 信号转换成 flow-time drift correction 的机制。
Core Idea
QPILOTS 的核心思想是：每个 denoising step 不直接问 Q(s,x_t)，而是问“从当前 x_t 出发，最终可能生成哪些 clean actions，这些 actions 的 Q-tilt posterior 对 x_t 的梯度是什么”。形式上，它估计 ∇_{x_t} log E_{x_1∼p(x_1|x_t,s)} exp(τQ(s,x_1))，再把这个梯度作为额外 drift 加到 base velocity 上。
这改变了建模方式：不是在参数空间里拟合 improved actor，而是在采样过程里做局部的 distribution transport。它引入的 inductive bias 是“只在 base policy 的 reachable posterior 内偏向高 Q endpoint”，因此比直接动作优化更保守，比 Best-of-N 更利用梯度，比 fine-tuning 更适合 frozen large VLA。
和 prior 的本质区别不是用了 Q，也不是用了 guidance，而是把 critic guidance 从 noisy space 拉回 clean-action posterior space。这一点是论文最有价值的重组。
Method
方法层面只需抓住几个必要机制。
第一，critic-tilted target。用 KL 约束下的 policy improvement 得到 π*(a|s) ∝ πβ(a|s)exp(τQ̄(s,a))，其中 Q̄ 是 pessimistic ensemble。这个步骤解决的是行为支持约束：不是无约束 maximize Q，而是在 base distribution 上重加权。
第二，flow-time steering。理论上 tilted terminal distribution 可由在 probability-flow ODE 中加入 log-tilt potential gradient 实现。实际采样时，每个 Euler step 都把 base velocity vθ(x_t,t,s) 加上一个 Q-induced steering direction。这个机制把一次性终点选择变成连续的中间过程引导。
第三，clean endpoint gradient estimator。QPILOTS-U 用 Tweedie denoised point x̂_1 近似 posterior，便宜且无需额外训练；它解决的是最小成本下避免 noisy-Q 的问题。QPILOTS-M 用 MFM 给 p(x_1|x_t,s) 采样，再 log-sum-exp 估计 posterior tilt gradient；它解决的是 U 在多模态 posterior 下的均值偏差。
第四，gradient magnitude rescaling。理论 drift 的 σ_t schedule 端点奇异，实际用与 base drift norm 匹配的方向项并乘 α。这是稳定性工程，不是理论核心；但很可能对结果很关键。
Key Insight / Why It Works
最重要的 insight 是 critic alignment：Q-function 的训练分布是 clean action，flow policy 的中间状态不是 action distribution。许多 prior guidance 方法失败，不是因为没有 guidance，而是因为把价值函数用在了语义错位的空间。QPILOTS 通过 denoise / posterior projection 把 Q 的梯度放回 clean-action manifold，再通过链式梯度传到 x_t，这比 noisy-Q guidance 更合理。
第二个有效点是每步引导而非终点筛选。Best-of-N 只能在采样完成后选择，信息利用很粗；QPILOTS 在 integration 过程中持续改变轨迹，等价于用 test-time compute 做局部 policy improvement。这本质上是 test-time compute + better inductive bias，而不是学到了新的长期规划能力。
第三，保守性来自 base posterior。steering 不是任意搜索动作空间，而是在 base flow 可达区域内倾斜，因此更不容易离开数据支持。这也是它在 offline-to-online benchmark 上有效的原因之一：critic extrapolation 被 base policy 的 support 约束住。
我认为最核心贡献是 clean-action posterior tilt gradient 这个信息流设计。MFM 是理论上漂亮的实现，但不是所有实验中最关键的增益来源；LIBERO 上 U 更强或相近，说明单点 denoised gradient 已经吃到了主要收益。MFM 的作用更像减少多模态 posterior bias，但其实际收益取决于 posterior sampler 是否真的学准。
哪些可能只是 engineering / scaling：pessimistic ensemble、gradient norm matching、α sweep、target network、action chunking 都是必要但非概念贡献。尤其 gradient rescaling 与 α tuning 可能解释了相当一部分稳定性；理论上 exact tilted ODE 的说法不能直接覆盖实际算法。
Relation To Prior Work
它最接近三条谱系的交叉：relative-entropy policy search / advantage weighted improvement，diffusion classifier guidance / universal guidance，以及 MFM-style reward-aligned flow sampling。
相对 QAM / FQL / fine-tuning extractor，QPILOTS 的本质差异是 policy 不被 critic 改写；critic 只在 sampling time 进入。这让它更适合 frozen VLA 和持续变化的 critic，但代价是每次 inference 都要额外梯度计算。
相对 DSRL / latent-space RL，它不训练一个 noise-space policy 去间接影响 action，而是直接用 clean Q-gradient 修正 flow velocity。新增的信息是 critic 的 action gradient 被保留下来，而不是被蒸馏成另一个策略。
相对 CGQL / classifier guidance，它避免在 noisy latent 上评估 reward / Q。QPILOTS-U 基本是 Universal Guidance 在 flow policy + RL critic 上的直接实例化；QPILOTS-M 的实质创新是把 MFM posterior-gradient estimator 接到 RL policy extraction 上。
因此这篇不是凭空发明新 RL objective，而是把已有的 tilted sampling 理论、clean-space guidance、flow posterior sampling组合到 policy extraction 场景中；真正新增的是问题定位和信息流对齐。
Dataset / Evaluation
OGBench 覆盖 50 个连续控制任务，包含导航和操纵，适合检验 offline-to-online policy extraction 是否有效。结果支持一个核心 claim：在同样 flow-policy + critic 的框架下，test-time clean-gradient steering 可以达到或超过需要 fine-tuning 的 extractor。
LIBERO 的 frozen π0.5 设置更有价值，因为它测试了“不能或不想 fine-tune 大模型”时的可用性。QPILOTS 在多个任务上提升 zero-shot base，说明方法确实能作为 VLA 的外接 RL steering layer。
但 evaluation 仍有明显边界：没有真实机器人；LIBERO 只选了 base 有非零成功率且中等难度的 6 个任务；MFM 使用的 LIBERO-90 demonstrations 与 π0.5 闭源预训练混合不一致，反而暴露了 posterior distillation 的脆弱性。OGBench 中作者只重新跑自家方法，baseline 数字来自 Li and Levine，虽然协议一致但仍不是完全同一实验栈。
实验验证了 inference-time steering 的实用性，但没有彻底验证“asymptotically unbiased posterior tilt”是性能来源。
Limitation
最大前提是 critic 必须在 clean action manifold 上足够可信。QPILOTS 会系统性放大 critic gradient；如果 Q 有局部错误、ensemble pessimism 不足、或 online 数据早期偏移严重，steering 会把采样推向 critic artifact。
第二个前提是 base policy 覆盖。指数倾斜只能在 πβ support 内重加权；如果任务需要 base policy 从未产生过的行为，QPILOTS 不会凭空创造策略能力。所谓泛化很可能主要来自 base VLA 的数据覆盖，steering 只是把已有可达行为排序和偏置。
第三，QPILOTS-M 把 policy extraction 的难点转移成 posterior sampler 学习。MFM 理论依赖准确 p(x_1|x_t,s)，但大模型预训练数据不可见时这个条件很难满足。LIBERO 上 MFM 没有稳定优于 U，说明这个部分的实际收益并不稳。
第四，实际算法与理论目标有断裂。gradient rescaling、跳过 t=0、clip action、batch-normalize / clip Q、α tuning 都是经验修正；这些操作让“精确采样 tilted policy”的理论解释变弱。文中未充分说明这些 heuristic 对最终分布偏差的影响。
第五，长期规划没有被直接解决。方法只在单步 / action chunk 生成中利用 Q；temporal credit 仍全部压在 critic 上。若 critic 学不到长程结构，QPILOTS 本身不会补出 planner。
Takeaway
- 1. 对 flow / diffusion policy 做 RL，关键不是一定要 fine-tune actor，而是把 value signal 放到正确的生成时间和正确的语义空间：clean endpoint posterior。
- 2. Test-time steering 是大 VLA 上更现实的 policy improvement 形态；未来很多 RL-for-foundation-policy 方法可能都会走“frozen generator + learned value + guided sampling”的路线。
- 3. MFM-style posterior sampler 是值得迁移的工具，但它的价值取决于 posterior distillation 数据是否匹配 base model；在闭源预训练大模型上，这会成为主要瓶颈。
- 4. 下一步真正值得做的不是再堆 guidance heuristic，而是自适应控制 steering strength、校准 critic uncertainty、以及让 posterior guidance 与 temporal planning 更紧密结合。
一句话总结
QPILOTS 是一类把 flow-policy RL extraction 从 actor fine-tuning 转成 test-time clean-posterior Q-tilted sampling 的方法，真正贡献在于纠正 critic guidance 的空间错位，而不是提出新的 RL 目标。