精读笔记

Problem Setting

Q-VGM: Q-Guided Value-Gradient Matching for Flow-Matching VLA Policies（arXiv preprint / 2026）。这篇论文实际处理的是 flow-matching VLA 的 off-policy RL fine-tuning：给定一个 few-shot SFT 后的 flow action expert 和它自己生成的 fixed rollout buffer，如何利用 learned Q-function 提升 policy，而不需要额外 expert supervision、on-policy likelihood estimator 或 test-time verifier。

真正困难点在于 critic 和 policy 的接口错位。critic 评估的是可执行 clean action chunk Q(s, A)，而 flow policy 学的是从 noise 到 action 的连续 velocity field v(x_t,t,s)。如果直接把 Q(s, A_final) 作为目标反传到整个 denoising process，梯度路径长且数值不稳；如果只在 test time 用 Q 选样本，policy 本身没有变；如果把 Q-improved action 当 label 蒸馏，本质上退化成 clean action cloning，不能告诉 flow 在中间 noisy state 应该如何改变速度。

所以这篇的关键矛盾是：RL policy improvement 需要利用 ∇A Q 的一阶局部信息，但 flow policy 的可训练结构要求 supervision 出现在 denoising-time velocity 上。论文的贡献正是把 action-space value gradient 重新组织成 velocity-field residual target。

Motivation

已有路线不够的原因很明确。policy-gradient 路线需要 action likelihood，而标准 deterministic / iterative flow-matching VLA 并不自然暴露 tractable likelihood；强行引入 stochastic-flow 或 surrogate objective 会改变建模假设，也通常牺牲简单性。Diffusion-QL 式 direct Q-maximization 虽然理论上直接，但在大模型、多步 denoising、chunk action 下会把 critic 噪声通过长链放大。test-time Q selection / guidance 避免训练不稳，但只是增加 inference compute，没有把 critic 的偏好 amortize 回 policy。

作者的核心观察是：如果从 KL-regularized control / VGG-Flow 的视角看，reward 或 value 对 flow model 的影响不必表现为终点 action label，而可以表现为对 base dynamics 的 residual velocity correction。也就是说，缺的不是一个更强的 critic use trick，而是一个把 clean-endpoint Q-gradient 转换成 denoising-time velocity supervision 的接口。

Core Idea

核心思想可以概括为：不要通过 denoising chain 反传 Q，也不要只优化 clean action；而是在每个 denoising state 上估计“如果按 base flow 走，会落到哪个 clean action”，然后用 critic 在 clean action manifold 附近做局部 Q-gradient improvement，再把 improved clean action 与 base clean action 的差异解释成当前 velocity 应该加入的 residual。

这改变了建模方式：policy improvement 从一个 end-to-end scalar objective 变成一个 local field matching problem。它引入的 inductive bias 是强 trust-region 的、base-policy anchored 的局部改良：所有改动都围绕 frozen base flow 的 clean-action estimate 展开，而不是让 policy 自由追逐 critic 高值区域。这也解释了为什么它比 direct Q-backprop 更 scalable：训练梯度只穿过当前一步 velocity prediction，critic、denoising state、base estimate、Q-improved target 都 stop-gradient；长链优化被替换成 supervised residual matching。

和 prior 的本质区别在于，Q-VGM 不是“用 Q 找一个更好的 action 再蒸馏”，而是“用 Q 生成一个速度场修正目标”。这点如果成立，就保留了 flow policy 的生成结构，而不是把 flow expert 当普通 regression head 使用。

Method

方法里真正关键的机制不是 Cal-QL 或 RLT 本身，而是 Q-gradient 如何被安全地变成 velocity target。

第一，look-forward clean-action estimate 解决 critic-policy domain mismatch。每个 noisy state x_t 不能直接喂给 action critic，所以论文用 frozen base velocity 做 A_base = x_t - t v_base(x_t,t,s) 的一阶 clean projection。用 frozen base 而不是 current policy 是必要的：它把 target 锚定在 behavior policy 支持附近，降低 critic extrapolation。

第二，iterative Q-gradient ascent 解决“如何从 value gradient 得到改良动作”。在 clean action 空间局部上升 Q，并配合 clipping / projection / keep-best。这不是全局 action optimization，而是受限局部搜索；keep-best 的实质是一个保守 line search，允许在 critic 指示不可靠时回退到 base action。

第三，velocity correction h_eff = (A_base - A_improved) / t 解决“动作差异如何映射回 flow dynamics”。它把终点改变量摊回当前 denoising step 的速度修正。符号和尺度依赖论文的 t=1 noise, t=0 clean 约定；直觉上是在让当前 velocity 指向 critic-improved endpoint。

第四，residual velocity matching 解决训练稳定性。训练目标只让 v_theta - v_base 匹配 h_eff，而不是让 v_theta 自己重新学习整个流。这个 residual formulation 降低了 destructive forgetting，并把 RL fine-tuning 限制成对 pretrained action expert 的局部偏移。

第五，time gate 解决远离 clean endpoint 时 projection 不可信的问题。越靠近 clean action，critic gradient 的语义越可靠；全程等权 alignment 在 ablation 中明显变差，说明这不是装饰项。

Key Insight / Why It Works

最可能真正有效的部分是“base-anchored residual velocity matching”，而不是单纯用了 Q-gradient。它把一个高方差、易外推的 critic optimization 问题，压缩成在 base policy manifold 附近的局部 field correction。对于 few-shot SFT 已经有 70% 左右成功率的 setting，这种局部修正非常合适：policy 已经大体会做任务，Q-gradient 只需要把动作 chunk 往更高成功概率的邻域推。

第二个关键是信息流方向被重新设计了。Diffusion-QL 让 critic gradient 穿过生成过程；Q-VGM 让 critic 只生成 target，policy 通过 supervised learning 去匹配 target。这本质上是把 RL optimization 变成 dataset-conditioned self-improvement distillation，但 distill 的对象从 terminal action 变成 velocity residual。因此它享受 supervised fine-tuning 的稳定性，同时保留一点 value-improvement 的方向性。

第三，critic architecture 的 action sensitivity 不是小细节。VLA state feature 很强时，critic 很容易变成 state-value 近似器，∇A Q 几乎无意义。per-layer action injection 的 ablation 下降说明，论文的很多收益依赖于拿到“可微且局部有用”的 action critic，而不是 Cal-QL 名义本身。

但也要直接说：这篇的增益很可能相当程度来自“高质量 base policy + self-rollout 覆盖 + conservative local improvement”的组合，而不是解决了通用 offline RL。它不是在稀疏覆盖下发明新行为，也不是做长期 planning。所谓 learn-from-experience 更准确地说是从 base policy 自己产生的近邻行为中做 value-shaped local repair。对于 LIBERO/RoboTwin 这类动作 chunk 可局部优化的 manipulation benchmark，这个 inductive bias 正好匹配。

哪些可能只是 engineering / scaling：RLT compression、ensemble Cal-QL、action injection、keep-best、time gate 都有工程成分，但其中 keep-best 和 frozen-base anchor 已经接近方法成立的安全阀，不应视为普通 trick。真正常识可迁移的 insight 是：对于大生成式 policy，RL signal 最好不要直接变成端到端 scalar objective，而应转成生成过程内部结构匹配的局部 target。

Relation To Prior Work

这篇最接近三条线：Diffusion-QL / Q-score matching，test-time value guidance，和 VGG-Flow / adjoint matching。

相对 Diffusion-QL，差异不是“也用了 Q”，而是完全避免通过 denoising trajectory 反传 Q。Diffusion-QL 把 flow/diffusion policy 当可微 action generator；Q-VGM 把它当 velocity field，并对 residual field 做监督。这是稳定性上的本质差异。

相对 test-time Q selection/guidance，Q-VGM 把 critic compute amortize 到 policy 参数中，部署时不需要 verifier/search。它牺牲了 test-time 可自适应性，换来单次执行效率和 policy 内化。

相对 Q-guided action distillation，Q-VGM 的新增信息是 intermediate velocity supervision。action distillation 只告诉模型“终点应该是什么”，Q-VGM 试图告诉模型“从当前 noisy state 开始速度应该怎么偏”。这在 flow policy 中是实质区别。

相对 VGG-Flow / adjoint matching，这篇更像是把已有 optimal-control/value-gradient alignment 思想落到 VLA offline RL 上，并加入了 clean-action critic、base projection、keep-best 等实用化机制。理论框架不是全新；实质创新在于构造了一个可训练、稳定、和 action chunk critic 兼容的 surrogate velocity target。

Dataset / Evaluation

评估覆盖了 LIBERO 多任务 tabletop、RoboTwin 2.0 双臂 14-DoF manipulation，以及两个小规模真机任务。就验证“同 backbone、同 critic、同 rollout buffer 下，velocity-level value-gradient matching 优于其他 Q 使用方式”而言，实验设计是相对有说服力的，因为主要 baselines 共享 critic 和数据，差异集中在 Q 信号接入方式。

但这些实验没有充分验证更强的 claim，例如跨场景泛化、open-world instruction following 或长期 planning。rollout buffer 来自 SFT policy，本质是 behavior-near offline improvement；如果 benchmark 中成功/失败轨迹的局部差别能被 action chunk critic 捕捉，Q-VGM 就会很有效。真实世界部分有价值但规模小，只有两个任务和几十次 trial，更多是 sanity check，而不是系统性 deployment 证明。

另外，论文没有展示在更低质量 initialization、更稀疏 reward、更强 OOD initial states 下的表现。当前结果更支持“强 base policy 的离线局部修正”而非“从少量经验中学到全新策略”。

Limitation

核心前提一：critic gradient 必须局部可信。Q-VGM 的所有更新都建立在 ∇A Q 指向更好 action 的假设上；Cal-QL、ensemble、keep-best 只能缓解，不能从根本上保证 gradient 正确。尤其在 high-dimensional chunk action 中，Q 值排序可能可用，但 gradient 方向未必可用。

核心前提二：base policy manifold 必须覆盖可改良区域。方法依赖 frozen-base projection 和 self-rollout buffer；如果 base policy 经常到不了成功附近，Q-VGM 很难凭空产生新技能。它更像 offline local policy improvement，不是 exploration 或 skill acquisition。

核心前提三：action chunk critic 能承载长期任务信息。chunk-level Bellman backup 用 dataset next action，降低了 off-policy 难度，但也可能限制 policy improvement 的分布外能力。长 horizon、多阶段任务中，critic scaling 仍是瓶颈；论文实际上把 flow policy optimization 的难点转移到了 critic 学习和 gradient calibration。

泛化方面要谨慎。LIBERO/RoboTwin 上的提升可能受 benchmark task structure、SFT policy prior 和 rollout coverage 共同驱动。文中未充分说明不同任务之间是否存在数据/语义 overlap，真机任务数量也不足以排除 task-specific tuning。所谓 VLA reasoning 能力不是本文验证对象；这里的改进更像动作层面的 value-guided refinement。

Takeaway

• 1. 对生成式机器人 policy 做 RL fine-tuning 时，关键不是把 reward/Q 直接塞进 loss，而是把 value signal 转换成符合生成模型内部参数化的监督对象。
• 对 flow policy 来说，这个对象就是 velocity residual。
• 2. 在大 VLA 上，稳定性优先级高于理论端到端性。
• stop-gradient target construction + supervised residual matching 可能比 direct policy gradient / Q backprop 更实用。

一句话总结

Q-VGM 是把 VGG-Flow 式 value-gradient alignment 实用化到 flow-matching VLA offline RL 的方法，其真正贡献是将 clean-action Q-gradient 转换为 base-anchored residual velocity supervision，从而在不做 likelihood 估计和长链 Q 反传的情况下实现稳定的局部 policy improvement。