精读笔记

Problem Setting

论文标题：Flow-based Policy Adaptation without Policy Updates（arXiv preprint / 2026）。

这篇论文实际解决的是黑盒或不宜更新的 agent 的执行时 action adaptation：agent 可以是 human、IL/RL policy、finetuned VLA，它已经能提出有意图的 action chunk，但动作可能 noisy、laggy、biased、slow 或 domain-shifted。目标不是替代 agent 学一个完整 autonomous policy，而是在 action chunk 层面做 selective correction。

真正困难点是 intent preservation 和 expert conformity 的冲突。agent action 里既有有用的 mode / goal 信息，也有导致失败的局部错误；如果完全用 expert generative policy 替换，会丢掉 intent；如果只信 agent，又无法修复系统性错误。以前 diffusion shared-control 的做法通常用 partial noising / denoising 控制折中，但 inversion depth 是任务相关且难调的隐式 autonomy knob。本文试图把这个 knob 换成 flow geometry + OOD gate。

Motivation

已有路线缺的是一个轻量、黑盒友好、可选择性介入的 action-level adapter。Finetuning VLA 或 base policy 成本高、需要参数访问和大量数据；residual/RL correction 需要 reward 或交互；shared autonomy 的 generative editor 往往默认每次都改，或者依赖单独 uncertainty / intervention model。

作者的核心观察有两个：第一，action chunk 本身是 intent signal，尤其在多模态任务中 observation 不足以唯一决定行为模式；第二，flow model 的反向映射天然给出一个“这个 action 是否像 expert action”的 score。因此，可以用同一个 expert flow 同时承担两件事：判断是否需要 assist，以及在需要时把 proposed action 推向 expert distribution。这个方向的吸引力在于把 policy adaptation 从 model update 转成 test-time distribution transport。

Core Idea

GLOVES 的核心思想是：学习 image-conditioned expert action flow，把 expert demonstration 形成的局部 action manifold 当作可微 prior；执行时把 agent action chunk 当作带 intent 的 source sample，而不是当作噪声或需要丢弃的错误输入。修正不是重新生成动作，而是将 source chunk 沿 expert prior 的几何结构搬运到更 plausible 的区域。

这和 prior 的本质区别在于，它不是 observation-conditioned policy synthesis，也不是 diffusion editing 的“加噪再去噪”。它引入的 inductive bias 是：错误通常是 expert manifold 附近的局部偏移，agent 提供 mode，expert demos 提供 skill prior。这个 bias 在 robotics action chunk 上很合理，因为很多部署失败确实是 calibration、latency、jitter、under-actuation、small pose error，而不是完全错误的 task intent。

更 scalable 的地方不在模型规模，而在接口：它只要求 proposed action 和 observation，不要求改 base policy，也不要求知道 reward / dynamics。对 black-box VLA、人类 teleop、已有 IL policy 都是同一层 post-hoc adapter。

Method

方法层面最重要的是三件事。

第一，expert flow。用少量 expert demos 训练条件 rectified flow，将 Gaussian latent transport 到 expert action chunk。它解决的是“什么动作在当前视觉上下文下像 expert”。这里 expert flow 不是单纯 generator，而是后续 gate 和 editor 的几何基础。

第二，reverse-flow OOD gate。把 agent chunk 近似反向映射到 Gaussian prior，用 latent norm 做 nonconformity score，并用 conformal calibration 设阈值。它解决的是“何时不该改”。这一步很关键，因为 shared control 中过度介入本身就是 failure mode；如果 agent chunk 已经 in-distribution，adapter 应该 pass-through。

第三，flow-based correction。FPAS 把 OOD score 当作 local objective，在 agent action 附近搜索更 in-distribution 的 chunk；FEEG 沿 expert flow 生成但用 energy guidance 保持靠近 source action；IFAE 在额外学习 agent flow 时，用 agent-flow 与 expert-flow 的速度差做 inversion-free source-to-expert editing。三者对应不同假设：FPAS 最保守但可能低效，FEEG 主要依赖 expert prior，IFAE 则依赖 source distribution 可建模。

机制上，本文真正需要的是 gate + expert-flow correction；三个具体 editor 更像在同一几何假设下的不同工程化实例。

Key Insight / Why It Works

最可能有效的核心不是 flow matching 本身，而是“action chunk = intent carrier + expert flow = local feasibility prior”的组合。对于多模态机器人任务，observation-only expert policy 容易不知道用户/agent 选的是哪个模式；agent action chunk 则泄露了目标模式和局部方向。只要 agent 的 intent 大体正确，adapter 只需修局部动态错误，而不需要解决完整 planning。

OOD gate 是最实质的贡献之一。很多 generative shared-control 方法的问题是默认 correction 总是有益，但实际中 valid action 被编辑会破坏闭环稳定性。用 expert flow 的 reverse score 做 gate，相当于把 generative model 变成一个 implicit accept/reject prior。即使 score 的密度解释不严谨，它作为 learned manifold distance 可能已经足够。

IFAE 的 insight 更接近 FlowAlign：如果 source distribution 也能建模，就不要走 partial inversion，而是直接做 source-to-target transport。这避免了 denoising depth 的超参，但代价是多了一个强前提：agent action distribution 必须足够稳定、可学习。对于 stochastic-wrapper IL 这成立；对于真实 human 或 VLA 的长尾错误，文中证据还不够。

增益来源需要谨慎归因。相当一部分提升可能来自：test-time compute、expert action prior、action smoothing / projection、以及 wrapper 错误与 expert demos 分布之间的近邻结构。它不证明模型学会了新的 long-horizon reasoning；更像是把错误动作投影回 demo-supported local skill manifold。对于 charger / contact-rich task 的提升，也可能主要来自 expert prior 覆盖了关键插入动作，而不是 adapter 具备真正 contact reasoning。

我会把这篇的核心贡献判断为 better inductive bias + selective test-time correction，而不是 scaling、不是 foundation model adaptation 的根本突破。

Relation To Prior Work

最接近的谱系有三条：diffusion / consistency shared autonomy、policy decorator / residual correction、flow-based generative policy / FlowAlign editing。

相对 To the Noise and Back、FlashBack CSA，本文的关键差异是把 partial noising depth 的 fidelity–conformity knob 弱化，改用 flow transport 和 OOD gate。FEEG 仍然保留了类似 partial editing 的 autonomy parameter，因此并没有完全摆脱这类 tradeoff；IFAE 才更接近真正的 inversion-free editing。

相对 residual policy learning，GLOVES 不学一个 dynamics-aware residual，也不要求 reward 或 rollouts，而是学 expert action distribution prior。优点是轻量和 black-box；缺点是 correction 缺少 dynamics / value grounding，容易局限在局部动作 plausibility。

相对 flow policy work，本文不是把 flow 用作 policy sampler，而是把 flow 当作 action adapter 和 OOD scorer。这是比较实质的重组：同一个 generative prior 同时用于 density-like scoring、selective intervention、action editing。

看似新的部分中，energy guidance、CFG、FlowAlign-style velocity difference 都是已有 generative editing 思想迁移到 action chunk；真正新增的信息是将这些机制组织成一个 robot shared-control / policy-adaptation layer，并强调不更新 base agent。

Dataset / Evaluation

实验任务覆盖面还可以：有低维导航、桌面 manipulation、长程按键序列、contact-rich insertion，以及两个 UR5 真机任务。相比只在仿真 shared autonomy 上验证，真机结果增强了实用性 claim。

但 evaluation 更强地验证的是“对局部 action corruption 的修复”，而不是广义 policy adaptation。stochastic-wrapper agents 的错误类型是人为设计的：noise、lag、slow、shift，这些正好符合 action-space correction 的优势假设。它们是有用 stress test，但也可能高估 adapter 对真实 semantic / planning failure 的帮助。

VLA 实验更接近实际应用，但 base VLA 是 task-specific finetuned FLOWER，且 adapter 使用同任务 expert demos。这里的提升说明 post-hoc correction 有价值，但不能证明对 open-world VLA 或未覆盖任务有强泛化。真实世界任务数量较少，且目标集合有限，仍可能存在 demo manifold overlap。

总体上，实验支持“少量 expert demos + proposed action 可提升部署成功率”这个 claim；不充分支持“robust adaptation across arbitrary tasks / agents”。

Limitation

最大隐含前提是 agent 的 intent 基本正确。若 VLA 选错目标、语言理解错、需要重新规划绕障、或出现未见状态，action-level projection 不能从根上修复，甚至可能把错误 intent 执行得更 expert-like。

第二个前提是 expert demos 覆盖局部 skill manifold。GLOVES 的泛化更像 local stitching / manifold projection，不是 learned task reasoning。所谓 reusable successful skill segments 只有在任务可由局部片段拼接且 observation 足以定位当前阶段时才成立。

第三，OOD score 的理论基础偏弱。文中忽略 Jacobian term，并用 one-step backward Euler 近似 inverse；这在高维 action chunk 上不能严格解释为 likelihood。它更像 heuristic nonconformity score。conformal calibration 能给有限样本下的 rank-based threshold，但无法解决 distribution shift 下 score miscalibration。

第四，IFAE 的优势依赖 agent flow。真实 deployment 中 agent distribution 可能随语言、用户、API版本、闭环历史变化，训练一个稳定 source flow 未必现实。FEEG/FPAS 更稳但仍需要 editing strength、threshold、sampling budget 等工程选择。

第五，增益归因不清。FPAS、FEEG、IFAE 的差异与任务属性之间没有系统理论；文中也承认何时选 variant 未解决。部分 gains 可能只是来自更强 architecture、更多 test-time compute、或 baselines 超参不完全公平。DDPM baseline 在一些 contact task 上崩掉，可能反映实现/调参不适配 action chunk，而不一定说明 flow correction 本质优越。

Takeaway

• 1. 对机器人部署，一个强实用方向是把 foundation / IL / human agent 保持不动，在 action chunk 后面接一个 learned expert-prior adapter；这比继续追求全量 finetune 更适合黑盒和低数据场景。
• 2. Action chunk 不应只被看作 control output，它也是 intent representation。
• 未来 shared autonomy / VLA adaptation 很可能更多利用 proposed action 作为 latent goal / mode clue，而不是只依赖 observation 和 language。
• 3. Generative model 的价值不只是 sampling；reverse-flow / score-like geometry 可用于 selective intervention。

一句话总结

GLOVES 是一类把 flow-based generative prior 从“生成 policy”转成“选择性 action-space adapter”的方法，真正贡献在于用 proposed action 保留 intent、用 expert flow 做 OOD gate 和局部 transport，而不是更新或替代底层 agent。