精读笔记

Problem Setting

这篇论文处理的是 frozen VLA 的 deployment-time execution control，而不是 VLA pretraining、policy fine-tuning 或单纯采样加速。给定一个已经能生成 action chunk 的 flow/diffusion VLA，问题是每次 query 时应该选择什么 latent、用多少 denoising steps、执行多长 chunk 后再重规划。

真正困难点在三者耦合：更大的 K 通常提高动作生成质量但增加延迟；更大的 C 摊薄每步 NFE 但降低反馈频率；latent steering 改变动作内容，也会改变 schedule 的最优选择。以前方法通常只优化其中一维：latent-space RL 管“生成什么”，采样加速管“算得多快”，action chunking 管“多久调用一次”。这些路线的共同问题是把 schedule 当成外部工程超参数，而不是策略的一部分。

关键矛盾是 manipulation 的难度是非均匀的：free-space approach 可以低计算、长 open-loop；contact、alignment、recovery 需要高计算、短 commitment。固定 K 和固定 C 在这种时间结构下天然次优。

Motivation

已有 VLA post-training 的不足不在于没有 RL，而在于 RL 的 action space 仍然太窄。只在 latent/noise 上做 residual 或 steering，默认 inference budget 和 replanning cadence 固定，这相当于把 test-time compute 从学习问题中剥离出去。

作者的核心观察是：VLA query 本身是一种资源使用行为。一次 query 不只是输出动作，还隐含选择了计算预算、延迟、反馈频率和 open-loop 风险。现有路线缺的是一个能把这些执行层变量和任务 reward 放在同一优化目标下的抽象。

因此论文的出发点不是“更快采样”这么简单，而是让模型知道什么时候值得慢、什么时候可以快；什么时候应该多看环境反馈、什么时候可以相信 chunk prior。

Core Idea

EQRL 的核心是把 frozen VLA 从一个固定接口的 policy 变成一个可弹性调用的 conditional computation module。每次 query 的 action 不再是低层机器人动作，而是 latent-schedule action：选择 latent steering w、denoising budget K、chunk length C。低层动作由 frozen VLA 生成，RL 只学习如何调用它。

这个建模改变了信息流：状态 observation 不仅决定动作内容，也决定推理计算和重规划频率。这样 test-time compute 成为 policy 的一部分，而不是部署时手调的常数。其 inductive bias 很明确：困难状态应获得更高 generation fidelity 和更短 temporal commitment；简单状态应牺牲一些 fidelity 换取 amortization。

和 prior 的本质差异在于，EQRL 不是单独做 diffusion acceleration，也不是单独做 latent policy improvement，而是把 generation quality 与 control feedback frequency 绑定成一个 joint scheduling problem。这一点比单纯降低 NFE 更有意义，因为在机器人任务中成本不是 K，而是 K/C 以及由 C 引入的闭环控制损失。

Method

方法中真正必要的机制只有几个。

第一，latent-schedule adaptor。它解决的问题是让 frozen VLA 可控而不改模型权重。选择 w 保留 latent-space RL 的行为适配能力；选择 K 和 C 则把执行 schedule 纳入策略。核心变化是 action space 从“生成动作”上移到“调用生成器”。

第二，critic-derived difficulty prior。schedule 的自由度很容易在 sparse reward 下学坏：要么 compute penalty 过早主导，导致总是低 K / 长 C；要么 value 噪声让 schedule 无规律。作者用 critic ensemble disagreement 在 base schedule 处估计状态难度，再将其映射为高 K/短 C 或低 K/长 C 的 prior。这个 prior 本质上是一个训练稳定器和结构先验，而不是一个被严格证明的难度度量。

第三，learned residual。纯 difficulty prior 太硬，可能把 uncertainty 与 task relevance 混淆；residual 给 actor 保留任务驱动修正空间。它的作用是避免 schedule 被 hand-designed heuristic 完全控制。

第四，query-level macro-action RL。variable chunk 改变决策时间尺度，所以 replay transition 必须以 query 为单位，并用 γ^L 做 backup。否则长 chunk 会在 value 估计中被错误比较。

第五，episode-level amortized NFE band。它把总计算预算作为轨迹级约束，而不是每个状态都惩罚 compute。这个设计很关键：局部上允许困难状态多花计算，全局上保证平均成本下降。

Key Insight / Why It Works

这篇最值得记住的 insight 是：VLA 的执行效率瓶颈不只是 sampler 太慢，而是 compute 被错误地均匀分配。机器人控制中的困难阶段是稀疏且局部的，如果能识别这些阶段，就可以在不显著牺牲成功率的情况下大幅降低平均 NFE。

真正可能有效的核心贡献是 K 和 C 的联合建模。只调 K 是 sampling efficiency；只调 C 是 replanning frequency；二者分开都不完整。高 K 配短 C 对应“精细、谨慎、闭环”；低 K 配长 C 对应“粗略、快速、开放环”。这实际上给 policy 提供了两种 execution mode，而不是连续调参而已。

critic disagreement 的作用更像 curriculum / inductive bias，而不是可靠 uncertainty oracle。它给 schedule 一个初始可用的排序：value 不确定处更保守，value 稳定处更激进。这个设计可能是训练稳定性的关键，因为 sparse success reward 很难直接教会模型在哪些状态应该花 compute。

哪些可能只是辅助？NFE band、rank normalization、residual gate、continuous schedule critic 等更多是让系统可训的工程组件。它们重要，但不构成概念上的主要增量。实验增益中有一部分很可能来自 carefully tuned schedule range 和 budget annealing；文中虽然有 ablation，但还不足以完全排除 engineering tuning 的贡献。

从技术谱系看，这不是 reasoning 或 planning 的突破，也不是 VLA 表征能力增强。它本质上是 test-time compute allocation + latent policy steering + semi-MDP RL 的组合。所谓 self-aware 更准确地说是 value-uncertainty-aware execution scheduling。

Relation To Prior Work

最接近的路线是 diffusion / flow policy 的 latent-space RL，例如 DSRL，以及 VLA RL post-training 方法。它们共同点是冻结或部分冻结生成模型，通过外部策略在 latent 上改善行为。EQRL 的新增信息是把 schedule 也放进 action，而不是只动 latent。

和 diffusion acceleration / consistency / solver reduction 相比，EQRL 不学习一个更快的 sampler，也不保证每次生成更便宜；它学习的是何时少采样、何时多采样。因此它与 sampler 加速是互补关系，不是替代关系。

和 action chunking / asynchronous inference 相比，EQRL 不把 chunk size 当固定系统参数，而是把 temporal commitment 变成状态相关决策。这里的实质创新是把 compute budget 与 feedback frequency 联合成一个 RL 变量。

看似新的部分里，critic ensemble disagreement 做 uncertainty、macro-action Bellman backup、SAC latent policy 都是已有思想重组。真正新增的是这些思想在 frozen VLA execution interface 上的组合方式：joint latent-schedule action + difficulty-aware compute allocation + amortized NFE objective。

Dataset / Evaluation

评估覆盖了模拟和真机，这对 claim 是必要的，因为 schedule 不只影响 NFE，也影响真实延迟和物理稳定性。LIBERO 和 ALOHA 能验证不同 manipulation setting 下 elastic querying 是否有效；真机 offline/online 则说明接口至少不是纯模拟 artifact。

实验基本支持核心 claim：在保持或略升成功率的同时降低 amortized NFE，并且 ablation 显示 joint scheduling 比单独调 K 或 C 更好。特别是 matched-NFE baseline 让“只是少算所以快”这个解释不够充分。

但 evaluation 没有充分证明泛化。真机是 per-task adaptation，任务数量有限，且 base π0 已经提供强 prior。结果更像证明“在已有行为覆盖下，EQRL 能更好调用 policy”，而不是证明它能跨任务学到通用 difficulty model。offline 结果尤其需要谨慎，因为不同 K/C 的反事实环境效果不能从固定 expert trajectory 中直接观察。

Limitation

最大的隐含前提是 base VLA 已经会做这个任务或接近会做。EQRL 只能在 latent 和 schedule 上重组已有能力；如果 frozen sampler 生成不了正确行为，增加 K 或缩短 C 也不会凭空产生新技能。

第二，difficulty signal 的语义并不干净。critic ensemble disagreement 可能反映状态困难，也可能反映数据稀疏、value extrapolation error、reward learning 噪声或 critic 未收敛。论文把它映射成“多计算、短 chunk”是合理 heuristic，但不是可靠 causal measure。

第三，schedule 的可迁移性存疑。不同任务的 K/C range、NFE band、difficulty scaling 在 appendix 中看起来需要任务级调参；这削弱了“self-aware execution”作为通用接口的说服力。

第四，offline adaptation 的 causal identification 不充分。expert 数据只包含固定执行轨迹，无法真实回答“如果当时用不同 K/C 会怎样”。文中也承认只能用 proxy，比在线 reward 弱很多。

第五，增益归因仍不完全清楚。ablation 支持 joint scheduling，但不能完全拆开 difficulty prior、budget tuning、residual authority、range selection、训练步数等 engineering choices 的贡献。部分收益可能主要来自更好的系统级 compute budget shaping，而不是 critic 真正学到了可泛化的状态难度。

Takeaway

• 1. VLA deployment 应该把 query schedule 视为 policy action 的一部分；固定 denoising steps 和固定 chunk 很可能会成为未来 VLA 控制系统中的低效默认设置。
• 2. 对生成式机器人策略而言，test-time compute allocation 与 closed-loop feedback frequency 必须联合优化。
• 只做 sampler acceleration 或只做 action chunking 都会漏掉关键 trade-off。
• 3. critic/uncertainty 信号可以作为 execution schedule 的结构先验，而不一定只用于 exploration。

一句话总结

EQRL 是一篇把 frozen VLA 的部署接口从固定调用推进到 state-dependent test-time compute / replanning allocation 的工作，实质贡献在于 joint latent-schedule RL，而不是提升 VLA 本体能力。