精读笔记

Problem Setting

论文标题：Real-Time Execution with Autoregressive Policies（arXiv preprint / 2026）。

这篇论文处理的是 VLA deployment 中一个被 diffusion/flow 路线部分掩盖的问题：自回归 action-token policy 在 synchronous inference 下会因为 sequential decoding latency 产生明显 robot idle time，导致 rollout 慢、反应迟钝、接触前无法细调。问题不是“能不能生成动作”，而是“当生成动作本身比控制周期慢时，如何让机器人持续收到非 no-op 动作，同时还能足够频繁地利用新 observation 修正未来动作”。

真正难点在于自回归策略的 latency 是 token-length dependent 的，而 FAST 这类 action tokenizer 又产生 variable-length token sequence。对 diffusion/flow policy 来说，inference latency 更像一个可测的固定函数；对 autoregressive policy 来说，最坏情况 token 数如果不受控，action queue 就可能 underflow。以前方法卡在两个地方：一是 real-time chunking 的讨论默认 parallel decoder；二是自回归 VLA 虽然 instruction-following/generalization 更自然，但在部署协议上没有严格 latency guarantee。

关键矛盾是：更强的 VLM-style autoregressive modeling 带来更好的语言条件化和收敛，但它天然牺牲 decoding frequency；而 real-time execution 又要求 action stream 稳定、轨迹连续、反应不过度陈旧。本文的切入点是把这个矛盾从“模型速度”问题改写成“queue 稳定性 + bounded decoding”问题。

Motivation

已有 real-time VLA 工作主要围绕 diffusion / flow-matching action chunking，例如 RTC、correction heads、training-time action conditioning。它们默认的技术背景是连续动作块可以并行生成，因此核心问题是如何在异步替换动作时保持 smoothness 和 reactivity。但这条路线没有回答：如果 policy 本身是 autoregressive，并且动作通过离散 token 序列生成，是否只能放弃实时执行？

作者的核心观察是，real-time execution 的必要条件其实比通常想象得弱：不是每 Δt 都要完成一次 inference，而是 controller 在任意时刻都能从 action queue 取到动作。只要生成延迟 d_m 不超过 queue 中不可修改前缀 m，就不会发生 pausing。由此，自回归 policy 的问题变成：能否选择一个合适 tokenization horizon，使平均 latency 足够小；能否强制最坏 latency 不超过 deadline；能否让新生成 chunk 与 queue prefix 连续。

关键缺口是针对 variable-length action-token policy 的实时约束机制。没有 constrained decoding，自回归模型可能生成过长 token 序列，或者生成无法 detokenize 的 token sequence，部署时只能 fallback 到 no-op / dataset-statistics action，这正好破坏实时执行的定义。本文就是补这个缺口。

Core Idea

论文真正的核心不是提出一个新 VLA 架构，而是重写 autoregressive action policy 的执行语义：原本模型在 observation 下生成完整 action chunk；现在模型在 observation 和“机器人即将执行的 queue prefix”条件下，只生成 queue 后半段的 future action patch。这样 action generation 从一次性 open-loop chunk 变成一种异步滚动补队列的过程。

理论直觉很清楚：如果 action queue 前 m 步在推理期间不会被修改，那么模型必须知道这 m 步，否则生成的后续动作可能和 endpoint robot 的真实未来轨迹断裂。把 A_Q[0:m] 作为 token prefix，相当于把系统的执行延迟显式暴露给 policy。再通过 constrained decoding 把 token 序列长度上界和 detokenization validity 写进 decoding support，就能把自回归生成的不确定延迟压缩成可部署的硬约束。

和 prior 的本质区别在于，diffusion RTC 是在连续 action chunk 上做 real-time inpainting / replacement；本文是在离散 token 序列上做 bounded valid generation。它没有改变自回归 policy 的大模型建模优势，而是改变了 action tokenizer horizon、conditioning interface 和 decoding support，使 autoregressive VLA 可以被实时系统消费。

Method

第一，选择较短的 tokenization horizon m，并令完整 horizon H=2m。这个设计解决的是完整 H chunk tokenization 会让 latency 由过长 token sequence 支配的问题。H=2m 的意义不是数学上必须，而是让前半段作为不可修改 prefix、后半段作为需要补全的 future chunk，deployment 语义最简单。

第二，把 tokenization 从 T_H(A_t) 改成对两个 m-length chunk 分别 tokenization：T_m(A_t[0:m]) 和 T_m(A_t[m:2m])。这一步的必要性在于，若 tokenizer 只能对完整 H horizon 工作，则即使只需要后半段动作，也必须生成完整 chunk；同时也无法自然把 queue prefix 作为条件。分段 tokenization 让“已承诺动作”和“待生成动作”在 token space 中解耦。

第三，prefix conditioning：部署时不重新生成 A_Q[0:m]，而是把它作为 prompt/prefix，只解码 A_t[m:2m]。它解决的是 action chunk boundary discontinuity。机制上，这相当于让 policy 学习一个 conditional continuation model，而不是独立 action chunk model。

第四，constrained decoding：定义 token v 对 detokenization capacity 的贡献 C_v，要求最终 token 序列总 capacity 等于 C=m×d，且长度不超过 B。DP 表预计算哪些剩余 capacity 能在剩余 token budget 内完成，解码时 mask 掉不可能合法结束的 token。这一步是实时保证的核心；没有它，B 只是软限制，detokenization failure 仍会破坏 queue。

第五，multi-trajectory decoding：在共享 prefix KV cache 的前提下采样多个合法轨迹，用 constrained likelihood 选 best-of-N。它解决的是 deadline 内存在 idle compute 的利用问题。它不是必要条件，但可以把同步等待时间转化为 test-time compute。

Key Insight / Why It Works

这篇论文最重要的 insight 是把 real-time execution 从“低 latency model design”重新定义为“action stream producer-consumer stability”。只要 queue 不空，endpoint robot 就不感知 inference latency；latency 只需要落在 queue safety margin 内，而不是小于控制周期。这直接打开了自回归 policy 的空间，因为 sequential decoding 不再必须达到 controller frequency。

真正有效的部分我认为是 constrained decoding + prefix-conditioned continuation。前者提供硬实时边界，后者处理异步系统中最容易被忽略的状态错位：模型看到的 observation 对应当前时刻，但机器人接下来会先执行 queue 里的旧动作。如果 policy 不条件化这些旧动作，它实际上是在给一个错误的未来状态生成动作。这个错位在静态 benchmark 上可能不明显，但在真实接触任务中会导致 overshoot 和 collision。

multi-trajectory decoding 的增益更像 test-time compute，不是核心建模贡献。它利用自回归模型的 likelihood 可计算性和 KV cache 共享，在 deadline bucket 不变时做 best-of-N。这个机制可能有效，但也可能偏向高概率的 dataset-mode action；文中没有充分说明 likelihood 最大的 action 是否稳定对应任务最优动作，特别是在多模态可行动作都合法时。

这不是 scaling paper，也不是新 representation learning paper。它主要是 deployment-aware decoding 和 action-token protocol design。能力来源很可能仍然主要来自 π0-FAST 的预训练、DROID/LIBERO 数据覆盖和 FAST tokenizer 已经压缩了动作时序冗余。本文贡献在于把这些已有能力放进一个不会被 latency 拖垮的实时执行框架，而不是让模型获得新的 long-horizon reasoning 能力。

一个值得注意的判断是：论文结果暗示“更低 latency 不必然更好”。π0+RTC latency 更低，但在一些 real-time setting 下不如 REALFAST；作者进一步观察 non-modifiable horizon m 的影响小于 inference delay d_m，且过于频繁修改 near-future action 可能反而伤害鲁棒性。这点很有价值：实时 VLA 不是单纯追求 fast update，而是在 latency、policy robustness、commitment horizon 之间找平衡。

Relation To Prior Work

最接近的是 RTC 及后续 real-time chunking / action conditioning 工作。它们共同处理 action chunk policy 的异步执行、queue replacement、trajectory continuity。但本文的本质差异是 decoder 类型和约束位置不同：RTC 在 continuous flow/diffusion action space 做 chunk inpainting；REALFAST 在 autoregressive token space 做 bounded valid decoding。

和 FAST 的关系更直接：本文不是替代 FAST，而是把 FAST 的 DCT/BPE action tokenization 改造成可实时部署的形式。FAST 证明 action tokenization 可以让 VLA 以 next-token prediction 学动作，并带来收敛和 instruction-following 优势；本文证明只要 horizon 和 decoding support 设计正确，这类 policy 不必因为 sequential decoding 被排除在 real-time execution 外。

看似新的部分中，action queue、asynchronous inference、prefix conditioning 都不是全新思想；这些是从 RTC/ACT/异步控制谱系迁移过来的。实质创新在于：针对 variable-length action token sequence 给出可 detokenize 且 bounded-latency 的 constrained decoding formulation，并把它和 action queue safety condition d_m≤m 直接绑定。这是 autoregressive VLA 部署层面的新增信息。

它属于“deployment-aware decoding for embodied foundation models”这条谱系，而不是单纯 robotics control 或 model architecture。更像 NLP constrained decoding、KV-cache test-time sampling、robot action chunking 三者的交叉重组。

Dataset / Evaluation

评估覆盖了 simulated LIBERO 和 real-world DROID tabletop manipulation，包含多任务、语言条件和真机 zero-shot 部署；这比只在离线 benchmark 上看 success rate 更能支撑 deployment claim。LIBERO 被人为加入 action queue 和 latency restriction，用来分析 real-time protocol 下的 success degradation；DROID 真机则验证 synchronous π0-FAST 的 pausing / open-loop overshoot 确实会影响操作，REALFAST 的异步修正能改善速度和部分成功率。

不过 evaluation 仍然主要是相对静态的单臂桌面场景。它验证了“当前规模 autoregressive VLA 可以在这种控制频率和任务复杂度下实时执行”，但没有验证更强 claim：自回归实时执行在动态环境、高频接触、双臂协调或长时序任务中仍然成立。

对核心 claim 的支持是够的：REALFAST 相比 π0-FAST synchronous 有明显部署收益，并且可与 π0+RTC 比较。但对“autoregressive 优于 equivalent flow-matching counterpart”的解释要谨慎。π0、π0-FAST、π0.5 在架构、tokenizer、训练数据、pretraining recipe 和 adaptation 方式上并非完全单变量对照；部分优势可能来自 base model / tokenizer / data，而不完全来自本文实时机制。

Limitation

最关键限制是 latency bound 依赖 token 长度分布。作者用 B 覆盖 99% token length，但这意味着系统设计默认动作分布不会频繁落到长尾复杂轨迹。一旦任务需要更高频、更复杂、更非平滑的动作，token 数可能上升，B 要么变大导致 d_m 超界，要么 constrained decoding 会排除高质量轨迹。

第二，方法依赖外部 latency ε_t 有可预测上界。真实机器人系统中的视觉 pipeline、网络、控制栈 jitter 不一定稳定；如果 sup ε_t 估计过乐观，queue underflow 仍会发生；如果估计过保守，则 m 需要变大，反应性下降。

第三，prefix conditioning 并不等于真正的 closed-loop control。模型仍然是在 chunk-level 预测未来动作，只是更频繁地补队列。对于快速变化环境，它可能仍然执行若干 stale actions。论文没有证明模型形成了长期状态建模或在线 planning；所谓实时修正更像短 horizon trajectory continuation。

第四，泛化能力的归因不清。π0-FAST/REALFAST 的 instruction-following 优势可能主要来自 autoregressive VLM-compatible pretraining 和数据覆盖，而不是实时机制。DROID zero-shot 任务数量有限，且 tabletop object manipulation 与训练分布可能存在 overlap；不能排除 implicit memorization / retrieval-style behavior。

第五，best-of-N 的有效性没有被充分理论化。按 constrained likelihood 选轨迹在 imitation setting 下通常会偏向数据高概率动作，但任务成功未必等价于最大似然，尤其是 recovery、avoidance、contact-rich manipulation 中。增益来源不清，可能只是 test-time sampling + mode selection。

Takeaway

• 1. 自回归 VLA 不应因为 sequential decoding 被默认排除在 real-time deployment 之外；只要把实时性定义为 queue stability，并提供 bounded decoding，它是可部署的。
• 2. 对 action-token policy 来说，tokenizer horizon 和 decoding constraint 是 deployment-critical design，而不是 tokenizer 的附属细节。
• 未来 action tokenizer 应该原生暴露 latency / capacity / detokenizability 约束。
• 3. 实时 VLA 的优化目标不是 latency 越低越好，而是 latency、commitment horizon、policy robustness、trajectory continuity 的折中。

一句话总结

这篇论文把自回归 VLA 的实时执行从模型加速问题重构为 bounded action-token decoding + queue-conditioned continuation 问题，证明 autoregressive policy 通过部署协议和约束解码改造后可以重新进入 real-time VLA 技术谱系。