精读笔记
Problem Setting
APT: Action Expert Pretraining Improves Instruction Generalization of Vision-Language-Action Policies（arXiv preprint / 2026）。
这篇论文针对的是连续动作 VLA policy 的 OOD instruction generalization，而不是一般意义上的机器人控制精度。更具体地说，它关心的是：当一个 pretrained VLM 接上随机初始化的 continuous action expert 后，为什么模型在 seen tasks 上能动起来，但遇到 paraphrase、novel object reference、object substitution 或 chained instruction 时语言条件会失效。
真正困难点不在“如何把语言输入 policy”，而在训练数据和模型初始化共同制造的 shortcut。VLA 数据通常是一条轨迹对应一个 instruction，视觉-动作帧数量远多于语言变化；在这种结构下，action expert 从随机初始化开始训练时，最容易学到的是视觉状态到动作的映射，而不是语言对动作分布的调制。于是语言在训练目标中边际收益很小，policy 会把 instruction 当弱标签甚至忽略。
以前方法主要有两类卡点：离散 action-token VLA 可以依赖 VLM 的 VL co-training 维持语言能力，但连续控制质量和 dexterous manipulation 上有天然限制；连续 action expert 虽然动作质量更好，但 action expert 没有预训练来源，联合训练时梯度会污染 VLM。Knowledge Insulation / stop-gradient 能缓解 VLM 被破坏，但没有让 action expert 本身学会如何利用语言。关键矛盾是：想要连续控制，就要引入未预训练的 action expert；但这个 expert 正是破坏语言泛化的主要优化入口。
Motivation
作者的核心观察是：连续动作 VLA 的语言泛化失败，不能只归因于 VLM backbone 被 finetune 坏了；更本质的是 action expert 的初始化和训练路径不对。随机 action expert 在 imbalanced VLA 数据上训练时，会先收敛到 vision-only action predictor，这个 predictor 在训练 loss 上并不差，因为多数视觉帧几乎已经决定了 instruction。之后再要求它使用语言，已经处在不利 basin。
这也是为什么仅靠 KI 不够。KI 保护了 VLM，但没有给 action expert 一个“正确的先验”。语言信息即使还在 VLM 里，也未必能被 motor head 使用。相反，如果 action expert 先学到稳定的动作流形，语言 conditioning 的任务就从“同时学习控制和语言 grounding”降级为“在已有可执行动作分布上选择/偏置某个模式”。
关键缺口是 action expert pretraining。离散 VLA 有 action tokenization + VL corpora 的隐式保护，连续 VLA 没有。APT 的动机就是把现有 VLA 数据拆开用：完整 triplet 的语言分布是不平衡的，但 vision-action pair 本身是可用于训练控制 prior 的。这个方向本质上是在为 continuous action expert 找一个 analog of pretraining。
Core Idea
论文真正核心是把 VLA policy 的学习顺序重排：不要一开始就训练 π(a|v,l)，而是先训练 πp(a|v)，再训练语言如何调制这个 prior。作者用 Bayesian factorization 写成 π(a|v,l) ∝ πp(a|v) · L(l|v,a)。这个公式本身不是新数学，但它给了一个很明确的训练归因：vision-only policy 在标准 VLA 训练里是 shortcut，在 Stage 1 里却是目标 prior。差别不在函数形式，而在优化语义。
这个建模方式引入的 inductive bias 是：动作空间首先被组织成一个语言无关的 visuomotor manifold；语言不是从零参与动作生成，而是后验选择、重权重或局部变形这个 manifold。对于机器人数据，这比端到端联合学习更合理，因为低层控制和接触动力学确实大部分由视觉几何和状态决定，而语言主要指定目标、对象、顺序和约束。
和 prior 的本质区别在于，APT 不只是阻止 VLM 被 action loss 破坏，也不是简单增加 language loss 或 mutual information regularization；它改变了 action expert 的初始能力和训练路径。它把语言泛化问题从 representation preservation 转成 action expert initialization / prior learning 问题。这一点比单纯 KI 更可扩展，因为随着 VA 数据规模扩大，action prior 可以系统性变强，而不依赖额外 VL reasoning co-training。
Method
方法层面只需要抓住三个机制。
第一，VA prior pretraining。Stage 1 冻结 VLM，只用视觉 token 条件化 action expert，训练 πp(a|v)。它解决的是随机 action expert 没有动作先验的问题。为什么需要它：如果 action expert 一开始什么都不会，语言 token 在训练早期基本是噪声，模型会优先利用视觉捷径。核心变化是把 vision-only 映射从“联合训练中的坏 shortcut”变成“显式学习的动作先验”。
第二，受控语言注入。Stage 2 才让 language token 进入 action expert，并通过 gated fusion / inserted layers 之类机制把 VLM 表征注入到 action expert。它解决的是直接插入语言可能扰乱已学 VA prior 的问题。为什么需要它：如果语言 conditioning 改写整个 prior，Stage 1 的收益会被遗忘；如果语言太弱，又回到 vision-only。核心变化是让语言成为对动作分布的调制，而不是重新定义动作生成器。
第三，prior 稳定后再联合训练 VLM 与 action expert。论文一个重要结论是 stop-gradient 不是必要条件；当 action expert 已经预训练好，来自 action expert 的梯度不再是随机/shortcut 驱动的噪声，而可能反过来帮助 VLM 表征对机器人任务对齐。这一点把 KI 的“保护 VLM”推进到“条件允许时利用 VLM 可塑性”。
具体的 diffusion policy、FiLM timestep、PRoPE/mRoPE、层数和数据采样比例更多是实现层面的选择，不是论文机制的核心。真正必要的是两阶段优化路径和语言注入时对 prior 的保护。
Key Insight / Why It Works
最重要的 insight 是：语言泛化失败不只是缺语言监督，而是 action expert 的优化早期被错误目标吸走。因为在 imbalanced VLA 数据中 I(a;l|v) 很小，π(a|v) 与 π(a|v,l) 的训练 loss 差距很小；从随机初始化出发，模型自然选择更简单的 vision-only 解。这解释了为什么很多 VLA 在 seen tasks 上很好，但 counterfactual instruction 或 object substitution 直接崩。
APT 有效的主要原因是 better inductive bias + curriculum，而不是某个 gate 的魔法。Stage 1 先学习动作流形，等价于给 action expert 一个“会控制”的 basin；Stage 2 再学语言调制，优化任务更接近 representation alignment，而不是从零学 grounding + control。这个 curriculum 把难问题拆成两个更可辨识的子问题。
最可能的核心贡献是 action expert pretraining 这个 framing，而不是具体 gated fusion。gated fusion 的作用更像稳定机制：避免 Stage 2 破坏 VA prior，使语言注入可控。它确实有价值，但更偏工程上的 prior preservation。论文中 π-style、GR00T-style 都从 two-stage 得益，说明核心不是特定结构。
这里也有明显 scaling / data 成分。APT 使用了大规模异构预训练数据，且 action representation 做了 camera-frame 归一化以吸收跨 embodiment 差异。很多 OOD object / environment gain 很可能来自 VA prior 的数据覆盖，而不完全是 Bayesian factorization。文中有 w/o large-scale pretraining ablation，显示低数据下仍有收益，但 UO/UOUE 明显依赖大规模数据。因此最准确的归因应是：两阶段训练提供正确 inductive bias，大规模 VA 数据提供覆盖，两者缺一不可。
所谓 compositional generalization 需要谨慎解读。APT 在 chained prompt 上优于 π0.5，说明它更好保留了 VLM 对长 prompt 的解析能力，并让 action expert 能响应这类表示。但这不等于形成了显式 planning 或 long-horizon memory。论文自己也承认没有长期状态建模；失败案例集中在子任务终止和切换。这更像 language representation preservation + action prior robustness，而不是 emergent planner。
Relation To Prior Work
APT 最接近三条线：BayesVLA 的 Bayesian factorization、KI / π0.5 的 knowledge insulation、以及 continuous-action VLA 的 dual-system architecture。
和 BayesVLA 的关系最直接。BayesVLA 已经提出 VA prior + VLA likelihood 的视角，但其实现依赖更特定的 pre/post-contact 分解，扩展到大规模异构数据不自然。APT 的实质新增是把这个 Bayesian view 转成 action expert pretraining recipe：prior 不再是一个受限任务结构，而是可以在大规模 vision-action pairs 上训练的通用 action expert initialization。这是更 scalable 的部分。
和 KI / π0.5 的区别在于问题定位不同。KI 认为 action gradients 会破坏 VLM，所以隔离知识；APT 认为梯度有害是因为 action expert 从随机初始化学到了 shortcut。如果先预训练 action expert，joint finetuning 反而可以有益。因此 APT 不是 KI 的替代技巧，而是对 KI 成因的更深一层解释。
和 LangForce 这类 mutual information / language forcing 方法相比，APT 没有强行增加 action-language coupling，而是先保证视觉控制能力，再引入语言选择。这解释了论文中 LangForce 在某些 layout perturbation 上可能损伤 visual adaptability：过度强调语言会压制必要视觉条件。APT 的路线更像先建立 motor prior，再做 language-conditioned posterior inference。
看似新的部分中，Bayesian factorization、两阶段 curriculum、gated residual fusion 都不是完全新思想；真正组合后的新增信息是：continuous VLA 的 action expert 需要像 VLM 一样被预训练，而且最自然的预训练目标就是 VA prior。这是论文在技术谱系中的位置。
Dataset / Evaluation
评估覆盖较广：有 LIBERO 系列仿真、专门的 rigid object pick-place、真机 pick-place / clutter pick-place，以及简单 compositional chaining。整体上确实围绕核心 claim 设计：不是只看 seen task success，而是看 position swap、task object substitution、unseen object/container/environment、以及 chained language。
LIBERO-PRO 对 claim 比原始 LIBERO 更有价值，因为它显式破坏 dataset-level shortcut；OpenVLA/π0 在该设置下崩溃也符合论文诊断。Pick-place 的 SO/UO/UC/UOUE 切分也能验证语言 grounding 与视觉泛化的耦合。真机实验数量不大，但提供了有用信号，特别是 clutter 中 push-to-grasp transition 和 chained prompt failure mode。
不过 evaluation 仍有边界。第一，任务主要是 tabletop manipulation，动作语义和对象集合相对封闭；所谓 OOD 多是 object/container/background 或 instruction template 层面，不是开放世界任务组合。第二，compositional task 仍是两个已知任务拼接，不能证明一般 planning。第三，APT 与 π0.5 在 backbone、action representation、pretraining data、训练配方上并非完全隔离变量，增益归因不够干净。第四，大规模数据是否与 benchmark object/task 分布存在隐式 overlap，文中未充分说明。
Limitation
最核心限制是 APT 把问题从“语言泛化”部分转移到了“VA prior 覆盖”。如果 Stage 1 没见过足够相似的技能、接触模式、对象几何或场景分布，Stage 2 的语言 conditioning 没法凭空生成新行为。它提升的是在已有动作流形上的条件选择能力，而不是开放式技能创造。
第二，Bayesian factorization 的理论解释依赖一个强假设：大多数视觉帧几乎决定 instruction，即 H(l|v) 很小。这在许多机器人数据中成立，但不是普遍成立。如果数据刻意包含同一视觉状态下多个语言目标，例如多目标选择、ambiguous scene、counterfactual instruction，那么 vision-only prior 会是高度多模态的；此时如何保证 Stage 1 学到可被语言有效分解的 latent structure，文中未充分说明。
第三，长期任务仍未解决。APT 的 action chunk 和 self-attention 可以处理局部历史，但没有显式 belief state、task progress memory 或 termination model。论文中的失败也集中在子任务切换、完成检测、继续 push/skip close box。这说明它更像强 reactive policy，而不是有稳定 long-horizon state machine。
第四，增益来源不完全清晰。APT 同时引入 Qwen3-VL、camera-frame SE(3) action representation、大规模多源预训练、两阶段训练、gated fusion。虽然有部分 ablation，但不能完全排除主要收益来自 data scaling / representation engineering。特别是真机上 APT 与 π0.5 的 action space 和 pretraining setup 不完全一致，公平归因需要更严格控制。
第五，所谓 OOD language generalization 仍可能部分是 retrieval。对于 unseen object/category，如果 VLM 已有视觉语义知识且 VA 数据覆盖了相似操作，那么策略表现好并不意味着机器人学习了新概念-动作组合的系统性规则。它可能只是更好地把 VLM 的检索式语义映射接到了已有动作 prior 上。
Takeaway
- 1. 连续动作 VLA 的关键瓶颈不只是 VLM 是否被 finetune 坏，而是 action expert 是否从一开始就进入了 vision-only shortcut basin。
- 以后讨论 VLA language generalization，应该把 action head initialization 当作一等问题。
- 2. VA prior pretraining 是一个很可迁移的思想：在任何语言稀疏、动作密集的 embodied dataset 中，都可以先用非语言条件学习 motor manifold，再做语言/目标/奖励条件化。
- 这比直接端到端学 π(a|obs, instruction) 更稳。
一句话总结
APT 是 continuous-action VLA 从“保护 VLM”走向“预训练 action expert”的一次重要方法演化：它的真正贡献是把语言泛化失败归因到 action expert 的 shortcut 初始化，并用 VA prior pretraining 重塑优化路径。