精读笔记
Problem Setting
[Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models]（arXiv preprint / 2026）
这篇论文真正处理的是 flow-based VLA 的 post-SFT online RL 问题：给定一个已经具备较强 manipulation prior 的 π0.5 类模型，如何在不额外引入私有 demonstration 的情况下，用任务级交互把 BC/SFT 的 residual failure 修掉。
关键矛盾是：机器人任务的 reward 往往只在终点给出，但失败原因分布在长时程轨迹中；如果把整条 trajectory 当作 GRPO 组内比较对象，reward 差异会混合 approach、接触、恢复等多个因素，advantage 信号非常脏。以前方法卡在两个地方：SFT 没法从自我失败中学习；直接 RL 又容易被 rollout 成本、稀疏 reward、flow-policy likelihood 以及 representation freeze 的限制压住。
Motivation
已有路线的问题不是 VLA 不够大，而是 SFT 后的改进路径不清晰。更多 demonstration、几何表征、world-action model 可以提高先验，但不能直接修复 policy 自己在 rollout 中暴露的 failure mode。
作者的核心观察是：很多 RoboCasa 操作并不是全程都同等困难，早期 approach 往往可由 SFT 稳定完成，真正决定成败的是进入接触区域后的少量动作选择。因此，RL 的关键缺口不是再造一个 dense reward，而是让稀疏 success reward 在组内比较时尽量指向“同一前置状态下的后续动作差异”。这也是为什么他们选择从 rollout construction 而不是 reward model 或 planner 入手。
Core Idea
Z-1 的核心思想是把 GRPO 从“比较多条独立长轨迹”改成“比较共享上下文后的分叉轨迹”。共享 prefix 相当于把 early trajectory 当作条件变量固定住，让 suffix rollout 的 return 差异更接近局部 causal effect。Tree prefix 则是在保留这种低方差比较的同时，逐步释放 approach phase 的可训练性，避免 flat shared-prefix 把太多有效动作 mask 掉。
本质区别在于它不是改变 policy architecture，而是改变 RL 采样分布和 credit assignment 的几何结构。它引入的 inductive bias 是 manipulation trajectory 具有阶段结构：先到达、再交互；后者对 sparse reward 更敏感，也更适合 group-relative optimization。相比普通在线 RL，这种设计更 scalable 的原因是复用模拟前缀、降低组内无关方差，并把有限 rollout budget 花在更有信息量的分叉段上。
Method
方法可以压缩成四个必要机制，而不是模块堆叠。
第一，per-scene SFT 不是普通预训练步骤，而是把 policy 推到 online RL 可工作的 basin 内。没有这个初始化，稀疏 reward 下 GRPO 很可能只是在采失败样本。
第二，Shared-Prefix / Tree-Structured Branching 解决的是 group comparison 的 confounding：独立 rollout 的 return 差异可能来自完全不同的 approach 状态，而不是 suffix 操作质量。共享状态克隆后，reward 差异更可归因到分叉后的动作。
第三，Success-Aware Reward Decay 解决 all-success group 的信息浪费。它不是 dense shaping，而是在成功样本内部引入完成时间排序，同时避免把较慢成功轨迹强行当负样本；这个设计比简单 length penalty 更保守。
第四，Selective VLM-AE Joint Training 处理 frozen representation 的上限。当失败来自视觉 grounding 或空间定位时，只调 action expert 等于让控制头适配错误特征；joint training 允许 task reward 反向校准 perception-action interface。但它也显著增加 drift 风险，所以作者只选择性启用。
Key Insight / Why It Works
最可能的核心贡献是 prefix-based rollout construction，而不是 GRPO 本身。GRPO 在这里的价值来自 group-relative normalization，但如果 group 内轨迹从一开始就分散，advantage 只是在比较不同初始演化的偶然结果。共享 prefix 把比较对象变成“同一中间状态下的多种后续策略”，这实质上是在做局部 counterfactual rollout，降低 credit assignment 噪声。
这更像 better inductive bias + memory/state reuse，而不是 reasoning 或 planning。方法没有形成显式长期状态模型，也没有证明模型学到了更抽象的任务推理；它主要把模拟器状态克隆能力用来制造更干净、更便宜的 RL 训练样本。
Success-Aware Reward Decay 是辅助但合理：它给 sparse reward 增加弱排序信号，尤其在成功率已经上来后有用。但它不解决探索，只是在成功样本足够多时改善优化方向。
Selective joint training 的收益可能真实，但增益归因不干净。TurnOnStove 上 AE-only 不行、joint training 更好，说明 representation bottleneck 存在；但这也可能反映 task-specific tuning 或更大可训练参数带来的 capacity/scaling，而不一定是系统性 representation alignment。
整体上，Z-1 的有效性依赖 SFT 已经覆盖大部分状态分布。它不是从稀疏奖励中“发现技能”，而是在已有技能附近做 high-precision policy repair。核心能力可能主要来自 π0.5 预训练和 RoboCasa demonstration coverage，RL 负责把接触阶段的失败边界推过去。
Relation To Prior Work
它最接近 πRL、ReinFlow、VLA-R1、SOP 这条 VLA post-training 技术谱系，而不是 RT-2/OpenVLA/GR00T/X-WAM 那类扩数据、扩模型或改表征路线。与 flow-policy RL 的前作相比，Z-1 的新增信息主要在 rollout group construction：不是只问 flow policy 怎么算 likelihood ratio，而是问 group-based RL 中什么样的 rollout 组才有可用 advantage。
Shared prefix 的思想并不全新，类似 common-random-numbers、branching rollout、局部 counterfactual evaluation、MCTS/trajectory tree 中的方差控制思想；Tree prefix 也明显借鉴 tree-structured advantage redistribution。但把这些组织到 flow-based VLA 的 GRPO post-training 中，并针对 manipulation 的 approach/interaction 阶段结构做工程化落地，是实质贡献。
和 X-WAM/DepthVLA 这类表征增强方法的本质差异是：Z-1 不提供新的视觉空间先验，而是用在线交互修正现有 policy。它们是互补关系，不是同类替代。论文里把 Z-1 与这些 published SOTA 数字横向比较，有参考价值，但不能证明算法层面严格优于它们。
Dataset / Evaluation
评估集中在 RoboCasa 24 个模拟任务，覆盖 door、drawer、pick-and-place、microwave、sink/faucet、stove、coffee 等家庭操作。任务类型有一定多样性，但仍是单一模拟 benchmark 内的 task-wise post-training，不是跨真实场景、跨 embodiment 或真机部署验证。
实验支持的 claim 是：在 RoboCasa 公共 demonstration + π0.5 initialization + 可在线模拟训练的条件下，Z-1 的 GRPO post-training 能显著提升 SFT policy。它不充分支持“泛化 VLA RL 框架”这一更强说法，因为训练与评估都在同一 benchmark 家族内，且每个任务可独立 RL、独立选择模块。
baseline 比较存在明显 limitation：GR00T、Video Policy、X-WAM 等数字来自各自论文报告，不是同代码、同训练预算、同 evaluation seeds 的 controlled reproduction。Z-1 相比 X-WAM 平均只高很小幅度，而 stove 类还落后，这说明主要结论应放在 SFT→RL 的提升，而不是绝对 SOTA 排名。
Limitation
最大限制是方法强依赖模拟器状态克隆。Shared-prefix 和 tree branching 的核心优势来自能在中间状态复制环境并分叉 rollout；真实机器人上几乎不能直接做这一点，只能依赖数字孪生、重置机制或 learned simulator，因此 sim-to-real 不是附带问题，而是方法成立条件之一。
第二，task-wise GRPO 限制了 scalability。每个任务独立训练、按 diagnostics 选择模块，本质上把一部分泛化压力转移给了人工/工程化任务选择。文中未充分说明模块选择标准的可复现性，也没有证明一个统一策略能跨任务自动选择。
第三，增益来源不清。per-scene SFT、all-data warm-up、task-specific RL、prefix schedule、joint training、reward calibration 都会影响结果；ablation 是单任务曲线，不能分解全 benchmark 增益。部分提升可能主要来自更强初始化、更多 online compute、任务级调参，而不是某个通用机制。
第四，泛化 claim 应谨慎。论文没有真实世界实验，没有 out-of-distribution scene/object 评估，也没有新任务迁移测试。所谓“without private demonstrations”并不等于低监督；π0.5 预训练和 RoboCasa demonstrations 已经提供大量先验，RL 只是后验修正。
第五，reasoning/planning 能力基本未被验证。Z-1 没有显式 planner，没有长期 memory，也没有证明语言条件下的组合推理增强；成功率提升更像 trajectory-level policy repair 和局部交互优化。
Takeaway
- 1. 对长时程机器人 RL，rollout 组织方式可能比优化器形式更重要；同样是 GRPO，独立长轨迹比较和共享前缀后的局部比较，信号质量完全不同。
- 2. VLA post-training 的短期有效路径不是从零探索，而是在强 SFT/VLA prior 附近做 failure-boundary refinement；这类方法会首先在高保真模拟 benchmark 中成熟。
- 3. Flow-based VLA 的 RL 化已经不是不可行问题，flow-SDE likelihood ratio 提供了工程桥接；真正难点转向 credit assignment、rollout efficiency 和 representation drift。
- 4. 值得迁移的 insight 是“用状态复用/trajectory branching 构造局部 counterfactual groups”。
一句话总结
Z-1 是一篇把 flow-based VLA 从 SFT 推向任务级在线 RL 修正的工程型但有清晰机制贡献的工作，其真正贡献在于用 prefix/branching rollout 重构 GRPO 的比较对象，而不是提出新的 VLA 架构或机器人推理能力。