精读笔记

Problem Setting

这篇论文真正处理的是 VLA-based E2E driving 的 post-training 问题：已有一个通过大规模 imitation learning 学到 waypoint prediction 的 VLA，但它在闭环环境里会因为 covariate shift、误差累积和 feedback mismatch 而失败。关键矛盾是：open-loop IL 最容易规模化，但优化目标和闭环指标不一致；closed-loop RL 目标更对，但对样本吞吐、稳定性和 action representation 极其敏感。以前方法要么停在 imitation / open-loop RL，要么用 privileged state 做闭环规划，绕开了真实视觉策略在仿真中学习的难点。CLEAR 的问题设定因此不是从零构建 autonomous driving policy，而是如何把一个强但闭环脆弱的 VLA prior 转成可闭环优化的 policy。

Motivation

已有路线缺的是闭环反馈下的策略修正能力。IL 学到的是专家轨迹条件分布，在部署时一旦偏离 expert state distribution，就没有机制恢复；直接把 RL 加到 VLA 上又会遇到 action space 不对齐、探索成本高、训练不稳定的问题。作者的核心观察是：预训练 VLA 的 waypoint 输出并非应该被丢弃，而应作为 strong prior；RL 只需要学习何时、如何偏离这个 prior。另一个缺口是系统性的：视觉 RL 的主要瓶颈不是 PPO 是否新，而是 CARLA 并行环境数量太少，无法给大模型提供足够闭环样本。

Core Idea

CLEAR 的本质是“prior-centered closed-loop policy improvement”。它不让 RL 直接学习 steering/throttle/brake，而是让 RL 在 pretrained VLA 给出的路径和速度 waypoint 周围输出 residual。这个设计给 RL 注入了强 inductive bias：默认相信 imitation policy 的大部分驾驶常识，只在闭环暴露出的 failure state 上做局部 correction。这样既保留了 VLA 从大规模数据中学到的语义和几何先验，也避免 RL 从稀疏、长时延闭环 reward 中重新发现基本驾驶行为。

和 prior 的本质区别在于，CLEAR 不是再做一个更大的 VLA，也不是把 language reasoning 接进 planner，而是把 VLA 当作可修正的轨迹先验，并把闭环优化限制在与该先验对齐的 waypoint space。它重新组织了信息流：视觉/语言 backbone 负责给出 latent driving feature 和 base plan，RL head 负责在闭环 metric 下修正 plan，controller 负责执行。这使得方法更 scalable，因为大模型表示不需要在 RL 中被完全重学，仿真数据主要用于学习 corrective policy。

Method

第一，open-loop VLA pretraining 提供 waypoint prior。它解决的是基础驾驶能力和视觉-导航-language conditioning 的获取问题；没有这个 prior，PPO 在视觉控制空间里几乎不可行。第二，closed-loop RL 学 residual waypoint，而不是 direct control。它解决的是 action representation 与预训练知识不对齐的问题；核心变化是把 RL 的搜索空间压缩到局部轨迹修正。第三，deterministic controller 被放进环境转移里。它解决的是从规划表达到 simulator control 的接口问题；policy 不需要对不可微控制器反传，也不需要学习低层控制细节。第四，异构 finetuning pipeline 把 simulator 和 learner 物理隔离。它解决的是 CARLA rendering 与 VLA inference/training 的资源冲突；核心变化是把 RL 的数据生成能力从单机 GPU memory 限制中解放出来。第五，reward 采用 route completion 加 penalty 的形式。它解决的是闭环 metric 对齐问题，但这里创新性有限，更多是复用 CARL 类 simple reward 设计。

Key Insight / Why It Works

最重要的 insight 是 action space alignment。VLA 预训练阶段学的是 waypoint/action-query 表示，如果 RL finetuning 突然切到 low-level control，相当于丢掉最有价值的预训练头部结构，只保留一个未必适合控制的 latent feature。residual waypoint policy 则让 RL 的梯度和探索都发生在模型已经熟悉的行为坐标系里，因此样本效率和稳定性都会更好。

第二个 insight 是 closed-loop correction 比 closed-loop imitation 更关键。IL prior 已经能给出大体合理的轨迹，但长路线失败往往来自少数局部决策错误、速度控制错误或与动态交通交互中的累计偏差。bounded residual 正好适合这种错误分布：它不是为了生成全新行为，而是为了在 base plan 接近正确时把它推过安全边界。

第三个 insight 是 scaling 在这里不是锦上添花，而可能是主要增益来源之一。Table 5 显示小样本/小 batch 几乎不工作，性能随样本和 mini-batch 增长显著改善。因此 CLEAR 的成功很大程度上是“正确 inductive bias + 足够 on-policy closed-loop samples”的组合；单独的 PPO 或单独的 residual head 都未必成立。文中对 scaling、backbone 升级、pretraining data 覆盖之间的归因仍不充分，增益来源不清。

我认为核心贡献排序是：residual waypoint RL action space 第一，异构仿真 scaling 第二，具体 VLA backbone / PPO recipe 第三。所谓 VLA reasoning 在这篇里并不是主要变量；模型是否真的形成语言推理能力并未被验证，更像是利用 VLA backbone 的视觉语义 prior 与 trajectory prior 做闭环后训练。

Relation To Prior Work

CLEAR 最接近三条线：SimLingo/ORION/EMMA 这类 VLA imitation driving，CARL/Think2Drive/TCP 这类闭环 RL driving，以及 AlphaDrive/AutoVLA/ReCogDrive 这类 RL-enhanced driving VLA。它和 VLA imitation 的本质差异是优化目标从 open-loop waypoint matching 变成 closed-loop return；和 privileged RL planner 的差异是输入不依赖 GT state/map，而是保留 raw vision VLA setup；和 direct-control RL 的差异是 action space 仍处在 planning/waypoint 层。

看似新的部分里，PPO、simple reward、controller mapping、waypoint planning 都不是新思想；实质新增是把这些组合成一个适合大 VLA post-training 的 residual formulation，并证明系统 scaling 后能显著改善闭环 benchmark。它属于“foundation-policy post-training”谱系，而不是传统 end-to-end driving architecture innovation。更准确地说，CLEAR 把 RLHF/RL post-training 的思想迁移到 autonomous driving：先用大规模监督学习得到 prior，再用闭环 reward 做局部策略改进。

Dataset / Evaluation

评测覆盖了 CARLA longest6 v2、Bench2Drive 和 nuScenes。CARLA longest6 v2 能较好验证长路线闭环鲁棒性，因为纯 IL 方法在该设置下普遍失败，CLEAR 的提升直接支持“closed-loop RL 有必要”这个 claim。Bench2Drive 提供更多短场景和 multi-ability 维度，支持其不是只过单一长路线 benchmark。nuScenes zero-shot 结果有价值，但它是 open-loop real-world validation，不等价于真实闭环驾驶能力。

评价的主要 limitation 是核心训练和主要闭环验证仍在 CARLA。CARLA 的 route、traffic behavior、infraction metric 和 reward 之间存在较强耦合，尤其 reward 被设计成与 benchmark metric global optimum 一致时，结果更像是在优化 CARLA leaderboard objective，而不是证明真实世界 driving competence。Bench2Drive 和 longest6 都是 CARLA 系，跨仿真器、跨真实闭环平台、跨传感器设置没有验证。nuScenes 上未训练却表现好可能说明 prior 有泛化，也可能来自数据分布、backbone 表示或 benchmark protocol 的隐式优势，不能过度解读。

Limitation

CLEAR 成立依赖强 waypoint prior。如果 base VLA 在某类场景给出完全错误的 topology-level plan，例如错误车道、错误让行语义、错误导航理解，bounded residual 未必能修回来；它更像 local repair，不是 global replanning。第二，方法严重依赖 simulator scale 和 reward alignment。若换成 reward 不完全对应目标 metric、仿真器更慢或长尾交互更复杂，PPO 的样本成本可能迅速失控。第三，冻结视觉 encoder 和 LLM 使得 RL 很可能没有真正改善视觉语义理解，只是在已有 feature 上学习闭环 control correction；所谓 VLA reasoning 能力没有被直接证明。

第四，增益归因不干净。InternVL3 backbone、更大 pretraining、100M PPO samples、batch scaling、residual action space 同时变化，文中只做了 action space 和 scaling ablation，仍不足以区分“方法 insight”与“engineering/scaling/data 覆盖”的贡献。第五，真实部署缺口很大：CARLA 的 perception domain、agent behavior、sensor model 与现实差距明显，Sim2Real 完全未解决。第六，planner 可能没有形成长期状态建模，当前 formulation 更像每步基于 VLA feature 和当前 base plan 做局部 waypoint correction，对长期意图、交互博弈和记忆的建模仍很弱。

Takeaway

• 第一，VLA driving 的下一阶段很可能不是继续堆 open-loop imitation loss，而是围绕强 prior 做 closed-loop post-training；CLEAR 是这个转向的一个清晰信号。
• 第二，action representation 比 RL algorithm 更关键：在 foundation policy 已经学到某种行为坐标系后，RL 应该在同一坐标系里做 residual improvement，而不是切换到不对齐的 control space。
• 第三，系统 scaling 是闭环 RL for driving 的一等公民；没有足够并行仿真，很多方法差异会被训练不稳定掩盖。
• 第四，值得迁移的 insight 是“用监督学习得到 broad prior，用 RL 学局部闭环 correction”，这适用于 robotics、embodied agents、manipulation 等任何大模型 policy 难以直接 RL 的场景。

一句话总结

CLEAR 是一篇把 VLA driving 从 open-loop imitation 推向 closed-loop RL post-training 的工程化但重要的论文，真正贡献在于用 residual waypoint action space 对齐预训练 prior，并通过异构仿真 scaling 让大模型闭环 RL 变得可训练。