精读笔记

Problem Setting

[CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving]（arXiv preprint / 2026）

这篇论文实际处理的是 VLA-based E2E driving 的 closed-loop post-training 问题：给定一个已经通过大规模 expert trajectories 训练好的 VLA policy，如何在仿真闭环中进一步优化真实 driving score，而不是继续优化 open-loop L2 trajectory loss。

真正困难点不在于定义 POMDP 或接 PPO，而在于三者同时成立：大模型策略很难从零 RL；CARLA 闭环采样极其昂贵且不稳定；直接控制动作空间和 VLA 预训练的 waypoint 表征不对齐。以前方法要么是 IL 驱动，open-loop 指标好但闭环失效；要么是 privileged RL planner，依赖 GT boxes / BEV / map，绕开了端到端视觉策略的核心难点。

这个任务的关键矛盾是：闭环能力必须通过交互获得，但交互训练又会破坏大规模 IL 得到的先验，且样本量要求远超常规 VLA fine-tuning。CLEAR 的问题设定本质上是“如何把 imitation prior 变成 RL 可优化的 policy prior”。

Motivation

已有路线缺的是 closed-loop objective，而不是更大的 VLM 或更复杂的 trajectory decoder。IL 可以 scale data，但它优化的是 logged expert distribution 上的轨迹拟合；一旦 policy 自己犯错进入 off-distribution state，open-loop loss 没有提供恢复机制。

作者的核心观察是：VLA 已经学到相当强的局部驾驶 prior，直接丢掉它去做 low-level RL 是浪费；但只把它作为 frozen planner 又无法修正闭环错误。因此自然的方向是：不要重学整条策略，而是在 VLA 轨迹附近学习 correction。

另一个缺口是系统性的：vision-based RL 的瓶颈不是 PPO 算法本身，而是 parallel simulator 数量和稳定性。CARLA 与 VLA learner 抢 GPU memory / driver stack，会把 RL scale 卡死。CLEAR 把这个看成算法问题的一部分，而不是单纯 implementation nuisance。

Core Idea

CLEAR 的核心思想是把 VLA 的 waypoint 输出重新解释为一个可被 RL 修正的 trajectory prior。策略不是从图像直接输出 steering/throttle，也不是重新生成完整 trajectory，而是在固定 longitudinal anchors 上对 lateral offsets 和 target speed 做 bounded residual update。这相当于给 RL 加了很强的 inductive bias：默认沿着 IL prior 开，只在闭环 reward 显示 prior 不够好时做局部修正。

这个建模改变很重要。它把高维、稀疏反馈、长时序的视觉控制问题压缩到一个低维 waypoint residual 空间，同时保持和预训练监督目标同构。直觉上，预训练 VLA 负责 perception-conditioned nominal planning，RL 负责处理 closed-loop compounding error 和 benchmark-specific interaction failures。

和 prior 的本质区别不是“用了 PPO”，而是 RL 的作用域被限制在 prior correction 上。相比 privileged RL，它没有把感知问题外包给 GT state；相比 VLA IL，它不再假设 expert trajectory matching 足以产生闭环鲁棒性；相比 direct-control fine-tuning，它保留了 waypoint representation 的可迁移结构。

Method

第一，open-loop VLA pretraining 解决 cold start。没有这个阶段，端到端视觉策略在 CARLA 中靠 RL 学会驾驶基本不可行；预训练提供的是可行轨迹 manifold，而不是最终闭环能力。

第二，residual waypoint policy 解决 representation alignment。直接在 low-level control 上加 RL 会把 action head 换成 steering/throttle，等于切断 IL 阶段学到的 waypoint semantics；CLEAR 保留 waypoint prior，只学习 lateral/speed residual，因此 PPO 更新更像 policy improvement 而不是重新学习控制。

第三，controller 被放进 environment transition，而不是端到端反传的一部分。这降低了优化难度：RL 只关心 residual waypoint 的概率，实际 control conversion 由确定性 controller 完成。代价是最终能力受 controller bias 限制，尤其在极端动态场景中可能不是最优。

第四，异构 pipeline 解决 scale bottleneck。CARLA server 放在独立 V100/低驱动环境，大模型 learner 放在 H100 集群，通过 SSH tunnel 连接。这不是方法装饰，而是让 64 并行环境和 100M samples 成为可能的关键工程机制。

第五，reward 采用 route completion × soft penalties − hard penalty。这个 reward 的价值在于和 CARLA driving score 目标近似一致；但这也意味着它更像 benchmark-aligned RL，而不是学习一般驾驶偏好。

Key Insight / Why It Works

最核心的有效原因是 representation alignment + constrained policy improvement。IL 学到的 waypoint prior 已经包含大量 perception-to-planning mapping；RL 如果只学 residual，就避免了探索完整驾驶空间，同时能针对闭环分布偏移做修正。这比“VLA + RL”这个表述更准确：CLEAR 是在 VLA manifold 上做 local policy search。

最可能的核心贡献是 residual waypoint action space。ablation 中 direct control 明显掉性能，说明不是 PPO 本身带来的收益，而是 action parameterization 决定了 RL 是否能利用预训练知识。这个 insight 可迁移：大模型机器人策略的 RL 后训练应该优先在预训练 action abstraction 上做 residual / delta，而不是直接改成底层 actuator space。

第二个贡献是 scaling system。小 batch / 少样本不收敛，40M 到 100M 持续提升，说明 CLEAR 的成功高度依赖 RL scale。这里相当一部分 gain 可能主要来自 scaling / data，而不是新的 RL objective。论文把系统吞吐包装成方法贡献是合理的，因为在 closed-loop AD 中 simulator throughput 本身就是算法可行性的前提。

语言/推理能力的贡献被论文弱化甚至未被证明。RL 阶段冻结 vision encoder 和 LLM，并关闭 autoregressive language prediction path；因此提升不太可能来自更强 VLA reasoning，更像是已有视觉轨迹 prior 的闭环校正。若论文暗示 VLA reasoning 被 RL 增强，这一点证据不足。

reward 与 benchmark metric 高度对齐也是隐含关键。使用 CARL-style simple reward 的前提是 metric 有清晰 global optimum；这会让训练更稳定，但也带来 evaluation overfitting 风险。性能提升可能部分来自对 CARLA leaderboard-style metric 的直接优化，而不代表真实驾驶偏好泛化。

还有一个不应忽略的因素是 route/scenario coverage。100M samples 的闭环 CARLA 训练很可能让 policy 见到大量 procedural failure variants。所谓 robustness 可能主要来自 simulator coverage，而不是形成了更抽象的长期规划能力。

Relation To Prior Work

CLEAR 最接近三条线：VLA imitation driving（SimLingo/ORION/EMMA）、closed-loop privileged RL planning（CARL/Think2Drive/TCP-style）、以及最近的 RL-for-E2E-AD / GRPO-style post-training。它的定位是在 VLA IL 和 closed-loop RL 之间补上非 privileged、可扩展后训练。

相对 VLA IL，真正不同点是目标从 trajectory matching 变成 closed-loop return，且 policy 会在自己诱导的状态分布上学习。相对 privileged RL，真正不同点是输入仍是 raw vision / navigation / prompt，而不是 GT perception 或全局地图。相对 AutoVLA/AlphaDrive 这类 reasoning-RL，CLEAR 更工程化也更 grounded：它没有主要优化语言推理链，而是优化可执行 waypoint residual。

看似新的部分里，PPO、residual learning、trajectory prior、simulator/learner disaggregation 都不是新概念；实质创新在于把这些组合到 VLA driving 的动作表征上，并证明 action-space alignment 和 simulator scale 是闭环 VLA 后训练的决定性因素。

技术谱系上，CLEAR 更像 robotics policy post-training / residual RL，而不是纯 VLM reasoning work。它把大模型当作 perception-conditioned prior，把 RL 当作 closed-loop correction layer。

Dataset / Evaluation

评估覆盖了 CARLA longest6 v2、Bench2Drive 和 nuScenes。前两个是闭环仿真，能直接验证“closed-loop RL improves simulator driving”这一核心 claim；nuScenes 是真实数据集上的 open-loop/zero-shot sanity check，能说明 learned prior 没有完全崩掉，但不能证明真实闭环部署。

CARLA longest6 v2 对长路线和安全关键场景更敏感，IL baseline 全部失败这一点强化了论文论点：open-loop imitation 在长闭环中确实不够。Bench2Drive 更偏多能力短路线测试，能显示 residual RL 没有只优化单一 longest6 分布。

但 evaluation 的边界也很明显：所有闭环强证据都来自 CARLA 系列 benchmark，且训练本身也在 CARLA procedurally generated routes 上完成。benchmark 是否真正验证 generalization，取决于训练 route generator 与测试场景的 overlap 程度，文中未充分说明。

nuScenes zero-shot 数字很亮眼，但它是 open-loop validation，不涉及 closed-loop compounding error、交互式避让、控制延迟和真实传感器 domain shift。因此它支持“trajectory prior 有一定 real-world compatibility”，不支持“CLEAR 可真实部署”。

Limitation

第一，方法强依赖一个足够好的 IL waypoint prior。如果预训练 policy 在某些场景完全误解视觉或导航，bounded residual 可能只能局部修补，无法改变错误的高层意图。它把探索难度降低了，也同时限制了跳出 prior manifold 的能力。

第二，RL 阶段冻结 VLA backbone，意味着 perception representation 基本不被 closed-loop failure 反向塑形。若错误来源是视觉理解、遮挡、交通灯识别或 agent intent prediction，residual waypoint head 未必能根治，只能做行为层补偿。

第三，scaling 上限来自 CARLA 本身。论文的异构 pipeline 解决了 resource contention，但没有解决 simulator diversity、fidelity 和 reward misspecification。继续加样本可能很快变成对 CARLA dynamics / scenarios 的 specialization。

第四，增益归因不完全清晰。residual action space、PPO batch size、100M samples、reward alignment、InternVL3 backbone、route generator coverage 都同时变化；虽然 ablation 支持 action space 和 scale，但还不足以分离“算法 insight”和“工程/数据规模”的贡献。

第五，所谓 reasoning/planning 能力可能被高估。RL 阶段关闭 language generation、冻结 LLM，policy 实际更像视觉-conditioned waypoint corrector；长期状态建模、显式交互推理、因果交通理解都没有被充分验证。

第六，真实部署鸿沟很大。CARLA reward 的 global optimum 与 leaderboard metric 一致，不代表真实道路偏好可 reward-engineer；sim2real、sensor calibration、traffic participant distribution、controller mismatch 都可能让 residual correction 失效。

Takeaway

• 1. 对大模型机器人/VLA 策略做 RL 后训练时，最重要的不是选 PPO/GRPO，而是选择与预训练 action abstraction 对齐的 RL action space；residual-on-prior 往往比 direct-control 更稳。
• 2. Closed-loop AD 的能力提升很可能首先来自大量交互数据和 failure recovery，而不是更强语言推理。
• 未来工作如果声称 reasoning improvement，需要设计能隔离语言/记忆/闭环控制贡献的评估。
• 3. Simulator/learner 解耦会成为 E2E driving RL 的基础设施方向。

一句话总结

CLEAR 是一篇把 VLA imitation prior 通过 residual waypoint RL 和大规模 CARLA 闭环采样转化为可用闭环驾驶策略的工作，真正贡献在于 action-space alignment 与 RL scaling，而不是新的 VLA reasoning。