精读笔记
Problem Setting
[PlanRL: A Trajectory Planning Architecture for Reinforcement Learning-based Driving Experts]（arXiv preprint / 2026-06-26）这篇论文解决的是 CARLA 中 RL driving expert 的输出形态问题：不是让普通 RL 学会开车，而是让 expert 从 low-level control expert 变成 trajectory planning expert。真正困难点在于 control output 在闭环仿真中很方便，但它把道路几何理解、运动可达性、低层控制响应全部压进一个不可解释 action；trajectory output 又更符合现代 E2E planner 的监督需求，但额外 planner/control layer 容易引入 tracking error，尤其在高曲率道路上。以前方法卡在这个 trade-off：Roach/CaRL 等 direct-control RL 性能可用但监督形态不匹配，rule-based/planner expert 可解释但依赖手工规则且扩展性差。
Motivation
作者的核心动机不是“轨迹更可解释”这么简单，而是认为 direct-control action space 缺少道路几何先验，导致 policy 必须从 BEV 中反复学习不同曲率和拓扑下的空间映射。这个负担在 CARLA expert 训练中可能表现为 route recovery 差、弯道不稳、blocked 增多。另一个关键缺口是 representation alignment：真实世界 E2E planning benchmark 上主流模型输出 trajectory，而 CARLA RL expert 输出 control，两者 supervision interface 不同构。因此 PlanRL 的方向是把 expert 的输出空间改造成 planning-compatible，同时用 feasibility check 控制 planner 带来的执行误差。
Core Idea
PlanRL 的核心思想是：RL 不直接控制车，而是在 Frenet 坐标下决定一个短时运动意图；确定性 planner 再把这个意图转成平滑、可跟踪的轨迹。这样一来，policy 学的是“沿路走多快、偏到哪里”，而不是“此刻方向盘和油门是多少”。这改变了建模方式：道路几何由参考线和 Frenet frame 显式吸收，车辆运动连续性由 polynomial trajectory 显式保证，RL 只负责剩下的高层交互决策。
和 prior 的本质区别在 action abstraction。Roach-style 方法把 geometry prior、control smoothness、vehicle feasibility 都交给神经网络和 reward；PlanRL 把其中一部分还给经典规划结构。这不是新的 planner，也不是新的 RL 算法，而是一个更适合 driving expert 的 action/interface 设计。它可能更 scalable 的原因在于：不同道路曲率在 Frenet frame 下变成相似的 s-d 控制问题，policy 的泛化负担被降维。
Method
方法中值得保留的机制有三层。第一层是 Frenet reference path：它解决的是道路曲率变化导致的空间复杂度问题，把全局 BEV 中的几何拟合转化为相对参考线的纵横向控制；核心变化是 policy 不必在笛卡尔空间直接学习所有道路形状。第二层是 high-level action：纵向加速度控制速度 profile，横向 offset 控制目标 lateral state；它解决的是 direct control 不可解释、不可迁移到 trajectory supervision 的问题。第三层是 kinematic feasibility check：它解决的是 RL 给出的 lateral target 可能在 1s horizon 内不可达的问题；核心变化是把“是否可跟踪”从 reward 后验惩罚变成 planner 前置约束。
多项式轨迹本身并不新，PPO/Roach backbone 也不是贡献点。它们的作用是提供一个足够强且可比的 baseline 框架，让 action-space 改造的效果能被观察到。
Key Insight / Why It Works
最可能真正起作用的是 better inductive bias，而不是 scaling、world model 或更复杂 RL。PlanRL 把驾驶中的两个结构性事实硬编码进 expert：道路通常可以沿 route reference 分解，短时车辆运动必须满足连续性和可达性。Direct-control RL 也可以在足够数据下学到这些，但需要把它们隐式编码在网络参数里；PlanRL 直接把它们放进坐标系和 planner，所以样本效率、稳定性和弯道恢复都会改善。
feasibility check 是比表面看起来更关键的部分。单纯让 RL 输出 lateral offset 可能会产生不可达目标，PID 跟踪后形成横向误差积累，最终使 planner 架构输给 direct control。KF 实际上是在 action space 上施加动态约束，相当于过滤掉 policy 的高频/过激 lateral 意图。这解释了为什么 Ours w/o KF 已经比 Roach 好，但 Ours 更稳。
哪些可能只是辅助：Beta distribution、线状 route rendering、继承 Roach 的 event-conditioned exploration、emergency brake rule 都更像 engineering。尤其 Ours + Rule 的 route completion 下降说明 heuristic braking 并不是架构增益来源，甚至会和 learned planner 的速度决策冲突。文中没有充分隔离这些因素，增益来源不完全清晰。
这不是长期规划能力的突破。1s horizon polynomial planner 加 PID 更像结构化短时控制器，不具备显式多步博弈、意图预测或搜索。所谓 planning 更多是 action representation 的 planning 化，而不是 test-time compute 或 model-based reasoning。
Relation To Prior Work
它最接近 Roach 系列 RL expert、DriveAdapter 的 rule-augmented expert，以及传统 Frenet polynomial planner。真正不同点不是用了 PPO，也不是用了多项式轨迹，而是把 RL expert 的监督接口从 control domain 移到 trajectory domain。相对 Roach/CaRL，它新增的是结构化 action prior；相对 rule-based Autopilot/PDM-Lite，它新增的是 learned decision policy；相对 classical planner，它用 RL 输出 terminal intent，而不是手写 cost/search。
看似新的部分很多其实是已有思想重组：Frenet planning、quintic lateral trajectory、Beta policy、PID tracking 都是成熟组件。实质创新在于把这些组件放到“RL expert for E2E supervision”这个位置上，并证明在 CARLA v1/NoCrash 中 direct-control RL 不是唯一有效 expert 形态。技术谱系上，它属于 neuro-symbolic/structured policy interface，而不是纯 model-free RL 进步。
Dataset / Evaluation
评估覆盖 CARLA Offline Leaderboard v1 和 NoCrash dense，能验证在同一仿真生态中，trajectory-action expert 是否比 direct-control expert 更稳。它确实支持一个局部 claim：在 privileged-input、route-known、CARLA 0.9.10.1 的闭环评估中，结构化 trajectory action 有优势。尤其 NoCrash dense 和 LB-all 的组合覆盖了动态交通、交通灯、弯道、blocked 等常见失败模式。
但 evaluation 没有充分支持更大的 claim：它是否更适合作为现代 E2E planning architecture 的 expert。论文没有展示用 PlanRL 监督 sensor-based planner 后的下游提升，也没有在 nuScenes/NAVSIM/Bench2Drive/Longest6 上验证。NoCrash 还固定 ClearSunset，理由是 privileged input weather-invariant，这合理但也缩小了泛化检验。真实世界、真车、动力学 mismatch 都没有被测试。
Limitation
最大前提是 privileged information：BEV segmentation、route waypoint、ego state、历史 agent boxes 都是强监督环境下的 expert 输入。PlanRL 解决的是 expert 生成，不是 raw sensor policy；如果把它当部署 planner 会高估贡献。
第二个限制是参考线依赖。Frenet frame 在 lane-following/route-following 中很好用，但在复杂拓扑、无明确车道、施工绕行、交互式让行、多模态可行路径并存时，单 reference line 会限制策略表达。±3.5m lateral offset 基本覆盖单车道/换道，但不等于解决多候选路线规划。
第三，长期决策能力有限。1s horizon 和 polynomial trajectory 主要处理局部可达性，planner 实际没有形成长期状态建模；复杂交互中的“规划”仍由 RL policy 从 BEV 里隐式学，可能主要来自数据覆盖和 benchmark 规律，而不是显式 reasoning。
第四，增益归因不够干净。route 表示变化、Beta action、KF、planner、PID、emergency brake rule、baseline checkpoint 差异都混在系统里。文中虽有 w/o KF，但缺少对 Frenet vs Cartesian、trajectory output vs control output、route rendering、controller choice 的系统隔离。部分提升可能来自 engineering / action regularization，而非新的决策能力。
第五，benchmark 泛化仍可疑。训练和测试都在 CARLA 同一版本与相近 towns/protocol 下，泛化可能依赖 simulator regularities 和 route distribution overlap。文中未充分说明在更长路线、更复杂交通密度、更强 scenario suite 中是否保持优势。
Takeaway
- 第一，RL driving expert 的关键设计点可能不是更复杂的 policy，而是 action/interface 是否与下游 planner 对齐；trajectory-level expert 比 control-level expert 更有迁移价值。
- 第二，Frenet frame 是一种强但便宜的 inductive bias：它把道路几何泛化问题从网络学习中拿出来，尤其适合 route-conditioned driving expert。
- 第三，planning architecture 要在 CARLA 中赢过 direct control，必须处理 trackability；否则 planner-control mismatch 会抵消可解释性收益。
- PlanRL 的 KF 提醒我们：结构化输出必须配套可行性约束。
一句话总结
PlanRL 是把 CARLA RL expert 从 direct-control policy 推向 structured trajectory-action policy 的一次有效接口重构，核心贡献不是新 RL 算法，而是用 Frenet 几何先验和可达性过滤把 expert 输出对齐到现代 planning supervision。