精读笔记

Problem Setting

这篇论文瞄准的不是一般意义上的 trajectory planning，而是当前 E2E planner 中非常具体的结构性瓶颈：proposal generation 和 trajectory scoring 被解耦成一次性流水线。scorer 只在 planner 已经生成的有限候选上做排序，无法改变候选集合本身。

这里的关键矛盾是：scorer 可能已经学到了比 generator 更细的 driving quality signal，但推理时这个 signal 没有进入轨迹生成过程。于是系统上限由 candidate coverage 决定，而不是由 scorer 的判别能力决定。扩大 vocabulary 或增加 proposal 数只能缓解覆盖问题，但会带来延迟、过拟合固定轨迹集、以及 scorer 对 vocabulary 的隐式依赖。

真正困难点在于，把 scorer 当 reward 之后，搜索会主动访问训练时没有显式覆盖的轨迹区域。一个在固定 proposal set 上 ranking accuracy 很高的 scorer，并不等价于一个可优化的 reward function。这是论文最重要的问题设定。

Motivation

已有 score-and-select 路线的不足不是 scorer 不够强，而是 scorer 使用方式太弱：它只能 post-hoc 选择，不能 guide proposal refinement。作者的核心观察是，trajectory scorer 本质上已经是一个 learned reward model，只是社区一直把它限制在 reranking 语境里。

这篇论文的动机可以理解为把 driving planner 引入 inference-time compute scaling：不再试图一次 forward 产生最终轨迹，而是在测试时用冻结模型的 reward signal 搜索更好的 action。这个思路和 LLM 中 verifier-guided search / best-of-N 有相似结构，但这里搜索空间是连续控制轨迹，而非离散文本样本。

关键缺口是：现有 planner 并没有验证 scorer 是否可作为 reward 使用。标准 ranking evaluation 会掩盖这个问题，因为它只评估 scorer 在其熟悉 proposal distribution 上的排序能力；TOAD 则把这个隐藏假设暴露出来。

Core Idea

TOAD 的核心不是 CEM，而是重新定义 scorer 的角色：从“固定候选集上的选择器”变成“测试时连续轨迹空间中的目标函数”。这改变了信息流：原来是 generator 生成候选、scorer 被动选择；现在 scorer 通过 search loop 间接影响轨迹生成，把有限 proposal set 扩展为 base trajectory 周围的连续可行邻域。

理论直觉很简单：如果 learned scorer 在局部邻域内与真实 driving quality 保持正相关，那么围绕 base plan 做局部 reward maximization 应该能找到 base planner 未生成但质量更高的轨迹。base planner 提供可行初值和场景条件先验，scorer 提供局部质量梯度的替代信号，CEM 提供无需可微 reward 的黑盒优化。

和 prior 的本质区别在于，它不再把 planner 的 proposal set 当作不可改变的 action support。它引入的 inductive bias 是“planner gives a local trust region, scorer gives local reward, optimizer spends test-time compute to refine”。这比单纯扩大 vocabulary 更 scalable 的地方在于，连续搜索可以按需分配计算，而不是离线枚举越来越密的轨迹库。

Method

方法层面最关键的是三个机制。

第一，搜索在 control space 而不是 pose space 中进行。它解决的是 sampled trajectory 的物理可行性和光滑性问题。直接采样未来位置会产生 jagged / dynamically implausible 轨迹，也会让 comfort 约束变得后处理化；控制空间通过 bicycle model 把动力学先验直接嵌入搜索空间，使 optimizer 不需要从数据中重新学会基本车辆运动约束。

第二，base planner 用来定义 trust region。它解决的是 learned scorer 被 OOD exploit 的问题。TOAD 并不假设 scorer 是全局可靠 reward，而是假设它在 base proposal 附近相对可靠。warm-start 到 base trajectory、用 proposal spread 初始化方差、再加 anchor penalty，本质上都是在限制搜索半径。

第三，objective 是 scorer reward 加少量 closed-form regularization。scorer 负责语义层面的 driving quality，comfort regularizer 补充 learned scorer 对连续控制平滑性的弱建模，anchor regularizer 抑制过度偏离。这里 regularizer 不是贡献主体，而是为了让一个不完美 reward 在优化时不被轻易钻空子。

最后返回时与 base trajectory 比较，保证在该 surrogate objective 下不比 base 差。但这不是对真实指标的保证，只是对 learned cost 的单调性保护。

Key Insight / Why It Works

最重要的 insight 是：E2E planning 的瓶颈常常不是 scorer，而是 action support。很多 planner 的 scorer 在已有 candidates 上已经能识别好坏，但 generator 没给它足够好的选择。TOAD 用 test-time compute 直接扩展 support，因此弱 planner 提升最大、强 planner 提升较小，这个现象和论文的归因一致。

真正有效的核心贡献不是“用 CEM 优化轨迹”——这在 robotics/MPC 里是老东西；而是发现并验证：已有 E2E planner 中某些 scorer 已经足够像 reward model，可以在推理时被重用来做局部轨迹优化。这是把 learned reward 从训练/排序阶段迁移到 inference-time optimization 的机制性改变。

但这个机制成立的前提非常强：scorer 必须在 off-proposal 轨迹上保持 calibration。论文中 GTRS / SparseDriveV2 scorer 用于 search 后掉分，说明 ranking scorer 和 reward scorer 是两类能力。固定 vocabulary scorer 可能只学会了 vocabulary-conditioned preference 或 ID-like boundary，而没有形成连续轨迹质量函数。

从归因看，TOAD 属于 test-time compute scaling + better action-space inductive bias，而不是新的 representation learning。增益不主要来自 smoothing，因为 BM smoothing 单独效果很小；也不只是来自 stronger scorer，因为 rerank 不稳定甚至会伤害。增益来自 search 与 generalizing scorer 的组合。

需要注意的是，DrivoR scorer 为什么能泛化，文中解释还不够充分。作者归因于 disentangled scorer 和 freely decoded trajectories 的训练形式，这个说法合理，但可能混有数据覆盖、annotation quality、benchmark alignment、以及 DrivoR 本身监督信号更贴近 NAVSIM metric 的因素。这里存在“能力来自 scorer 训练资源/数据，而不是 TOAD 本身”的可能。

另一个值得警惕的点是 CEM 迭代过多会退化。这说明 scorer reward landscape 与真实 EPDMS 并不一致；optimization 会放大 reward model 的错误。因此 TOAD 更像 controlled local improvement，而不是可靠的 long-horizon reasoning/planning。

Relation To Prior Work

这篇论文最接近三条线：sampling-based MPC / CEM planning、E2E planner 的 score-and-select、以及 inference-time search with learned verifier/reward。

和传统 MPC/CEM 的差别在 reward：传统方法优化手工 cost 或显式预测模块给出的 cost map；TOAD 优化的是 E2E trajectory scorer，不需要 occupancy、BEV、future map 等中间表示。这让它更 plug-and-play，但也把安全性和泛化性压到 learned scorer 上。

和 score-and-select planner 的差别在 action support：prior 仍在固定 proposal set 上 argmax，哪怕 proposal set 很大；TOAD 允许 scorer 改变最终轨迹，实际是在 candidate generation 之后又开了一个连续 refinement stage。它不是简单 reranking，这一点由实验支持。

和 UniAD 式 post-optimization 的相似处是 test-time refinement；不同处是 UniAD 依赖预测 occupancy 等中间世界表示，而 TOAD 直接优化 trajectory-level learned reward。和 Centaur 这类 test-time training 的差别是 TOAD 不更新模型，只更新 action，因此更轻，但适应能力也更有限。

看似新的部分很多是已有思想重组：CEM、control-space optimization、trust region 都不是新概念。实质创新在于把 E2E scorer 的“可优化性”作为研究对象，并用实验指出固定 vocabulary scorer 在这方面失败。这一点比具体算法更有价值。

Dataset / Evaluation

评估覆盖了 NAVSIM-v1、NAVSIM-v2 和 HUGSIM。NAVSIM-v2 的 harder / OOD 设置比 v1 更能检验安全改进，因为 v1 安全指标接近饱和，主要只能看 progress 小幅提升。HUGSIM 提供了 photorealistic closed-loop 证据，至少说明方法不是完全只对 open-loop/pseudo-closed-loop metric 过拟合。

实验设计中最有说服力的是 ablation：smoothing、reranking、不同 scorer search 的对照直接支撑了“gain 来自 search + generalizing scorer”这个主张。尤其是固定 vocabulary scorer 在 search 中失败，强化了论文最核心的技术判断。

但 evaluation 仍有明显边界。NAVSIM 和 HUGSIM 都不等价于真实车部署；HUGSIM 虽然 closed-loop，但仍是 benchmark simulator。TOAD 在 HUGSIM 上表现为更安全、更舒适但有时 route completion 下降，说明它可能学到的是更保守的局部策略，而不是更强的全局任务完成能力。

此外，DrivoR scorer 与 NAVSIM metric 的 alignment 程度、训练数据与 benchmark 的覆盖关系、以及 trajectory-level annotation 的具体影响，文中未充分说明。因此 benchmark 支持“局部 test-time optimization 有效”，但还不能完全证明“scorer 具备真实开放场景 reward 泛化能力”。

Limitation

最大限制是问题被转移了：TOAD 不解决如何获得可靠 reward，只是假设存在一个足够好的 scorer。没有 DrivoR 这种 off-proposal generalizing scorer，方法会失败甚至显著低于 baseline。这意味着 TOAD 的可迁移性取决于 scorer training，而不是 CEM wrapper。

第二，trust region 是经验性的安全阀。anchor penalty 和 proposal spread 限制了搜索，但没有 principled uncertainty estimate，也没有形式化 safety guarantee。搜索范围太小，上限受 base planner 限制；搜索范围太大，又会 reward hacking。这个 trade-off 当前靠超参数和 benchmark 调出来。

第三，所谓“test-time planning”本质上是局部 reward optimization，不是长期闭环 reasoning。它不建模未来交互状态，不更新 belief，不显式处理 multi-agent response。closed-loop 中 route completion 下降说明策略可能偏保守，安全提升的一部分可能来自少走/慢走，而不是更聪明地通过复杂场景。

第四，scalability 上限不清楚。更多 CEM 迭代不一定更好，说明 inference compute scaling 受 reward misalignment 限制。若要扩大搜索半径或从 scratch 搜索，必须显著提升 scorer calibration；否则 compute 越多越容易 exploit scorer。

第五，增益中可能包含 benchmark-specific alignment。DrivoR scorer 的训练目标、NAVSIM 的 oracle/metric、以及 TOAD 的 comfort regularization 之间可能存在隐式对齐。文中没有充分拆解数据覆盖、监督质量、scorer 架构对泛化的独立贡献。

Takeaway

• 1. 对 E2E driving，未来重要方向可能不是继续堆 proposal 数，而是训练可作为 reward 优化的 scorer；ranking accuracy 已经不是足够指标。
• 2. Test-time compute 在 planning 中有明确价值，但前提是 reward model calibrated。
• 否则 search 会迅速把 scorer 的错误放大。
• 3. Base planner + local optimizer 是一个现实可用的中间形态：base planner 提供分布内初值，optimizer 用 learned reward 做局部 refinement。

一句话总结

TOAD 是把 E2E driving 的 trajectory scorer 从固定候选 reranker 升级为 test-time local reward optimizer 的方法，真正贡献在于揭示 proposal bottleneck 与 scorer 可优化性，而算法本身属于 learned-reward-guided inference-time search 的工程化演化。