精读笔记

Problem Setting

这篇论文解决的不是一般意义上的“生成式自动驾驶 planner 不鲁棒”，而是一个更窄但更关键的问题：当前生成式 E2E planner 的最终控制输出往往由 learned scoring head 在固定候选轨迹中做 top-1 选择决定。也就是说，模型可以被描述为 perception 产生 BEV feature，decoder 产生 anchors/vocabulary/proposals，scoring head 给候选打分，最后直接执行最高分轨迹。

真正困难点在于，攻击不需要让整个场景理解崩溃，也不需要让生成过程失真；它只需要跨过 safe candidate 与 unsafe candidate 的相对 score margin。这个 margin 通常比“视觉语义是否被破坏”更脆弱，因为最终决策是离散 mode switch。以前方法卡在目标错位：最大化 training loss、denoising loss 或 feature divergence 可能让中间表示变差，但不保证最终被选中的轨迹变成危险轨迹。关键矛盾是：planner 声称用生成模型处理多模态不确定性，但部署时安全性被压缩到一个 learned scorer 的小 margin 决策上。

Motivation

已有路线不够的原因是，它们把攻击对象放在错误层级。DP-Attacker 这类方法假设 diffusion policy 的核心脆弱性在 denoising chain，因此攻击 noise prediction loss；但 AD planner 为了实时性通常使用很短 denoising schedule，甚至本质上只是从固定轨迹库里检索/打分。对这种系统而言，破坏 denoising quality 不是最直接的失败路径，改变最终 scoring rank 才是。

作者真正抓住的缺口是：生成式 planner 的“generative”外壳掩盖了一个更传统的 ranking/retrieval 决策瓶颈。只要没有 post-hoc geometric/kinematic safety filter，scoring head 就是 perception 到 motion command 的唯一门槛。论文的动机不是提出更强像素攻击，而是指出安全攻击目标应该与最终规划指标对齐，而不是与模型训练 objective 对齐。

Core Idea

核心思想可以概括为：不要攻击生成过程，攻击最终选择规则。Derail 把 diffusion anchors、trajectory vocabulary、proposal queries 都抽象成 fixed candidate set，把 learned scoring head 视作真正的 attack surface。攻击目标不是让模型输出“错误”，而是让 scorer 把概率质量从当前安全候选转移到 collision/off-road/comfort-violating 候选。

这在直觉上成立，因为候选集合越密，危险候选离安全候选的 score margin 可能越小；生成式 planner 为了覆盖多模态行为，天然保留了许多可行但在当前场景不安全的轨迹模式。Derail 引入的 inductive bias 是 safety-violating behavior alignment：梯度不是无方向地破坏 feature，而是沿着 PDM 安全失败轴推动 soft trajectory。和 prior 的本质区别在于，它把 adversarial objective 从 model-centric loss 改成 task-level failure geometry。

Method

方法层面最重要的是统一 scoring-chain abstraction。它解决的是不同 generative planner 表面结构不一致的问题：DiffusionDrive 看起来是 diffusion refinement，GTRS 看起来是 vocabulary retrieval，但最终都要给候选轨迹打分并选一个。这一抽象让攻击不需要为每个 decoder family 重新设计。

第二个关键机制是 softmax relaxation。argmax selection 本身不可导，但攻击只需要训练时有 surrogate gradient，评估时仍然使用原始 hard selection。这个 relaxation 的作用不是提升模型能力，而是把“离散换轨迹”变成可优化的连续 score-shifting 问题。

第三个关键机制是三类 safety-violating loss：forward aggression 推向追尾/低 TTC，boundary push 推向 off-road/wrong-way，sudden braking 推向 comfort/progress 失败。它们的必要性在于覆盖 PDM 的主要失败轴，而不是覆盖模型内部 loss 项。数字 PGD 和物理 patch 只是约束集合不同：前者 per-frame、强 white-box；后者 universal、受位置和可见性约束，机制上仍是同一个 scoring-head hijack。

Key Insight / Why It Works

最核心的 insight 是：生成式 AD planner 的多模态候选空间既是能力来源，也是攻击面。候选库/anchor set 为正常规划提供多样性，但其中必然包含许多在当前场景下危险的轨迹；scoring head 的职责就是压制这些危险模式。一旦 score margin 小，攻击者不需要生成新轨迹，只需要让已有危险轨迹赢得 ranking。

Derail 有效的主要原因不是 PGD 更强，也不是 patch 更复杂，而是 objective alignment。generic feature attack 可能改变 BEV 表示，但方向随机；denoising loss attack 可能破坏训练目标，但和最终 collision event 弱相关。Derail 的梯度直接沿行为失败方向走，因此更容易跨过 scorer 的决策边界。论文的 gradient alignment 分析基本支持这个归因。

最可能的核心贡献是 attack surface reframing + safety-aligned surrogate objective。softmax relaxation 是必要工程技巧，但不是思想核心；digital/physical 两种 modality 是展示覆盖面，贡献次于目标设计。附录中的 Lipschitz/decoder amplification 分析可以帮助解释，但不应过度解读为严谨安全证明，很多常数不可测且 bound 很松。

这不是 scaling，也不是 data coverage 的胜利；更像是利用 retrieval/ranking 系统中 small-margin candidate selection 的结构性弱点。所谓 generative vulnerability 在这里很大程度上其实是 retrieval/scoring vulnerability。论文最值得迁移的判断是：当一个系统用 learned scorer 在高风险候选集合中直接 argmax，安全性不应只看生成质量，而要看 scorer margin 与 downstream shield。

Relation To Prior Work

和 DP-Attacker 最接近，但差异是本质性的。DP-Attacker 继承 robotics diffusion policy 的视角，攻击 denoising/training loss；Derail 认为 AD planner 的实际瓶颈是最终 scoring head，因此攻击行为级轨迹选择。这不是简单换 loss，而是换了对系统脆弱点的建模。

和传统 E2E AD adversarial attacks 相比，Derail 不停留在 perception degradation 或 regression error，而是研究 perception perturbation 如何经由 candidate scorer 被放大成 mode switch。和 adversarial patch 工作相比，patch 只是物理可部署载体，真正新增信息在于 patch 优化目标对准 planner scoring，而不是 detector confidence。

它属于“planning-time decision surface attack”这条谱系，更接近 attacking learned ranking/retrieval than attacking generation。看似新的 diffusion/vocabulary 统一，其实部分是已有 fixed-anchor planner 视角的重新组织；实质创新是指出这些现代 generative AD planners 在安全上共享同一个 learned scorer bottleneck，并用 PDM-aligned surrogate 系统性验证。

Dataset / Evaluation

评估主要基于 NAVSIM/OpenScene 的 offline planning benchmark，覆盖多城市、多 driving logs、多种 planner 架构，足以支持“在这些主流候选打分式生成 planner 上存在 shared white-box vulnerability”这一 claim。四个模型跨 diffusion anchor 与 vocabulary retrieval，说明现象不是单模型 bug。

但 evaluation 并没有完全验证真实部署风险。NAVSIM 是非反应式、离线轨迹评分，其他交通参与者不会对 ego 的异常行为做闭环响应；PDM 的 collision/off-road/TTC 指标能衡量规划输出危险性，但不能等价于真实车辆事故链条。物理 patch 仍是模拟贴图和可微 stitching，没有真实相机、材质、光照、运动模糊和检测/跟踪链路验证。

实验最有说服力的是 objective ablation 和 gradient alignment，而不是单纯高 ASR。跨模型 black-box transfer 很弱，这反过来限制了论文对现实黑盒攻击的外推。common defenses 无效的结果有参考价值，但都是输入预处理级防御，不能说明 margin training、certified robustness 或 downstream safety shield 无效。

Limitation

方法成立依赖几个强前提。第一，planner 必须是 fixed candidate set + learned scoring head + no post-hoc safety filter；如果系统在执行前有硬约束 collision check、drivable-area projection、MPC feasibility layer，Derail 的攻击面会被截断。第二，危险候选必须已经存在于候选集合中，并且与安全候选 score margin 足够小；如果候选生成本身被安全约束过滤，mode switch 的空间会变小。

第三，white-box 假设很强。文中虽然报告 transferability，但跨异构模型几乎不可迁移，说明扰动高度依赖具体 backbone、preprocessing 和 scorer Jacobian。真实攻击者是否能获得这种梯度访问，文中未充分说明。

第四，物理攻击的现实性仍不足。object-aware placement 使用 3D box/投影信息，patch 覆盖比例和可见性较理想化；真实世界中 patch 是否能稳定影响 BEV feature 与 scoring head，增益来源不清。

第五，理论分析偏解释性。Lipschitz amplification、mode-switch bound 和 softmax consistency 都合理，但不能量化真实模型的安全 margin，也不能证明给定 epsilon 下必然成功。它们更像事后机制解释，而不是可用于防御认证的 tight bound。

最后，论文可能把问题从“生成模型鲁棒性”转移到了“是否需要下游 safety filter”。这个结论很重要，但也意味着 Derail 本身不是对所有 generative planning 的否定；它主要攻击的是没有独立安全门控的 learned-score-only planner。

Takeaway

• 第一，生成式 planner 的安全分析不能只看 decoder family；只要最终是 learned scoring over candidates，安全瓶颈就在 ranking margin。
• 第二，攻击目标必须和最终行为指标对齐。
• 对规划系统而言，最大化模型内部 loss 往往是低效甚至错位的；直接优化 safety violation surrogate 更接近真实失效机制。
• 第三，多模态候选库是一把双刃剑。

一句话总结

这篇论文把生成式端到端驾驶 planner 的鲁棒性问题重新定义为 fixed-candidate learned scoring head 的小 margin 劫持问题，实质贡献是用 safety-aligned objective 揭示了现代 generative AD 中被“生成模型”外壳掩盖的 ranking/selection 攻击面。