精读笔记
Problem Setting
这篇论文真正解决的是生成式端到端自动驾驶 planner 的最终决策鲁棒性，而不是生成模型本身是否会被扰动。它指出当前很多 generative planner 虽然包装成 diffusion denoising、trajectory vocabulary 或 multi-head retrieval，但执行链路上都落到同一个瓶颈：基于 BEV feature 给固定候选轨迹打分，然后取最高分轨迹。
真正困难点在于攻击目标必须穿过一个离散选择边界。让视觉特征变坏、让 diffusion denoising loss 变大，未必会让最终 top-1 轨迹变危险；planner 的安全失败发生在 candidate ranking 被翻转时，而不是发生在中间 feature norm 变大时。以前方法卡在目标错位：它们优化的是模型训练目标或 representation divergence，而不是 planner 最终 safety metric 的 failure mode。
这个任务的关键矛盾是：生成式 planner 用固定候选集提升多模态性和实时性，但固定候选 + learned score 也把连续鲁棒性问题变成了小 margin 的离散分类问题。一旦候选集中存在危险但分数接近的轨迹，视觉扰动只需要跨过 score margin，而不需要“生成”一条全新危险轨迹。
Motivation
已有路线不够的原因是攻击面选错了。机器人 manipulation 里的 diffusion policy attack 通常攻击长 denoising chain 的 noise prediction loss，但 AD planner 为了实时性往往只有很短 denoising，甚至本质是 vocabulary retrieval；最终轨迹由 scoring head 决定，而不是由连续 sampling 过程自由生成。
作者的核心观察是：不同 planner family 的表面差异掩盖了共同结构，即 perception feature 被 scoring head 直接转成 motion command，中间缺少非学习式几何/动力学安全检查。这个结构让 learned score 成为唯一 barrier，也使得 adversarial perturbation 不必破坏整个 planner，只要改变候选排序即可。
关键缺口是缺少 safety-objective-aligned attack。现有 generic PGD、encoder attack、DP-Attacker 都没有显式问“怎样让最终轨迹撞车、越界、急刹”，因此它们产生的梯度可能与真正危险方向正交。Derail 填的正是这个目标对齐缺口。
Core Idea
Derail 的核心思想是把攻击从 model-centric degradation 改成 behavior-centric mode switching。它不把 generative planner 当作一个要被整体破坏的黑盒，而是把它视为一个 fixed candidate classifier：候选轨迹已经存在，危险模式也通常已经在候选集中，攻击只需要让 scoring head 把危险候选排到安全候选前面。
这个建模方式引入的 inductive bias 很明确：攻击目标直接在 trajectory behavior space 中定义，而不是在 feature space 或 training loss space 中定义。forward aggression 对应追尾/低 TTC，boundary push 对应越界/逆行，sudden braking 对应 comfort/progress failure；这些 surrogate 虽然粗糙，但和 PDM safety axes 更同向，因此比 denoising loss 更容易产生有效决策翻转。
和 prior 的本质区别不在优化算法，而在信息流重组：prior 从输入扰动推到内部 loss，再希望最终行为变坏；Derail 从最终 unsafe behavior 反向定义梯度，再通过 relaxed scoring head 回传到输入。这使它更 generalizable 到 diffusion 与 vocabulary planner，因为它依赖的是共享的 scoring-head selection pattern，而不是某个 decoder 的训练细节。
Method
方法层面最关键的是 scoring-head abstraction。作者把 DiffusionDrive 和 GTRS variants 统一成 image/BEV encoder、fixed candidate set、learned score、top-1 selection、无 post-hoc filter 的五段链路。这一步解决的是攻击对象不统一的问题：只要最终是 fixed candidate scoring，攻击就可以不关心 decoder 被命名为 diffusion 还是 retrieval。
第二个关键机制是 softmax relaxation。top-1 argmax 本身不可导，直接攻击最终离散选择不可行；用 temperature softmax 得到 relaxed trajectory 后，loss 可以对候选分数产生梯度。它带来的核心变化是把“翻转候选排序”转化为可优化的连续 surrogate，而 evaluation 时仍然使用原始 hard selection。
第三个机制是 safety-violating objective。Derail 不需要 ground truth future，也不最大化训练 loss，而是直接最大化三类行为违规方向。这里的必要性在于攻击目标必须和 PDM failure mode 同向，否则有限 perturbation budget 会浪费在不改变候选排序的方向上。
physical patch 和 EOT 是部署形态扩展：它们说明同一个 safety objective 可以在更受限扰动空间里使用。但从机制贡献看，patch 不是核心；它更多验证 scoring-head attack surface 不只存在于数字像素攻击。
Key Insight / Why It Works
这篇论文最重要的 insight 是：生成式 AD planner 的脆弱性不主要来自“生成模型会 hallucinate”，而来自“生成式多模态输出最后被一个 learned scorer 离散选择”。如果候选集中已经有危险轨迹，攻击不需要构造危险轨迹，只需要 hijack scorer。这使攻击难度从连续轨迹生成降为候选分类 margin crossing。
Derail 有效的主要原因是 representation alignment，而不是 scaling、复杂优化或更强 PGD。它把梯度方向对齐到安全指标定义的 failure axes；实验中的 gradient alignment 分析基本说明了这一点：DP-Attacker 的梯度和 collision reference 接近正交，而 Derail 梯度系统性同向。这也解释了为什么在相同扰动预算下 Derail 明显更强。
最可能的核心贡献是“scoring head as attack surface”这个抽象，以及 safety-violating surrogate 和 scoring relaxation 的组合。forward aggression / boundary push / braking 三个 loss 本身并不复杂，甚至有点手工；但它们足够贴近 NAVSIM PDM 的乘法式安全指标，因此攻击效率高。这里也要直接指出：一部分效果可能来自 evaluation metric alignment，Derail 的 loss 与 PDM sub-metrics 高度同构，存在 benchmark-specific optimization 的成分。
候选集密度既是生成式 planner 的优势，也是攻击面的来源。dense vocabulary 提供更多近邻危险候选，小 margin 更常见；multi-head safety scorer 能提高一些 margin，但如果这些 safety heads 仍是 learned heads 而非真实几何检查，攻击仍可同时欺骗它们。因此所谓 safety-aware scoring 不是安全过滤，它只是另一个可被梯度操纵的 learned objective。
论文中的理论 bound 主要是解释性而非决定性证据。Lipschitz / amplification 分析说明扰动可能被 encoder 和 decoder 放大，但常数不可观测，无法真正预测攻击成功。真正支撑机制的是目标对齐实验、loss ablation 和跨模型架构一致性，而不是 appendix 里的形式化推导。
Relation To Prior Work
这篇工作最接近三条线：第一是 adversarial attacks on E2E driving，第二是 diffusion policy attack，第三是 trajectory retrieval / scoring planner 的鲁棒性分析。它不属于传统 perception attack，因为它关心的是最终 planned trajectory；也不完全属于 diffusion attack，因为它认为 AD 中 diffusion decoder 不是主要攻击面。
相对 DP-Attacker 的本质差异是目标层级不同。DP-Attacker 攻击训练模式下的 denoising objective，假设破坏生成过程会破坏行为；Derail 攻击 evaluation-time scoring decision，直接操纵最终候选选择。这是实质差异，不是 baseline 换 loss 的小改动。
相对 generic PGD / encoder feature divergence，Derail 的新增信息是安全语义对齐。feature divergence 只说明模型内部 representation 变了，但不知道变到哪里；Derail 明确规定要变向碰撞、越界、急刹方向。这也是它能解释 failure mode 的原因。
看似新的部分里，softmax relaxation、PGD、EOT patch 都是已有思想重组，不是创新点。实质创新是把当前 generative AD planner 统一看成 fixed-candidate scorer，并指出 learned scoring head 在无后验安全过滤时是系统性 attack surface。这比“又提出一个攻击 loss”更重要。
Dataset / Evaluation
评估主要基于 NAVSIM / OpenScene 的离线规划 benchmark，覆盖多城市、多 log、多种 planner family，但仍然是非真实部署环境。它能较好验证论文的核心 claim：在当前主流生成式 AD planner 的 evaluation pipeline 中，scoring-head selection 可以被 safety-aligned input perturbation 翻转。
benchmark 支持“当前模型族存在共同攻击面”这一结论，但不足以支持“真实自动驾驶系统会以同等程度失效”。NAVSIM 的 PDM score 是离线模拟指标，缺少闭环 agent reaction、真实控制器冗余、多传感器一致性检查和系统级 safety monitor。尤其是 digital per-frame white-box attack，本身更像 worst-case diagnostic，而不是现实威胁模型。
physical patch 实验增强了现实相关性，但其 all-log 效果明显弱于 digital attack，且主要诱发 frontal collision / TTC degradation，对 off-road 和 wrong-way 的影响有限。这说明 patch 结果证明“存在可部署风险”，但还没有证明 robust physical attack 在真实世界中稳定成立。
cross-model transfer 很弱是一个重要负结果。它说明攻击高度依赖模型 Jacobian、preprocessing 和 backbone；因此论文的 generality 更多是 architectural-vulnerability generality，而不是 perturbation transferability generality。
Limitation
Derail 成立的前提相当强：白盒访问、可对输入做梯度扰动、planner 最终从固定候选集中选择、危险候选已存在、scoring margin 足够小、没有非学习式后验安全过滤。任何一个前提被破坏，攻击强度都可能显著下降。
方法的上限在于它不是在发现新规划失败，而是在重新排序已有候选。若候选集经过严格安全约束生成，或 top candidates 通过 reachable set / collision checking / rule-based shield 过滤，Derail 的核心路径会被切断。换句话说，它攻击的是 learned selection，不是物理可行性本身。
泛化性需要谨慎看待。论文证明了跨 planner family 的白盒有效性，但 black-box transfer 几乎不强；这意味着所谓“共同攻击面”是结构层面的，不等于一个扰动能跨系统泛化。真实 deployment 中模型集成、sensor fusion、temporal smoothing 可能进一步降低 transfer。
增益归因仍有一部分不清。Derail loss 与 NAVSIM PDM sub-metrics 高度对齐，因此性能提升可能部分来自 benchmark-aware objective engineering，而不是发现了更普适的 unsafe driving manifold。文中未充分说明这些 surrogate 在不同评价协议、闭环仿真或真实道路规则下是否仍然同样有效。
理论分析的说服力有限。Lipschitz bound 和 decoder amplification 解释方向正确，但常数过松且不可验证，无法作为攻击成功的预测模型。它更像为观察到的 vulnerability 提供形式化语言，而不是严格机制证明。
Takeaway
- 第一，生成式 planner 的安全性不能只看生成质量或多模态覆盖，还必须看最终 candidate scorer 的 margin 和是否有非学习式 safety gate。
- scoring head 正在成为 AD planner 的新攻击面。
- 第二，攻击/鲁棒性评估应该从 training-loss robustness 转向 behavior-objective alignment。
- 对 planner 而言，feature corruption 是否发生不重要，重要的是是否改变最终可执行轨迹。
一句话总结
这篇论文把生成式端到端驾驶 planner 的鲁棒性问题从“攻击生成模型”重新定位为“攻击固定候选集上的 learned scoring head”，其真正贡献是揭示并实证了 safety-aligned mode-switching 这一跨 diffusion / retrieval planner 的结构性攻击面。