精读笔记

Problem Setting

这篇论文真正解决的是自动驾驶 policy 的“内部能力归因”问题：闭环 driving score 提升时，模型到底学到了可用于规划的他车预测，还是只是学到了在 nominal WOMD 分布上有效的行为启发式。困难点在于外部行为指标和内部机制之间没有一一对应关系：同样的低 collision rate 可以来自真实交互建模，也可以来自数据偏置、保守驾驶、lead-car heuristic、或者 ego-state-only extrapolation。以前方法主要卡在两个层面：open-loop/closed-loop benchmark 只能评价结果，不能说明模型是否及时识别 safety-critical agents；interpretability/probing 工作又常停留在“能否读出某信息”，没有把读出的 prediction error 连接到 ego planning consequence。关键矛盾是：安全驾驶需要对罕见交互做提前预测，但训练/评测分布大多由 straight/nominal scenes 主导，因此模型最容易优化的是常见行为拟合，而不是长尾风险建模。

Motivation

已有路线不够，是因为 nominal closed-loop success 本身没有诊断力。一个 policy 可以在大多数场景中沿车道、跟随前车、避免明显碰撞，从而拿到不错分数，但这并不证明它形成了可泛化的多智能体预测。作者抓住的缺口是：如果 surrounding vehicles 真的是 planning 的输入条件，那么模型内部应该同时满足两个性质：其一，能在 collision-relevant time scale 上编码他车未来；其二，当这个他车未来被改变时，ego plan 应该随之发生语义一致的改变。很多 prior 只看前者或只看行为扰动，缺少从 internal prediction error 到 ego planning error 的链条。本文的动机因此不是再做一个更好的 planner，而是验证 scaling 带来的 performance gain 到底是不是 capability gain。

Core Idea

核心思想是把自动驾驶 policy 看成一个隐式 world-model/planner 混合体，然后用线性 probe 读出两个 latent variables：surrounding-agent future prediction 与 ego future plan。若模型真的在内部用他车预测来规划，那么这两个变量不应只是可读出，还应存在可干预的因果耦合：修正某个他车的 latent prediction 后，ego plan 应该向更合理的轨迹移动；构造潜在冲突后，ego plan 应该出现避让或减速。

和 prior 的本质区别在于，它不满足于“policy 表现好”或“latent 中有某种信息”，而是把 probing 从静态表征分析推进到 planning dependency test。它引入的 inductive bias 不是模型训练结构上的，而是评估假设上的：真正的 planning representation 应当是 conditionally adaptive 的，而不是只对 ground-truth future 可线性解码。这个框架更 scalable 的地方在于它可以跨 BC、RL、IL 模型使用，不依赖具体 planner 结构；但这也意味着它的解释力高度依赖 probe 是否忠实。

Method

第一，scaling sanity check 用来确认被分析模型确实随数据/训练规模获得闭环收益。它解决的是“probe 一个弱模型没有意义”的问题，但本身不是贡献核心；它只是建立后续问题：闭环变好是否对应内部 prediction/planning 变强。

第二，surrounding-vehicle linear probing 试图测量模型内部是否保存他车未来位置。raw-input probe 是必要对照，因为交通轨迹本身有强惯性和地图先验，很多未来位置从输入直接线性可读；只有 LP-Raw 的差值才更接近“模型额外组织出的表征”。这里的核心变化是把表征质量定义为相对输入的增量，而非绝对 probe accuracy。

第三，future-distance 与 near-collision 分析把 probe 从平均预测能力拉向 safety relevance。平均 F1 容易被 straight/nominal vehicles 主导，而安全性依赖少数即将接近 ego 的车辆。作者用未来距离和 collision 前窗口检查模型是否提前提升对关键车辆的信号；这一步直接暴露了 scaling 的上限：模型能过滤远处无关车辆，但不一定能早识别真正危险车辆。

第四，random vehicle removal 是行为层面的反事实测试。理论上，去掉他车应降低交互难度；若性能反而下降，说明 policy 对“场景中存在他车”这一分布特征有依赖，而不是只把他车作为约束对象使用。这是检测 spurious dependency 的粗粒度但有用的实验。

第五，latent intervention 是最关键机制：沿 surrounding probe 的 label direction 修改选定他车早期表示，再观察 ego probe 的后期规划是否变化。它解决的是相关性不足的问题：如果 ego plan 会随被修正/扰动的他车预测改变，说明 prediction representation 至少部分进入了 planning computation。

Key Insight / Why It Works

这篇最有价值的 insight 是：自动驾驶中的“预测能力”不能只看 forecasting accuracy，而要看它是否在正确时间、对正确对象、以可被 planner 使用的形式出现。模型可能总体上能预测很多车辆，但如果 collision 前 40/30/20 steps 没有把关键车辆编码出来，到 10 steps 前才反应，本质上仍是 planning failure。这个判断比单纯闭环 collision rate 更接近安全问题。

方法有效的原因主要来自 representation alignment，而不是新 planner。probe 把 latent space 中的 future-position directions 显式化，intervention 再用这些 directions 改变局部 belief，观察 ego plan 是否响应。若 latent geometry 足够线性且语义 directions 可组合，那么这种干预能近似测试“planner 是否条件化于他车预测”。因此核心贡献不是 linear probing 本身，而是把 probe 方向用于 causal-style editing，并把 prediction error 与 ego planning recovery 连接起来。

不过，部分结果很可能主要来自 scaling / data coverage。BC 随数据增长在 nominal 和 straight cases 上 probe gain 增强，这不一定说明学到了更强交互推理，更可能是覆盖了更多常见轨迹模式。RL 近距离/短视野预测较强，也可能来自 simulator/self-play objective 强化了短期 avoidance，而不是长期 scene understanding。SMART 在长 horizon 上更稳，符合其轨迹预测模型定位，但这也意味着模型结构和训练目标本身已经内置 forecasting bias。

最值得警惕的是“planning”可能被 probe 过度解释。ego-linear probe 读出的未来位置不等于模型显式维护的 plan；它可能只是 action distribution、goal prior、map-following feature 的线性投影。intervention 成功说明 latent edit 能影响 ego probe，但未必说明真实控制策略会等价改变，尤其如果只在 probe space 评价而非完整闭环 rollout。文中对此没有充分消解。

整体看，本文不是证明模型已经具备可靠 reasoning，而是证明当前模型的 reasoning 缺口可以被内部表征诊断出来：它们有一些可用的 prediction-planning coupling，但 attention/relevance timing 错了，长尾交互仍未被提前建模。

Relation To Prior Work

它最接近三条路线：自动驾驶 scaling laws、closed-loop perturbation/robustness evaluation、以及神经网络 probing/representation intervention。和 scaling law 工作相比，本文不是问“更多数据是否让指标变好”，而是问“指标变好是否对应 prediction/planning latent 变好”；这是从 performance scaling 转向 capability scaling。和 motion forecasting / planning benchmark 相比，它不把 forecasting head 的输出当作能力证据，而是看 policy 内部是否隐含 forecasting signal。和 interpretability probing 相比，它的新增点是把 probe 用于 intervention，而不只是读出信息。

看似新的部分其实不少是已有思想重组：linear probing、raw baseline、latent direction editing、closed-loop perturbation 都不是新技术。实质创新在组合方式：把 safety-critical timing、surrounding-agent representation、ego-plan adaptiveness 放在同一实验链条中检验。它属于 mechanistic evaluation for embodied policies / autonomous driving interpretability 这条谱系，而不是 planner architecture 论文。

Dataset / Evaluation

评估覆盖 BC、RL、SMART(IL) 三类模型，这让结论不完全依赖单一训练范式；WOMD/GPUDrive 提供了大规模多车场景和可闭环模拟，适合研究 nominal-to-interactive 的分布偏置。但任务覆盖仍明显受限：过滤掉 traffic lights 和 overpasses，且主要是轨迹级模拟，不是 sensor-to-control 的真实驾驶栈；没有真车、没有真实部署闭环，也没有系统覆盖复杂城市语义、遮挡、不确定交通规则和非车辆参与者。

benchmark 对核心 claim 的支持是部分充分的。random removal 支持“模型存在 spurious dependence”；near-collision probe 支持“关键他车编码太晚”；intervention 支持“预测表征能影响 ego plan”。但它没有完全证明更好的内部预测会在真实闭环中稳定减少事故，因为很多 intervention 结果是在 probe-decoded planning 上观察，且人工筛选 valid cases。evaluation 也可能受 WOMD 分布重叠影响：模型在 benchmark 上的所谓 planning 可能仍是对常见轨迹模式的 retrieval/extrapolation，而非可泛化交互推理。

Limitation

第一，方法成立依赖线性 probe 的忠实性。可线性读出不等于模型实际使用；沿 probe weight 干预不等于真实修改因果 belief。若 latent space 中 future labels 与其他 confounders 共线，intervention 可能同时改变了速度、距离、场景类型等混合因素。

第二，prediction 表示被离散成 8×8 grid，空间分辨率和时间连续性都很粗。安全驾驶中的关键往往是相对速度、TTC、可达集、交互意图和不确定性，而不是单个 future cell。当前 probe 可能把真正重要的连续结构抹掉。

第三，scaling 结论的增益来源不清。闭环改善、LP-Raw 增强、near-horizon 表征增强都可能主要来自数据覆盖和常见模式拟合，而不是模型获得了抽象交互规则。尤其 nominal straight/uncategorized 占比很高，模型最容易学到的就是低熵轨迹先验。

第四，所谓 planning 可能仍然是短期 reactive behavior。RL 在短 horizon 上更强、长 horizon 衰减，BC 后层更偏 ego plan，都说明模型可能没有形成稳定长期状态建模，而是在 action-relevant horizon 内压缩局部反应特征。

第五，离线数据与模拟闭环之间仍有 deployment gap。去掉他车导致性能下降是有趣发现，但也暴露了评测环境和训练分布的耦合：模型可能学到了 WOMD replay ecology，而不是真实道路上的因果交互结构。

Takeaway

• 1. 以后评价自动驾驶 policy，不能只问 closed-loop score，而要问内部表征是否在正确时间编码正确对象，并且是否影响 ego planning。
• 2. Prediction 与 planning 的关系应通过 intervention 而非 correlation 检验；单纯 probe 出 future 信息只能说明 latent 中有信息，不能说明 planner 在用它。
• 3. Scaling 可以让模型更好忽略显然无关的 agents，但未必让模型识别真正 safety-critical agents；长尾交互需要更强的数据设计、辅助目标或架构 bias，而不是只加数据。
• 4. 这套 probing/intervention 思路可迁移到其他 embodied policy：把 latent 中的 world-state belief 与 action/plan representation 连接起来，诊断失败到底来自 perception/prediction 还是 planning coupling。

一句话总结

这篇论文在自动驾驶方向中的位置是：它不是提出更强 planner，而是把 probing 从“读出内部信息”推进到“诊断内部预测错误如何因果影响 ego planning”的机制化评估框架。