精读笔记

Problem Setting

这篇论文处理的是自动驾驶系统中对象级 relevance 的建模问题：给定 ego state、goal / route intention、对象状态和预测轨迹，估计该对象是否以及多大程度会改变 ego planner 的未来轨迹。这里的关键矛盾是，感知系统倾向于尽可能多地检测和跟踪对象，但 planner 真正需要高精度处理的只是会改变决策的那部分对象。

困难点不在于做一个 object importance classifier，而在于 relevance 本身是 policy-dependent 的：同一个对象对人类驾驶员、Autoware planner、另一个 learned planner 的相关性可能不同；同一个对象在不同 ego speed、route intention、traffic rule 下也不同。以前方法卡在两个地方：人工标注路线把 relevance 变成 observer belief；在线反事实路线虽然更贴近 causal effect，但计算代价太高，而且常用的 remove-object intervention 会受到其他对象的 confounding。

Motivation

作者真正想补的是“监督信号错位”这个缺口。FoA / OIE 里的标签通常来自人类注意力或人工判断，这些标签最多说明对象在语义上、视觉上或风险直觉上重要，不保证它会改变 AV planner 的输出。对自动驾驶系统来说，更合理的定义应该是：对象是否改变系统自己的 planned trajectory。

另一个动机是 counterfactual OIE 的方向已经出现，但 prior 多是在线移除对象来判断重要性。这个设定有一个很硬的问题：如果多个对象都能单独阻止 ego 行动，移除其中任意一个都不会改变行为，于是每个对象都会被错误判为不重要。作者抓住了这个 confounding case，并把 intervention 从 remove object 改成 add object to empty reference。这个改动看似小，但决定了标签语义从“当前场景中移除后的差异”变成“单对象相对自由行驶的边际约束效应”。

Core Idea

论文的核心思想是：不要问“这个对象在人类看来重不重要”，也不要在真实多对象场景中问“移除它是否改变行为”，而是构造一个无对象 reference scenario，让 ego planner 先生成理想轨迹，再把每个对象单独加入，观察 planner 轨迹变化。这个变化量就是对象对当前 ego decision 的 relevance。

这相当于给 relevance 引入了一个非常明确的 inductive bias：相关性是 planner policy 对单对象干预的响应函数，而不是视觉 saliency、风险语义或数据共现统计。然后作者把这个响应函数通过离线 counterfactual sampling 蒸馏成 LightGBM 回归器。和 prior 的本质差异不在模型架构，而在标签生成机制：从人工 / remove-counterfactual 二分类，转成 add-counterfactual 连续回归。scalability 也主要来自这个 distillation：在线不再重跑 planner，而是查询一个 surrogate。

Method

方法的机制层面可以压缩为三步。

第一，生成 causal dataset。作者在仿真路网中采样 ego state、goal destination 和周围对象，并使用 SUMO 得到对象状态及未来轨迹。这里解决的是标签生成时需要可控、可重复、可访问 ground truth 的问题；代价是数据分布明显依赖仿真和场景设计。

第二，离线反事实标注。对每个对象，先在空场景中让 Autoware 规划 reference trajectory，再只注入该对象及其预测轨迹，让 planner 重新规划；二者位置序列的平均位移误差 ADE 被定义为 relevance。这个机制解决了人工标签错位和 remove-object confounding，但也把 relevance 明确绑定到当前 planner、当前 horizon 和 ADE metric。

第三，训练 relevance surrogate。模型输入 ego state、goal / intention、对象尺寸、类别、位置、速度、heading、预测轨迹以及地图相关编码，输出 ADE。LightGBM 的选择本质是工程上追求低延迟和小模型；它不是论文的科学核心。heatmap 则是把 surrogate 在空间网格和一组假设对象状态上批量查询，用于得到 ego state-conditioned 的 relevance field。

Key Insight / Why It Works

这篇真正有效的原因不是 LightGBM，也不是 heatmap，而是标签定义把 relevance 和 planner 的实际决策边界对齐了。只要 planner 在某类场景中的响应是稳定且可由有限状态变量解释的，那么离线反事实 query 就能采样出一个局部 response surface；回归模型做的其实是拟合这个 response surface。换句话说，它不是学到了通用交通因果规律，而是学到了“Autoware 在这个场景族里如何因单个对象改变轨迹”。

add-object intervention 是最有价值的机制贡献。remove-object 方法估计的是对象在已有联合场景中的 marginal necessity；add-object 方法估计的是对象相对自由行驶的 marginal sufficiency / constraint effect。前者在冗余约束下会漏检，后者更适合构建单对象 relevance prior。这个变化确实比二分类 OIE 更干净。

但也要明确：这里的“self-supervised causal learning”有一定包装成分。监督信号来自 planner 被反复调用后的 ADE，本质是 planner-label distillation，不是无监督发现因果结构。模型的泛化很可能主要来自数据覆盖和场景低维结构，而不是强 reasoning 能力。T 字路口、离散方向、有限路线意图、车辆-only 对象使得 relevance function 相对简单；LightGBM 能拟合好并不意外。

heatmap 的 insight 值得迁移：把 object-level relevance surrogate 转成 spatial relevance field，可以作为 perception resource allocation 的先验。但当前论文没有闭环证明 heatmap 真的提升安全性或效率；它更像一个合理的 downstream use case 展示。

Relation To Prior Work

最接近的谱系是 Object Importance Estimation + counterfactual reasoning。和 FoA / human attention 工作相比，本文不预测人看哪里，而是估计 AV planner 会被什么改变；这是从 human-centric relevance 到 system-centric relevance 的转移。和传统 OIE 二分类相比，本文把 importance 变成连续的 trajectory-effect magnitude，语义更贴近控制与规划。

和 Gupta 等、DROID 这类 counterfactual OIE 相比，差异有两层。第一，intervention 方向不同：prior 多是 remove / perturb existing object，本文是 add single object to empty scene，显式规避多对象 confounding。第二，部署方式不同：prior 更接近在线 counterfactual evaluation，本文把昂贵 planner calls 离线化，再蒸馏成 fast model。

看似新的部分中，LightGBM surrogate 和 heatmap 可视化属于已有思想重组：一个是 model distillation / surrogate modeling，一个是 spatial prior map。实质创新是 relevance label 的定义和生成方式，尤其是 add-object counterfactual 对 confounding 的处理。

Dataset / Evaluation

评估覆盖范围较窄：单一 T-shaped urban intersection，CARLA Town01 中抽取道路，SUMO 生成车辆流，Autoware 作为固定 planner，只考虑车辆对象，没有行人、自行车、复杂路口、信号灯、多车道交互、真实传感误差或预测不确定性。训练和测试来自同一合成场景族，80/20 split 更像 interpolation 评估，不是跨场景泛化评估。

实验支持的核心 claim 是有限的：在固定 planner + 固定地图拓扑 + 合成 ground truth object trajectory 条件下，离线 counterfactual ADE 可以被一个轻量模型近似，并显著快于在线逐对象重规划。论文用例也说明了人工标注可能与 planner relevance 不一致，这是有说服力的。

但它没有真正验证三个更大的 claim：第一，relevance model 是否能跨地图 / 城市场景泛化；第二，相关性估计是否能提升实际感知计算分配或规划质量；第三，在真实 perception stack 的 noisy detection / tracking / prediction 下是否仍可靠。benchmark 当前更像 proof-of-concept，而不是 deployment-level validation。

Limitation

最大限制是 relevance 被定义为单对象对 planner trajectory 的 ADE 效应，这个定义既强也窄。强在于标签清晰、可自动生成；窄在于它忽略多对象组合效应。如果两个对象单独加入都不会影响 planner，但同时出现会造成冲突，当前标签机制会漏掉这种 higher-order relevance。作者在 future work 中提到 mutual influence，说明他们也知道这是结构性问题。

第二，方法高度绑定 planner。所谓 relevance 不是环境客观属性，而是 Autoware 在特定配置、horizon、cost function、traffic rule 处理下的输出响应。换 planner 后 relevance function 可能整体改变，需要重新生成数据并训练。这个问题不是缺点本身，但论文对“general relevance model”的措辞容易让人误解。

第三，ADE 不是完整安全指标。对象可能不显著改变轨迹位置，但改变速度 profile、time-to-collision margin、comfort、rule compliance 或 contingency space；反过来，大 ADE 不一定等于高风险。文中未充分说明为什么 ADE 是 relevance 的最佳或充分度量。

第四，当前结果可能主要来自场景低维和数据覆盖。T 字路口中对象路径、ego 意图和冲突区域都非常有限，模型更像学习了路口几何上的 lookup / interpolation。泛化可能依赖 benchmark overlap，而不是形成可迁移的因果表示。

第五，offline counterfactual 把在线计算问题转移为离线数据生成和覆盖问题。要覆盖真实城市、多对象类型、复杂交互、不同天气和感知误差，counterfactual dataset 的规模可能迅速膨胀。论文没有给出 scaling law 或覆盖策略，增益来源不清，可能主要来自受控场景简化。

Takeaway

• 1. 最值得保留的 insight 是：对象相关性应尽量定义为 AV policy 的干预响应，而不是人类注意力或人工风险直觉。
• 这一点可迁移到 perception prioritization、V2X object filtering、planner explanation 等问题。
• 2. add-object counterfactual 是一个比 remove-object 更适合单对象 relevance prior 的设计，尤其在存在冗余约束或多个对象共同阻塞 ego 行为时。
• 这个 intervention choice 本身比模型架构更重要。

一句话总结

这篇论文把自动驾驶对象重要性从人工语义判断推进到 planner-conditioned counterfactual response distillation，实质贡献是用 add-object 反事实生成连续相关性标签，并用轻量模型替代在线重规划。