精读笔记

Problem Setting

[Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See]（arXiv preprint / 2026）。这篇论文真正解决的是 RL 自动驾驶中 reward shaping 对内部表征的影响归因问题，而不是训练一个更强 planner。它关心的是：当 agent 的架构和训练数据固定时，不同 reward term 是否会把 encoder 的注意力预算推向不同语义对象。

关键矛盾在于，reward 的最终作用通常只通过 behavior metric 被观察到，但 behavior metric 太粗，无法告诉我们 reward 是否教会了模型监控正确的信息源。attention 提供了一个中间层观测窗口，但它又天然受 episode heterogeneity、token 数量不均、policy trajectory shift 影响。因此难点不是提取 attention，而是如何定义一个不会被场景基线差异淹没的统计对象。

以前路线卡在两个地方：RL driving 工作重 performance，少看 representation；XAI 工作争论 attention faithfulness，但这对 reward debugging 不一定是最重要的问题。本文的切入点更实际：不问 attention 是否解释 action，而问 reward 是否可预测地塑造 attention allocation。

Motivation

已有 reward engineering 很大程度仍是黑箱调参：加一个 TTC penalty、route progress reward 或 comfort term 后，最终看 collision/offroad/accuracy 是否变化。但如果多个 reward 配置 closed-loop accuracy 接近，就很难判断 reward 到底改变了什么。本文的动机正来自这种“行为指标不敏感，但内部表征可能已经显著不同”的观察。

作者的核心观察是，Perceiver cross-attention 天然形成一个归一化资源预算；如果 reward 真在塑造任务相关表征，那么 reward term 对应的语义对象应该在这个预算中留下系统性痕迹。navigation reward 应该让 GPS route tokens 变得重要，continuous proximity penalty 应该让 other-agent tokens 在非危险阶段也保持较高优先级。

缺口不是缺一个新 attention 模型，而是缺一种 reward-to-representation 的诊断方法。这个方向的价值在于，它把 reward design 从“只看结果”推进到“检查 reward 是否产生预期内部偏置”。

Core Idea

核心思想可以概括为：把 attention 当作 reward-conditioned representation 的测量仪，而不是 action explanation。论文利用三个 reward 配置形成一个近似 controlled intervention：basic 只有 violation penalty，minimal 加 navigation incentive，complete 再加 TTC、speed、comfort 等连续安全/舒适项。在其他条件尽量固定时，attention budget 的系统性变化就可以被解释为 reward content 对 encoder priority 的影响。

这个想法成立的直觉是，RL 的 reward 不只选择 action，也通过长期梯度塑造 state abstraction。对 Perceiver 这类 bottleneck encoder 来说，latent queries 必须在有限 attention budget 中选择哪些 token 更值得压缩进 latent state；reward term 越直接依赖某类场景因素，该类 token 越可能获得稳定预算。

和 prior 的本质区别是问题重心变了：不是“attention 是否 faithful 地解释某个动作”，而是“reward 是否在表征层产生可测的 inductive bias”。这使得 attention 分析从 post-hoc explanation 变成 reward verification。

Method

方法上真正必要的机制不多。

第一，reward hierarchy 提供了弱控制实验。basic、minimal、complete 是逐层增加 reward term 的配置，因此 GPS attention gradient 和 TTC vigilance 可以和 reward 内容做语义对齐。它解决的是 reward attribution 问题：如果只比较任意两个模型，很难知道差异来自哪里。

第二，使用 category-level attention，而不是 token-level 可视化。单个 token 的 attention 太噪，且不易跨场景比较；按 Ego、Agents、Road Graph、Traffic Lights、GPS Path 聚合后，关注的是语义资源分配。这一步的核心变化是把局部热力图转成 closed-budget representation statistics。

第三，within-episode correlation 是整篇最重要的方法修正。风险变化是 episode 内的动态变量；如果把所有 timestep pooling，不同场景的风险基线和 attention baseline 会形成混杂。先在每个 episode 内计算风险与 agent attention 的 Spearman 相关，再用 Fisher z 聚合，才是在估计“同一场景中风险升高时 attention 是否转向 agents”。

第四，token-normalized attention 是必要的 sanity check。Road graph token 占比极高，raw attention 天然大；小类别几个百分点的变化可能对应很大的 per-token density 变化。归一化不是核心贡献，但防止了对 attention fraction 的错误解读。

Key Insight / Why It Works

最核心的 insight 是 reward term 会变成 encoder 的长期注意力先验。navigation reward 不是只让策略沿 route 走，它还让 GPS path tokens 在表征预算中占据高 baseline；TTC penalty 不是只在危险时触发反应，它会让模型在安全阶段也保持对动态 agent 的 resting surveillance。这更像 representation alignment，而不是单纯 behavior shaping。

方法有效的关键不是 Perceiver 本身多强，而是 Perceiver cross-attention 提供了可审计的 bottleneck。因为 attention 是归一化预算，一个类别上升意味着另一个类别下降；这使得 reward-induced priority shift 更容易被观察到。closed budget 是这里的隐含实验设计优势。

最可能的核心贡献是 within-episode 统计框架，而不是三模型对比本身。后者的结论直觉上合理，但容易受 trajectory confound 影响；前者明确指出了 heterogeneous RL episodes 中 pooling 的统计错误，这个 insight 可以迁移到很多 RL/XAI 分析中。

哪些部分可能只是辅助：token normalization、entropy analysis、若干 scenario visualization 都主要是解释性支撑，不是决定性证据。basic model 的少量场景比较也更像 sanity reference，而不是强归因证据。

这不是 scaling paper，也不是 test-time compute 或 memory reuse。它的价值主要来自更好的 inductive-bias diagnosis：reward 通过训练信号对 state abstraction 施加选择压力，而 attention budget 暴露了这种选择压力。需要警惕的是，attention pattern 和 policy quality 的因果关系文中没有证明；更高 agent attention 不必然等于更安全的 planning。

Relation To Prior Work

它最接近三条线：RL autonomous driving reward shaping、attention/XAI、transformer-based driving representation。与 V-Max/Waymax 这类工作相比，它不是提出更强训练框架，而是拿现成框架做 reward-conditioned representation analysis。与 attention explanation 工作相比，它刻意避开 faithfulness 争论，把 attention 降格为内部资源分配指标。

看似新的地方中，有一部分其实是已有思想重组：reward shaping 改变策略、attention 可作为可视化信号、Fisher z 聚合相关系数都不是新东西。实质创新在于把它们组合成一个针对 heterogeneous RL trajectories 的诊断协议，并指出 pooled timestep correlation 会系统性低估 episode 内机制。

它属于“mechanistic diagnostics for learned policies”这条谱系，而不是“better planner”或“better XAI explanation”谱系。真正新增的信息是：在自动驾驶 RL 中，reward component 与 semantic token attention baseline 之间可以出现稳定、可解释、可统计检验的对应关系。

Dataset / Evaluation

评估使用 WOMD validation 场景和 V-Max/Waymax 风格 closed-loop simulation，覆盖真实世界记录场景但不是真实车辆部署。任务范围是结构化中端输入下的短时驾驶 rollout，不能直接外推到端到端感知、长时交互、多车博弈或开放世界 corner cases。

evaluation 对核心 claim 的支持是部分充分的。对于“pooled analysis 不合适、within-episode 更合理”，证据较强，因为它直接比较了两种统计口径并解释了 heterogeneity 来源。对于“navigation reward 提高 GPS attention”，证据也比较干净，因为 reward term 与 token 类别语义直接对应。

较弱的是“continuous TTC reward creates vigilance prior”的因果强度。complete 和 minimal 在同一 scenario 上会产生不同轨迹，因此 calm-phase attention gap 不是完全相同输入下的 controlled comparison。文中承认了这一点，但没有用 frozen replay、counterfactual intervention 或 off-policy identical observation evaluation 来消除混杂。

basic model 只在少量重叠场景上评估，这使三配置单调梯度的最弱端不够扎实。整体 benchmark 验证了 attention diagnostic 的 plausibility，但还没验证它能稳定预测真实 safety improvement。

Limitation

最大限制是因果归因不闭合。reward、policy、trajectory、state distribution、attention 都纠缠在一起；不同 reward model 在同一 WOMD scenario 下看到的状态序列并不完全相同。因此所谓 reward-conditioned attention 可能部分来自 reward 本身，也可能来自 policy 走到了不同风险区域。要做强结论，需要 identical observation replay 或 token-level causal intervention。

第二，attention 的可迁移性文中未充分说明。Perceiver LQ encoder 的 cross-attention 很适合做这种分析，但很多 driving transformer 的 attention 结构、query semantics、multi-stage fusion 都更复杂；attention budget 未必同样可解释。该方法可能依赖“输入 token 语义清晰 + attention bottleneck 显式归一化”这个前提。

第三，attention 不等于安全能力。complete model 的 agent vigilance 更高，不代表它一定形成了更好的 long-horizon planning；这可能只是 TTC penalty 诱导出的局部 threat retrieval habit。planner 是否形成长期状态建模，文中没有证明。

第四，样本规模和场景覆盖有限。50 个 validation scenarios 足以做 exploratory diagnostic，但不足以声称跨驾驶域泛化。attention reversal 很有意思，但目前更像 qualitative clue；其结构原因、稳定性和安全意义都还不清楚。

第五，增益来源不清。论文的主要结果不是性能增益，而是 attention pattern 差异；这些差异是否来自 reward term 的语义内容、训练动态、checkpoint variance、或 hidden differences in experienced states，需要更严格 ablation。

Takeaway

• 1. 最值得迁移的不是具体驾驶结论，而是统计原则：分析 RL trajectory 中的 representation-environment relationship 时，应优先做 within-episode analysis，再跨 episode 聚合。
• 2. reward design 可以被看作 representation alignment 工具。
• 好的 reward 不只优化 action，还应该在 encoder 中诱导正确的信息优先级；attention/activation diagnostics 可以成为 reward debugging 的一部分。
• 3. continuous safety shaping 可能产生 vigilance prior，这比 reactive attention 更重要：安全 reward 的作用不只是危险来临时响应，而是改变模型的默认感知姿态。

一句话总结

这篇论文不是提出新自动驾驶模型，而是把 reward shaping 重新解释为一种可诊断的 representation shaping，并给出了在异质 RL 场景中分析 reward-conditioned attention 的较有价值方法论。