精读笔记

Problem Setting

[Mind the Noise: Sensitivity of Transformer-based Interaction-Aware Trajectory Prediction Models to Noisy Data]（arXiv preprint / 2026-06-23）

这篇论文真正问的是：基于 Transformer 的 interaction-aware trajectory predictor 在真实、有噪声的 object state 输入下是否仍然可靠。它不是在改进 DeMo++，也不是提出新的 forecasting architecture，而是在挑战当前 motion forecasting benchmark 的一个核心假设：输入历史轨迹和周围 agent 状态是干净、连续、准确的。

真正困难点是，interaction-aware 模型的优势恰恰来自使用更多上下文 agent；但真实部署中，越远、越遮挡、越依赖 V2X 的 agent，其状态误差往往越大。于是任务的关键矛盾变成：模型需要更多远距离上下文来推断交互，却没有机制区分“有用上下文”和“高噪声上下文”。这会让 attention 从信息聚合器变成噪声传播器。

Motivation

已有路线默认 long-range high-quality dataset 是合理训练/评估代理：Argoverse 2 这类数据通过多车/多视角融合获得大范围 agent 覆盖，再通过离线后处理去掉检测和跟踪噪声。这个设置有利于比较模型表达能力，但对部署鲁棒性非常乐观。

作者的核心观察是：当前 SOTA 的高精度可能不是模型真的学会了鲁棒交互推理，而是大量依赖 curated object state。尤其在 CAV/V2X 场景下，ego 车看到的远距离目标常常不是本车传感器直接测得，而是经由其他车辆或路侧单元发送；发送端 GNSS/localization error 会直接污染接收端对目标位置的估计。缺口因此不是“缺一个更强 forecasting model”，而是“缺一个带真实状态估计不确定性的评估分布”。

Core Idea

论文的核心思想很直接：不要只在去噪后的 world state 上评估 interaction-aware Transformer，而要把真实观测链路中的噪声重新放回输入端，看模型对 observation noise 的敏感性。这个思想的重要性在于，它把 motion forecasting 从 oracle-state conditioning 拉回到 noisy-state conditioning。

本质区别在 evaluation assumption，而不是模型结构。prior work 大多比较架构如何更好地建模 agent-agent / lane-agent interaction；这篇论文则指出，在部署中 interaction graph 本身可能就是错的。对 Transformer 来说，这尤其危险：attention 没有显式 uncertainty calibration，错误 agent state 仍会参与上下文聚合，甚至因为几何位置、速度、航向变化触发错误交互模式。

Method

方法只保留了一个关键机制：在 Argoverse 2 的输入历史轨迹中注入两类现实噪声，然后用原 DeMo++ 做推理。

第一类是 local perception noise，用距离相关的零均值高斯扰动模拟车载传感器对可见目标的位置、速度、航向估计误差。它解决的是“近距离观测也不是 oracle”的问题，核心变化是让模型输入从平滑轨迹变成带感知不确定性的测量序列。

第二类是 V2X noise，用不同强度的位置高斯噪声扰动 ego 车无法本地检测、需要通过通信获得的目标。它解决的是“长距离上下文并非免费”的问题，核心变化是把远距离 agent 从高价值上下文变成高风险上下文。

检测概率和遮挡规则用于决定目标由本地感知还是 V2X 提供。这个划分比单纯全局加噪更贴近部署逻辑，但仍然是较粗的 observation model。

Key Insight / Why It Works

这篇论文最有价值的 insight 是：当前 interaction-aware forecasting 的性能可能高度依赖“干净交互图”。DeMo++ 这类模型把 agent history、lane topology、agent-agent relation 作为结构化上下文输入，但它没有显式建模每个 agent state 的观测置信度。因此，一旦某些 agent 的位置或历史轨迹被扰动，模型不只是局部预测变差，而是交互关系、意图推断、多模态候选排序都会被连带破坏。

退化更明显地体现在 minADE 相对增幅大于 minFDE，这说明噪声不只是影响终点，而是在破坏整条轨迹的形状和时间一致性。换言之，模型学到的可能不是对真实动态系统的鲁棒 latent structure，而是对 benchmark 中平滑、精确轨迹模式的条件生成。

最可能的核心贡献不是噪声模型本身，而是把“long-range context improves prediction”这个领域共识加上了条件：long-range context 只有在状态估计足够可信时才成立。否则，更多 agent 可能只是更多错误交互证据。

哪些部分可能只是辅助：具体选择 DeMo++、具体噪声强度、具体 Gaussian assumption 都不是本质贡献。结果的强弱可能依赖 DeMo++ 的训练分布、Argoverse 2 的后处理程度以及 V2X 噪声注入方式。文中未充分说明退化是否是 Transformer attention 的普遍问题，还是 DeMo++ 特定设计导致。

我会直接判断：这篇更像一篇 deployment realism / benchmark critique paper，而不是方法论文。它的价值在于暴露 evaluation bias，而不是提出解决方案。

Relation To Prior Work

它最接近的不是 DeMo++、SEPT、FutureNet-LOF 这类模型改进论文，而是 dataset realism、cooperative perception、out-of-sight prediction 和 robustness evaluation 这条线。与主流 motion forecasting work 的本质差异是：主流工作把更多上下文看作性能增益来源，这篇把上下文质量作为风险源。

看似新的地方不是“给轨迹加噪”本身，而是把噪声与自动驾驶感知链路绑定：本地传感器误差随距离变化，远距离/遮挡目标通过 V2X 引入发送端定位误差。这个建模把 forecasting benchmark 和 CAV deployment 连接起来，是比简单 adversarial/noisy input 更有工程含义的设置。

实质创新较有限：没有新的 architecture、training objective、uncertainty representation 或 robust decoding。它更像是把已有 robustness concern 放进 SOTA motion forecasting 的具体语境中，并用 DeMo++ 给出一个清晰反例：benchmark 上的 SOTA 不等于 deployment-ready。

Dataset / Evaluation

评估覆盖的是 Argoverse 2 上的 DeMo++，任务场景具有大规模、多城市、长距离、多 agent 特征，因此足以代表当前高质量 motion forecasting benchmark 的典型设置。但它不是跨数据集、跨模型、跨传感器栈验证，也没有真实车端闭环或真机部署实验。

实验确实支持核心 claim：在输入状态噪声增强时，DeMo++ 精度显著、单调退化；而且 top-1 ranking 在高噪声下不可靠，说明置信度并不能自动反映预测正确性。但 evaluation 仍主要是 offline open-loop metrics，无法说明对 planning safety 的实际影响。例如 minADE/minFDE 变差是否对应 collision risk、rule violation 或 planner conservatism，文中没有验证。

另一个 limitation 是噪声模型偏理想化：zero-mean Gaussian 难以覆盖真实感知中的偏置、延迟、track ID switch、漏检、虚警、地图配准误差和通信异步。benchmark 验证了“加这种噪声会坏”，但还没有完整验证“真实部署噪声会以同样机制导致坏”。

Limitation

最大限制是增益/退化归因不清。论文显示 DeMo++ 对噪声敏感，但没有拆解敏感性来源：是历史轨迹 encoder 对局部扰动脆弱，还是 agent-agent attention 误聚合，还是 lane-agent relation 被错误位置触发，还是多模态 candidate scorer 在 OOD 输入下失准。文中未充分说明。

泛化性也未充分建立。只测一个 SOTA 模型和一个数据集，不能推出所有 Transformer-based interaction-aware 模型同等脆弱。某些带 explicit uncertainty、tracking/filtering 前端、map-constrained decoding 或 noise augmentation 的模型可能表现不同。

噪声设定仍然把问题简化成连续 state perturbation，没有处理真实部署最麻烦的离散错误：目标不存在、目标丢失、ID 切换、遮挡后重识别失败、V2X packet delay、坐标系误配准。这些错误可能比 Gaussian position noise 更致命。

还有一个隐含前提是 ground truth future 不变，只污染输入历史；但真实系统中，感知误差、通信延迟和规划反馈会共同改变闭环状态分布。offline benchmark 与真实 deployment 的鸿沟仍然存在。

Takeaway

• 1. motion forecasting 的下一阶段不能只比 clean benchmark 精度，必须显式评估 noisy observation-conditioned prediction。
• 2. interaction-aware 模型的核心风险是把不可信 agent 当成可信上下文；未来更重要的不是盲目扩大感知/通信范围，而是为每个上下文 token 建模 uncertainty、source 和 freshness。
• 3. long-range V2X context 的价值需要重新定义：它不是天然增益，而是一个带噪声、延迟和配准误差的信息源；forecasting model 应该学会选择性使用，而不是全量 attention。
• 4. 值得迁移的 insight 是 benchmark realism：任何依赖 curated global state 的预测/规划模型，都可能在真实 observation distribution 下出现系统性退化。

一句话总结

这篇论文不是提出更强的轨迹预测模型，而是把当前 interaction-aware Transformer 的高精度重新放到 noisy deployment distribution 下审视，指出其核心短板是对干净长距离上下文的隐性依赖。