精读笔记

Problem Setting

这篇论文解决的不是传统意义上的 cooperative perception，而是 cooperative planning 的系统级接口问题：如何让端到端 planner 在真实 V2X 约束下利用外部观测。以前 UniV2X / UniMM-V2X 这类方法把协同信息组织成 BEV feature、occupancy 或 query，再在统一空间里融合；这在 benchmark 上有效，但部署上卡在三处：通信量大、不同模型特征不可互操作、协同数据需要昂贵标注和同步。

真正困难点是：规划需要的是少量与动作相关的信息，但协同感知方法通常传的是高维场景表示；而标准 V2X 消息虽然轻量、可部署，却与深度 planner 的内部表征不对齐。本文的关键矛盾就是“部署标准化 / 低带宽”与“端到端 planner 可学习 / 高性能”之间的张力。

Motivation

作者不满足于继续压缩 BEV feature，因为那仍然默认协同驾驶必须先构造一个共享空间表征。这个假设本身很重：它要求标定、坐标对齐、dense perception supervision 和模型间特征一致性。现实中更自然的 V2X 接口其实是对象级状态和地图消息，而不是神经网络中间 feature。

核心观察是：如果下游只评估未来轨迹，那么 planner 未必需要显式重建完整 3D 世界；它只需要在生成轨迹时能从多源上下文中取到足够证据。缺口在于已有 E2E 协同方法缺少一个“标准消息 → planner condition”的稳定接口，也缺少把大规模 ego-only driving prior 迁移到小规模 V2X 数据的机制。

Core Idea

OmniV2X 的真正核心是建模方式的替换：从 rigid spatial feature fusion 转向 conditional sequence generation。ego 图像、导航命令、基础设施对象、地图都被看作独立 context sequence；future waypoint / displacement tokens 则作为生成目标，通过 cross-attention 查询这些 context。它不要求多源信息先在一个共享 BEV grid 中相互对齐和融合，而是把对齐压力转移到 planner 的条件生成过程里。

这个设计引入的 inductive bias 是 action-centric retrieval：上下文不是为构造通用场景表示服务，而是为当前未来轨迹生成服务。理论上这更 scalable，因为 context token 数增加时，不需要做 context-context 的全局 self-attention；也更 generalizable，因为 V2X 消息可以是标准化的对象状态，而不是某个模型私有 feature。它和 prior 的本质区别不在“用了 Transformer / flow”，而在信息流方向：prior 是 perception representation 驱动 planning，这里是 planning query 主动抽取 perception evidence。

Method

关键机制可以压缩成四个。

第一，V2X 侧使用 SDSM / MAP 这类标准化实例 token，而不是 BEV feature。它解决的是通信和互操作性问题；核心变化是协同信息从模型内部 latent feature 变成物理语义明确的对象 / 地图状态。

第二，各模态独立编码后只做 normalization、segment embedding 和序列拼接。它解决的是异构输入尺度和来源不同的问题；但它有意避免早期融合，让 planner 自己学习使用哪些 token。

第三，planner 用 cross-attention injection。它解决长 context 下 joint attention 的内存瓶颈，同时形成 action-token 查询 context-token 的结构。这里最重要的是去掉 context-context attention，不再花算力在“让所有观测彼此融合”，而是只保留“轨迹 token 查询观测”。

第四，生成目标用 step-wise displacement，并采用 rectified flow。displacement 主要是在减少绝对位置 / 路口记忆，flow 则提供连续轨迹生成和可调 test-time compute。相比这些，冻结视觉 backbone 与 ego-only 预训练更像方法成立的基础设施：它们稳定了输入空间，使 V2X fine-tuning 不必重新学习驾驶常识。

Key Insight / Why It Works

最可能真正有效的部分不是“生成模型”这个标签，而是三件事叠加：稳定的 ego driving prior、标准化 sparse V2X evidence、action-conditioned retrieval。

第一，单车预训练提供了大部分驾驶能力。Table III 中 1% V2X 数据已经接近 full data，说明模型不是主要从 DAIR-V2X 学会开车，而是在少量协同数据上学习何时读取 V2X token。这里本质上是 curriculum / transfer：先学通用短时驾驶，再学外部证据使用。

第二，V2X token 的作用更像 sparse correction，而不是完整协同世界建模。基础设施 detector 已经把图像 / LiDAR 压缩成对象状态，planner 拿到的是高语义、低熵输入。因此低带宽不神奇：系统把大量感知成本前置到 RSU detector 里了。论文把 planner 端做轻了，但并没有消除协同感知成本，只是把问题边界移动了。

第三，cross-attention 是正确的 inductive bias。未来轨迹 horizon 很短，context 很长，让轨迹 token 查询上下文比让所有 context 自己融合更合理。这近似一个 differentiable retrieval 过程：生成每个未来位移时检索相关视觉 patch、导航 token、对象 token。它比 BEV fusion 更节省，也更符合规划任务的稀疏依赖结构。

第四，displacement target 的贡献值得重视。作者报告 absolute waypoint 会严重过拟合，这暴露出 DAIR-V2X 这类数据存在路口 / 路线记忆风险。用相对位移确实降低了 memorization shortcut，但也意味着模型主要在学局部运动模式，长期拓扑推理能力仍未被证明。

可能只是辅助的部分：MAP message 带来的 PDMS 提升符合预期，但不是核心创新；rectified flow 的收益有一部分可能来自平滑生成和 test-time compute，而非协同建模本身；DINOv3 frozen backbone、nuPlan 预训练和 130M planner 都带有明显 scaling / data 成分。增益来源不完全清楚，尤其缺少对 V2X attention 使用、hard occlusion subset 和 detector quality sensitivity 的更细归因。

Relation To Prior Work

它最接近三条路线的交叉：E2E driving planner、V2X cooperative perception / planning、generative trajectory model。和 UniV2X / UniMM-V2X 的本质差异是：后者仍在共享空间里融合感知 representation，OmniV2X 则把协同信息作为 planner condition，不构造 dense BEV。它不是把 fusion 做得更好，而是降低了 fusion 在系统中的地位。

和 GenAD / DiffusionDrive 这类生成式规划的关系是：OmniV2X 把生成式 planner 扩展到了多源条件输入，并强调 V2X token 接口。但生成连续轨迹本身不是新思想，rectified flow 也不是为 V2X 特有设计。

和 LLM / VLM driving 的区别也清楚：它拒绝用语言作为实时短时规划接口，认为离散文本推理太慢且与连续运动不匹配。这里的实质创新是“标准化物理消息 + 连续生成 planner”的组合，而不是 foundation model 叙事本身。

看似新的部分中，independent tokenization、segment embedding、cross-attention conditioning 都是已有思想重组；真正新增的信息在于把这些组合成一个适合 V2X 部署的规划接口，并证明它可以从 ego-only 预训练迁移到 cooperative setting。

Dataset / Evaluation

评估主要基于 DAIR-V2X-Seq，并加入 nuPlan / NAVSIM 类 ego-only 预训练以及小规模 V2X-augmented field test。它覆盖了真实车路协同数据和一定程度的现场验证，但主体证据仍是 open-loop planning benchmark。open-loop L2、collision rate、PDMS 可以支持“短时轨迹预测 / imitation 更好”，但不能完全支持“真实协同驾驶安全性更好”。

实验较好地验证了低带宽和推理效率 claim，因为通信量与 memory / latency 的差异非常直接。数据效率 claim 也有支撑：少量 V2X fine-tune 即可达到强性能。但泛化 claim 仍有限：预训练和 fine-tune 跨地区不等于跨传感器栈、跨 RSU detector、跨交通规则、跨长尾交互。

field test 有价值但规模太小，且使用 virtual V2X messages 和 optimal waypoints augmentation，更多是 demo 级 evidence。它说明系统形态可跑通，但不足以证明闭环鲁棒性。噪声注入实验覆盖 localization、latency、dropout，但还不等价于真实通信丢包、异步多源、误检假阳性和 detector domain shift。

Limitation

最大限制是问题被部分转移：OmniV2X 不传 BEV feature，但依赖 RSU 侧 detector 输出可靠对象状态。planner 端低带宽不代表系统端低成本；感知难题仍在，只是不由 ego planner 学习。

第二，所谓 reasoning 很可能主要是 retrieval + imitation。模型没有显式长期状态、没有交互式闭环 belief update，也没有证明能做多 agent 博弈推理。短时 displacement generation 在 DAIR-V2X 上有效，但它可能只是利用数据覆盖到的局部模式。

第三，泛化能力的证据还不充分。冻结 DINOv3 和大规模 ego pretraining 提供了稳定表征，但如果基础设施消息分布、检测误差模式、地图格式、道路拓扑显著变化，是否仍可少样本适配文中未充分说明。

第四，benchmark 可能放大了该方法优势。DAIR-V2X-Seq 的协同数据小、任务短时、open-loop、且标准 baselines 多为 heavy BEV fusion；在这种设定下，一个强预训练 planner 加轻量对象 token 很容易显得极高效。增益来源不清：到底来自 architecture、pretraining 数据、DINOv3 backbone、displacement target，还是 baseline 未充分适配标准 V2X 消息，需要更强 ablation。

第五，imitation learning bottleneck 是硬上限。论文自己也承认 human expert 轨迹限制了 fully V2X-assisted driving 的上界。如果 V2X 能看见 ego driver 看不见的信息，模仿人类反而可能压制模型利用协同信息的能力。

Takeaway

• 1. 对协同驾驶来说，下一步未必是更强 BEV fusion，而可能是更标准化、更稀疏、更 planner-centric 的消息接口。
• 2. V2X 的价值可以被重新理解为 action-conditioned evidence，而不是完整场景重建；这对低带宽、多 agent、多模态系统都有迁移意义。
• 3. 大规模 ego-only 预训练 + 小规模 cooperative adaptation 是现实路线，因为协同数据长期稀缺；关键是设计一个稳定接口，让新增协同 token 不破坏原有驾驶 prior。
• 4. 未来真正值得做的是闭环、反应式、多 RSU、多 detector 质量变化下的验证，以及把 V2X 信息从“辅助模仿人类”推进到“超越人类可见性限制的规划”。

一句话总结

OmniV2X 是把端到端协同驾驶从 BEV 特征融合范式推进到标准消息条件生成范式的一篇工作，真正贡献在于用 action-centric cross-attention 和 ego-to-V2X transfer 重新组织 V2X 信息流，而不是单纯提出一个新的生成式 planner。