精读笔记
Problem Setting
[Teaching Vision-Language-Action Models What to See and Where to Look]（arXiv preprint / 2026）
这篇论文实际解决的是 AD-VLA 的空间 grounding 问题，而不是一般意义上的端到端轨迹预测问题。现有 VLA 已经能把前视图、历史轨迹、intent、CoT 拼起来，然后 autoregressively 输出未来 waypoint；问题是这种训练主要通过 VQA、CoT 和最终轨迹 loss 施压，模型学到的是“如何用语言描述交通场景”和“如何在分布内复现轨迹 token”，但未必学到哪些视觉区域对动作决策有因果作用。
真正困难点在于 MLLM 的视觉 token 本来服务于通用语义理解，而自动驾驶 planning 需要的是几何、可行驶区域、动态参与者和未来 ego path 之间的空间依赖。以前方法卡在一个隐式假设上：只要给足 CoT 和 expert trajectory，模型会自动把注意力对齐到关键物体和可行驶路径。本文的判断是这个假设不可靠；关键矛盾是语言推理监督很强，但 action-grounded visual supervision 很弱。
Motivation
作者的核心观察很明确：text-centric VQA/CoT 会让模型“会说”，但不保证“会看”。在 AD-VLA 中，CoT 常常描述关键物体、行为意图和轨迹解释，但这些 token 对视觉编码器的约束很间接；模型可以依赖数据先验、历史轨迹、intent 甚至 benchmark bias 输出合理轨迹，而不真正把视觉注意力放到决定动作的区域。
因此缺的不是更多交通问答，也不是更长 reasoning trace，而是一个介于视觉输入和动作输出之间的 planning-aware spatial signal。本文选择 2D 图像轨迹作为这个信号，是因为它同时贴近 MLLM 的图像坐标 grounding 能力，又能由专家 BEV 轨迹通过相机模型直接生成，监督成本低且和最终 planning 目标强相关。
Core Idea
核心思想是把 AD-VLA 的学习链路从“图像 + 文本 → CoT → BEV 轨迹”改成“先形成动作相关视觉先验 → 再生成图像空间的可行驶轨迹提示 → 最后在该提示条件下生成 BEV 轨迹”。这改变了信息流：视觉不再只是 CoT 的背景材料，而是先被压缩成一个显式、可传递、可监督的空间条件。
这个设计引入的 inductive bias 很强：未来 ego path 在图像平面上的投影天然标记了模型应关注的道路区域、邻近物体和潜在冲突区域。相比直接预测 BEV waypoint，2D-TGP 更接近 VLM 预训练中已有的 coordinate grounding；相比纯语言 CoT，它又保留连续空间结构。与 prior 的本质区别不是“多了一个模块”，而是把 planning supervision 前移到视觉 grounding 层，并显式把 where-to-look 作为中间变量。
Method
方法上真正必要的机制只有几个。
第一，DVD 解决的是视觉编码器缺少驾驶关键显著性的缺口。它用 GroundingDINO 标出交通关键对象，把 bbox 画到图像上作为 teacher 输入，再让 raw image student 对齐 teacher 的 block-level ViT 表征。关键变化是：模型推理时不需要 bbox，但视觉表征被训练成对这些交通对象更敏感。这里的核心不是 detector 本身，而是用视觉提示蒸馏替代文本 VQA 预训练，把 domain prior 注入视觉流。
第二，2D-TGP 解决的是 planner 缺少空间条件的问题。专家 BEV 轨迹被投影到前视图，形成一串图像坐标；Prompter 学会预测这串坐标，Planner 在该坐标条件下输出 BEV 轨迹。这个中间变量把“未来应经过哪里”转成 VLM 容易消费的图像坐标 prompt，减少了 planner 从 CoT 中隐式推断空间路径的难度。
第三，Prompter/Planner 解耦解决的是优化目标冲突。生成 2D 图像轨迹和生成 BEV 控制轨迹虽然相关，但输出空间、误差形态、prompt 语义不同；放在单模型多轮 QA 中会造成 instruction 混淆。双模型设计本质上是用额外容量和更清晰的任务分解换取稳定性。
Key Insight / Why It Works
最可能的核心贡献是 2D-TGP，而不是 GRPO，也不是 CoT。2D-TGP 把一个难的 latent planning problem 转化为一个显式 spatial bottleneck：planner 不需要从整幅图里自己发现所有可行驶结构，而是被告知一条大致应关注的 image-space path。这个信号同时具备几何约束和行为先验，因此对 MLLM 特别有效。
DVD 的作用更像 representation alignment：它让视觉 encoder 对 traffic-critical objects 的激活更强，从而提升 Prompter 预测 2D-TGP 的质量，也让初始化后的 Planner 更容易使用视觉信息。但 DVD 是否真的学到了“驾驶因果物体”，还不能完全确定；因为 teacher 的信息来自 GroundingDINO bbox，Attention Mass 变高也可能只是检测器先验被蒸馏进模型，而不是模型自主学会了 planning relevance。
GRPO 更像常规后处理增益。它优化 PDMS 偏好的轨迹分布，可能提升 comfort、TTC、progress 等指标，但不是本文机制上的新东西。CoT pseudo-label 也更像数据工程：它提供格式化中间文本，稳定训练和 RL，但不一定代表模型形成了真实推理。所谓 reasoning 很可能仍然是 retrieval-style pattern completion，尤其在 NAVSIM 这类非反应式 benchmark 上。
整体有效性更接近 better inductive bias + stronger intermediate supervision + extra test-time compute，而不是单纯 scaling。作者把监督从最终轨迹 token 拆到视觉表征和图像空间路径上，降低了学习难度；这比堆更多 CoT token 更可迁移，因为它直接约束了 perception-action interface。
Relation To Prior Work
它最接近 AutoVLA、Poutine、CuriousVLA、RecogDrive 这类 AD-VLA 多阶段训练路线：VLM backbone、CoT SFT、轨迹 token、GRPO 都在同一技术谱系里。与这些工作的本质差异是，prior 主要在语言 reasoning 和 action decoding 上做文章，而本文把中间监督放在视觉空间层，显式建模“where to look”。
看似新的部分中，bbox 蒸馏、teacher-student、CoT pseudo-label、GRPO 都不是新思想，更多是已有工具在 AD-VLA 上的重组。实质创新在于把 expert trajectory 投影到 image plane 作为 VLM prompt，并将其作为 Prompter 与 Planner 之间的接口。这是一个很实用的 interface design：它利用了 VLM 对 2D 坐标和图像区域的既有能力，同时绕开了直接让语言 token 承载几何规划的低效。
它属于“给 foundation VLA 加 task-specific spatial bottleneck”的方法演化，而不是纯端到端路线。某种意义上，它重新引入了模块化 AD 的 inductive bias，只是模块边界从 perception/prediction/planning 变成了 visual prior / spatial prompt / action decoding。
Dataset / Evaluation
评估主要覆盖 NAVSIM 和 nuScenes，能说明该方法在当前离线/非反应式或开环轨迹预测 benchmark 上有效，也能支持“显式空间引导提升轨迹指标”这个局部 claim。消融比较完整，尤其是 DVD、TGP、GRPO 的递增实验、oracle TGP gap、detector noise robustness、双模型 vs 多轮单模型，都在验证机制合理性。
但这些评估没有真正证明闭环真实驾驶能力。NAVSIM 是 non-reactive closed-loop，nuScenes 是 open-loop；两者都无法充分测试交互式决策、长时域状态累积、对其他 agent 反应、分布外道路结构和实时系统约束。2D-TGP 的 claim 主要在前视单帧、短时 horizon、已知 intent、专家轨迹监督下成立。benchmark 是否能区分“真正理解场景”与“利用数据分布和轨迹先验”仍然有限。
另一个需要警惕的是 best-of-N 和 selector 结果。作者自己也指出 BoN 会泄露测试信息；这类结果不应作为核心证据。更可靠的是 single-pass 结果和 oracle-vs-predicted TGP gap，但即便如此，也不能排除 benchmark overlap、pseudo-label 风格一致性、以及已有 VLM backbone 先验带来的隐式记忆。
Limitation
第一，方法强依赖相机几何和地面平面假设。2D-TGP 可逆依赖 z=0；在坡道、起伏路面、遮挡、复杂立交、远距离小目标、多摄像头拼接或非标准相机设置下，这个中间变量可能不再稳定。文中未充分说明这些情况下的失效边界。
第二，核心能力可能主要来自数据覆盖和隐藏监督。GroundingDINO 提供 object prior，Qwen2.5-VL-72B 提供 CoT pseudo-label，专家轨迹提供 2D-TGP，GRPO 又直接对 benchmark metric 对齐；因此增益来源不清。它不只是“教 VLA 看哪里”，也可能是在把大量外部 teacher 和 benchmark-specific reward 注入训练流程。
第三，Prompter 预测的 2D-TGP 本身可能已经包含大部分 planning 信息。Planner 在 test time 接收的是一条近似未来路径的 image-space hint，这会显著降低任务难度。换句话说，方法可能把难题从“规划”转移为“预测一个足够接近专家轨迹的中间轨迹”。如果 Prompter 在分布外场景失准，Planner 的鲁棒性上限会被这个 bottleneck 限制。
第四，所谓推理可能是假象。CoT 的存在并不证明模型进行因果推理；在短 horizon、固定 prompt、固定类别表和强 expert imitation 下，模型完全可以学习到 retrieval-like mapping。本文没有提供足够反事实测试，例如移除/扰动关键物体、交换 TGP、冲突 intent、或构造视觉-轨迹不一致样本来验证 causal reliance。
第五，双模型增加了推理成本和系统复杂度。作者展示相比 AutoVLA 仍有 runtime 优势，但那是相对特定 baseline；部署上仍要承担两次 VLM 调用、误差级联、同步和失败恢复问题。
Takeaway
- 1. 对 AD-VLA 来说，关键不一定是更长 CoT，而是更好的 perception-action interface；把规划相关空间结构显式化，比让语言 token 隐式承载几何更有效。
- 2. 2D image-space trajectory 是一个很值得迁移的中间表示：它比 BEV 更贴近 VLM grounding，比文本解释更有几何约束，比最终 action 更容易监督。
- 3. 未来 AD-VLA 的演化可能会从“语言推理驱动”转向“结构化视觉 bottleneck + action decoding”：显式 occupancy、lane graph、affordance map、interaction heatmap、trajectory prompt 都属于同一方向。
- 4. 真正值得继续做的是因果验证和闭环鲁棒性：证明模型不是只学会在 benchmark 上复现专家投影，而是在关键物体变化、TGP 错误、交互对象反应时仍能做正确规划。
一句话总结
这篇论文是 AD-VLA 从 text-centric CoT scaling 走向 planning-aware visual grounding 的一个代表性工作，真正贡献在于用 2D trajectory prompt 和视觉蒸馏重构了 perception-to-action 的中间接口，而不是提出了新的通用推理范式。