精读笔记

Problem Setting

[LAMP: Lane-Aligned Motion Primitives for Feasible Trajectory Prediction]（arXiv preprint / 2026）

这篇论文实际处理的是多模态轨迹预测集合的结构可靠性，而不是单条最优预测的精度。传统 benchmark 主要奖励 best-of-K displacement error，模型可以靠一个 mode 命中 GT，同时让其他 mode 成为 off-road、不可达或违反 lane connectivity 的“无效多样性”。这对 planner 是坏的：planner 需要的是一组可用于风险评估的候选未来，而不是一组在指标上好看的轨迹样本。

真正困难点在于，多模态预测需要保留行为不确定性，但可行性约束又会压缩 mode space。以前 anchor、endpoint、learnable query 的问题不是完全不能表达多样性，而是 intention prior 与当前 lane topology 的绑定较弱；一旦训练目标偏向 top-1 或 best mode，低概率 mode 的物理/逻辑一致性就没有足够梯度约束。LAMP 把问题重新定义为：如何在保持多模态 coverage 的同时，让每个进入 decoder 的 hypothesis 都是 topology-consistent 的。

Motivation

已有路线不够的地方在于，它们通常把 intention 建模成 endpoint、anchor template 或 query token，但这些对象和真实驾驶行为之间存在表示断层。Endpoint 能表达“到哪里”，但不能表达“怎么过去”；固定 anchor 能表达常见轨迹形状，但缺少 scene-specific reachability；learnable query 能和上下文交互，但其语义不一定稳定，也不保证低概率 mode 可行。

作者的核心观察是：prediction failure 中相当一部分不是 final displacement 不准，而是 alternative hypotheses 在 lane topology 上不成立。换句话说，问题缺的不是更强的 attention，而是一个能同时编码 motion shape 和 road reachability 的 intention bottleneck。LAMP 因此沿着“先结构化 intention space，再做场景选择”的方向走，而不是继续扩大 decoder 或增加 auxiliary loss。

Core Idea

LAMP 的核心思想是把 multimodal forecasting 从“直接生成 K 条轨迹”改成“从一个离散 motion primitive library 中选择当前场景可行的 intention，再由 decoder 细化”。这改变了建模方式：intention 不再是端点或无语义 query，而是可解码为完整轨迹形状的离散 latent code。这个 latent codebook 相当于一个数据驱动的运动原型库，捕捉常见转弯、直行、速度变化等 spatiotemporal pattern。

更关键的是，它引入了 lane-aligned selection 这个 inductive bias。模型不是把所有 primitive 都交给 Transformer 让其自己学会忽略不可行选项，而是在 decoder 前用 lane topology prior 过滤 unreachable/off-road intentions。这重新组织了信息流：地图拓扑先约束 hypothesis space，decoder 再做 context refinement。相比 endpoint-based prior，本质区别是 intention 先验从几何终点升级为轨迹形状；相比 post-hoc correction，本质区别是 feasibility 约束作用在 hypothesis formation 阶段，而不是输出修补阶段。

Method

关键机制可以压缩为三件事。

第一，NSVQ/VQ-VAE 学 motion primitives，解决 endpoint intention 表达不足的问题。它把历史数据中的未来轨迹压到离散 codebook，每个 code 可解码成一个完整 trajectory prototype。必要性在于：如果 intention 只看终点，两个端点相近但路径拓扑不同的行为会被混淆；primitive 则保留曲率、速度和时序形状。

第二，primitive embedding 与 endpoint positional grounding 组合成 intention query，解决“离散 code 有形状但缺空间锚点”的问题。这里的核心变化不是简单 concat，而是让 query 同时携带 motion semantics 和 spatial grounding，从而更容易与 MTR-style scene context 对齐。

第三，feasibility-aware selector 在 decoder 前选 top-L intentions，解决低概率 mode 不受约束的问题。selector 的 supervision 来自 reachable lane set：根据 HD map lane connectivity 计算 primitive endpoint 到可达车道的距离，形成 soft lane prior，再用 KL 训练 selector。其核心作用是把可行性从 output-level loss 前移到 latent intention selection，使 decoder 的注意力和容量集中在 planner-relevant hypothesis 上。

Key Insight / Why It Works

最可能真正有效的是 representation alignment，而不是 backbone 变强。LAMP 把三个原本错位的空间对齐起来：数据中的运动形状、道路拓扑中的可达区域、decoder 中的 intention query。传统方法的问题在于 query/anchor 的语义与 lane topology 没有硬绑定，导致模型可以生成“统计上多样但拓扑上无效”的 mode。LAMP 通过 primitive library 提供可复用 motion memory，再通过 lane prior 做检索式筛选，本质上是 retrieval + structured latent prior，而不是生成能力上的根本突破。

核心贡献更像是把 motion forecasting 的多模态空间离散化为可管理的 primitive set，并在这个 set 上做 topology-conditioned pruning。它不是让模型学会复杂交通规则推理，而是把一部分规则变成选择器的监督信号。所谓 feasibility improvement 很可能主要来自 hidden supervision：reachable lane labeling 给了模型一个标准 forecasting loss 不具备的显式拓扑教师。这个监督本身非常有价值，但也意味着方法的泛化上限受 HD map 质量和 reachable-lane construction 强约束。

VQ/NSVQ 部分的作用主要是让 intention space 更稳定、更有形状语义；但从结果看，selector 才是 feasibility 的主因。LoRA 实验反而说明一个重要 insight：过早把 map conditioning 注入 primitive reconstruction 会让 modes 向 dominant lane-following 收缩，提升 feasibility 但损失 diversity。因此 LAMP 的有效平衡来自“scene-agnostic primitive + scene-conditioned selection”，而不是完全 scene-conditioned generation。

Relation To Prior Work

LAMP 最接近三条路线的交叉：trajectory anchor / CoverNet / MultiPath 类的 prototype-based forecasting，TNT/DenseTNT/MTR 类的 intention/query-based forecasting，以及 VQ latent code 类的离散表示学习。它并不是从零发明 motion primitive，也不是首次把 VQ 用于轨迹；看似新的部分很多是已有思想重组。

真正不同点在于：已有 anchor/prototype 多是静态候选集合，缺少 lane-topology-guided selection；endpoint-based intention 有 scene grounding 但丢失 path shape；MTR query 能和场景交互但 query 本身不直接代表可解释 motion primitive。LAMP 的新增信息是把“可解码轨迹原型”作为 query 语义，并用 reachable lane prior 在 query 层做 feasibility filtering。

因此它属于从 accuracy-centric forecasting 向 planner-aware prediction set construction 演化的一类方法。实质创新不是某个网络模块，而是把多模态预测集合的质量控制前移到 latent intention stage。

Dataset / Evaluation

评估主要在 Argoverse 2 validation 上完成，覆盖结构化城市道路和多样交互场景，但仍是 offline benchmark。它能支持作者关于 lane feasibility 和 diversity 的核心 claim，因为使用了 DAC、FR、DwF 这类更接近 prediction-set reliability 的指标，而不是只看 minADE/minFDE。尤其 FR 比 DAC 更能反映 lane connectivity / traffic-rule consistency，因此对本文 claim 更相关。

但 evaluation 仍有明显 limitation。第一，没有 closed-loop planning 或 downstream planner evaluation，因此“对安全规划更可靠”仍是间接论证。第二，所有结果依赖 AV2 的 HD map 和 lane graph，无法说明在地图错误、施工、非标准道路、弱地图场景下是否成立。第三，NMS 后只评估 6 条轨迹，selector 内部 top-L 与最终 L_eval 之间的关系可能影响 diversity/feasibility 归因。第四，benchmark 上的 feasibility metric 可能偏向 lane-following conservative predictions，并不一定奖励真实长尾行为。

Limitation

方法成立依赖几个强前提。首先，它假设 HD map lane connectivity 足够准确，且 reachable-lane traversal 能合理近似未来可行意图；一旦 map prior 错，selector 会系统性过滤正确但未被标注为 reachable 的 mode。其次，primitive library 的覆盖来自训练数据分布，长尾 maneuver、罕见交互和非典型道路结构可能无法被 codebook 表达；所谓泛化可能主要来自数据覆盖，而不是组合式推理。

第三，LAMP 把问题部分转移到了 intention selection：它提升了进入 decoder 的候选质量，但没有真正解决预测中的社会交互不确定性、长期因果推理或 closed-loop consistency。第四，增益来源不完全清晰。文中说明 NSVQ、codebook size、selector 都有影响，但 feasibility 的主要贡献很可能来自 lane prior supervision，而不是 motion primitive 本身。第五，LoRA 分析暴露了方法上限：更强地图适配会带来 mode contraction，说明 feasibility 与 diversity 的平衡仍靠手工设计的瓶颈维持，而不是自然涌现。

Takeaway

• 最值得记住的不是“用 VQ-VAE 做轨迹预测”，而是：多模态预测的可靠性需要在 hypothesis space 层面建模，不能只靠 output loss 或 post-processing 修补。
• 一个可迁移 insight 是“scene-agnostic memory + scene-conditioned selection”比“完全 scene-conditioned generation”更容易保持 diversity-feasibility 平衡。
• 先学一个覆盖行为形状的 primitive memory，再用环境约束做检索/筛选，这个范式可以迁移到交互预测、planning proposal generation、甚至 robot skill library。
• 未来更值得做的是把这种 feasible prediction set 接到 closed-loop planner 中验证，而不是继续刷 offline displacement metric。

一句话总结

LAMP 是 planner-aware motion forecasting 方向中一次有意义的表示重组：它用离散运动原型作为可复用 latent memory，并用车道拓扑监督在 intention 层过滤不可行 mode，把多模态预测从 accuracy-first 推向 feasibility-aware prediction set construction。