精读笔记

Problem Setting

这篇论文不是在解决一般意义上的“MLLM 能不能开车”，而是在解决一个更窄但关键的问题：已经通过 SFT 让 MLLM 能输出未来轨迹后，如何让它从 imitation predictor 变成 cost-aware planner。关键矛盾是，训练时的 cross-entropy 优化 token 级专家复现，而评估时关心的是轨迹级安全/合规代价；这两个目标并不等价，尤其在长时域中，局部坐标 token 的小误差可能累积成 overlap 或 off-road。以前基于 SFT 的 MLLM planning 卡在目标错配，传统 RL planner 又卡在样本效率和泛化。MAGNIFIED 试图在两者之间取一个局部修正路径：保留 SFT 形成的可行轨迹 manifold，再用 RLFT 沿规划指标方向调整。

Motivation

已有路线缺的是一个能把非可微规划指标直接反馈到语言轨迹生成过程的机制。SFT 能教会模型格式、场景到轨迹的平均映射，但它不会显式惩罚“看起来像专家但会碰撞”的输出；sequence-level RLFT 可以给最终轨迹打分，但信用分配太粗，特别是 80 个 waypoint 被串成文本后，哪个 token 导致违规并不清楚。作者的核心观察是：轨迹文本虽然是 token 序列，但它有强结构，每个 waypoint 都能对应到具体时间步和规划代价。因此可以利用这个结构，把规划 cost 拆成 dense token reward，从而让 LLM-style RLFT 对 motion planning 有意义。

Core Idea

核心思想是把 MLLM 的文本输出空间重参数化为规划动作空间：token 序列经解析后变成连续轨迹，轨迹上的 cost 再反向分配给生成这些 waypoint 的 token。这样，模型仍然在熟悉的 autoregressive token policy 上训练，但优化信号来自规划语义，而不是文本相似度。

这和 prior 的本质差异在于，它不是再做一个更大的 imitation model，也不是把 LLM 当解释器或 high-level reasoner，而是把 MLLM 直接作为可 RL 优化的轨迹 policy。它引入的 inductive bias 是“文本结构即时间结构”：用分隔符和坐标格式把 token-level generation 与 trajectory timestep 对齐。这使得 RLFT 的 credit assignment 比 sequence reward 更细，也使得非可微 planning cost 可以绕过 differentiable planner 的限制。

Method

方法的关键机制可以压缩为三层。第一层是 SFT bootstrapping：先让 PaLI-3 在 BEV raster + text state/route 输入下稳定输出坐标序列，它解决的是探索空间过大和格式不稳定问题；没有这一步，REINFORCE 在语言坐标空间几乎只会学到噪声。第二层是 token-level reward binding：模型输出被解析为 waypoint，overlap/off-road 在每个时间步计算，再绑定到对应 waypoint 前的 token；它解决的是规划结果到生成决策之间的信用分配问题。第三层是 KL-regularized policy gradient：在 SFT reference 附近优化 reward，解决 RLFT 中格式崩坏、轨迹分布漂移和 reward hacking 的风险。其余如 RGB BEV 编码、route 文本、PaLI tokenizer 更多是工程化接口选择，而不是机制上的必要创新。

Key Insight / Why It Works

我认为真正有效的原因不是 MLLM suddenly learns planning，而是 SFT 已经把输出限制在一个相对合理的轨迹 manifold 上，RLFT 只需要做低维的局部偏移：慢一点、让一点、别越界。这类 correction 正好是 overlap/off-road reward 能捕捉的，也是 policy gradient 在短训练内能优化的。换句话说，MAGNIFIED 的核心贡献是 representation alignment + reward shaping，而不是复杂推理。

最核心的部分是 token-level reward。它利用轨迹文本的显式结构，把 long-horizon trajectory cost 拆成局部时间步反馈，降低了 sequence reward 的方差和信用分配难度。KL penalty 是必要稳定器，但属于标准 RLHF/RLFT 技术迁移。BEV raster + route 输入带来的增益可能主要是 data/interface engineering：route 尤其强，因为它接近给了未来导航 skeleton，降低了规划的不确定性。

需要警惕的是，所谓“cost-aware planner”可能仍然只是 benchmark 上的 cost-aware trajectory regressor。模型未必形成长期交互状态建模，也未必能在 closed-loop 中预测其他车对 ego 行为的反应。open-loop overlap/off-road 改善可以来自对 logged future 和 roadgraph 的局部拟合，而不一定代表真实决策能力提升。

Relation To Prior Work

它最接近三条谱系的交汇：MLLM/SFT driving planner、RL fine-tuning for LLM/VLM、imitation-to-RL 的自动驾驶策略优化。相对 EMMA 等 MLLM end-to-end planning，它的新增信息是把规划指标纳入后训练目标，而不是只靠 next-token imitation。相对传统 AV RL，它不是从 simulator 中大规模探索策略，而是在强 SFT prior 上做受约束局部优化，因此样本效率更像 RLHF than classical driving RL。相对 RLHF/LLM RLFT，它的新意在于 reward 不来自人类偏好或最终答案，而来自可解析结构输出上的逐 waypoint 规划代价。

看似新的部分里，REINFORCE + KL、advantage normalization、先 SFT 后 RL 都是已有思想重组；实质创新在于把结构化轨迹文本作为 credit assignment scaffold。它属于“把 foundation model 的输出格式设计成可被下游任务 reward 直接监督”的技术谱系，而不是单纯 AV planner 架构创新。

Dataset / Evaluation

评估主要在 WOMD open-loop 上完成，覆盖大规模真实驾驶日志，但任务仍是给定历史和 route hint 预测 ego 未来轨迹，并非 closed-loop 控制。这个 benchmark 能验证两件事：MLLM 可以在该输入输出协议下做轨迹生成；RLFT 可以改善被 reward 覆盖的 open-loop planning metrics。它不能充分验证真实部署 claim：没有 closed-loop、多车交互反馈、分布外地图/交通规则、传感器噪声或实时约束。

实验设计对核心 claim 有一定支撑，尤其是 token reward、KL、reward weight trade-off 的 ablation 方向正确。但增益归因仍不干净：route 信息、SFT 数据规模、PaLI-3 预训练、BEV raster 表达和 RLFT 本身混在一起。与 MotionLM/Wayformer/EMMA 的比较也不完全对等，因为采样数、任务接口和后处理不同；因此这篇更适合作为“MLLM planner 可被 planning reward 后训练”的证据，而不是证明 MLLM 规划范式优于专用 motion model。

Limitation

方法成立依赖几个强前提：输出必须能稳定解析成 waypoint；reward 必须能按 waypoint 局部计算；SFT policy 必须已经足够接近可行轨迹分布；benchmark 的输入信息必须足以支持 open-loop 预测。换句话说，RLFT 不是解决规划探索，而是利用 SFT 和数据覆盖把探索问题提前消掉。

scalability 上限也明显。真实驾驶目标远多于 overlap/off-road，舒适性、规则、交互意图、风险、不确定性之间会冲突；简单线性 reward 权重很可能不够。token-level reward 依赖固定文本格式，换成更自然的语言、latent trajectory token 或 continuous control 后泛化性文中未充分说明。closed-loop 是最大鸿沟：open-loop 中减少 overlap 不等于交互中安全，因为其他 agent 不会响应 ego 轨迹。所谓 reasoning 能力也没有被直接验证，可能主要是强数据覆盖 + route hint + 局部 reward correction 的结果。

Takeaway

• 最值得记住的不是“MLLM 可以做自动驾驶规划”，而是：结构化生成任务中，只要输出能被解析成任务对象，就可以把非可微任务 reward 回灌到 token policy，形成比 SFT 更目标对齐的后训练。
• MAGNIFIED 展示了一个有迁移价值的范式：先用 SFT 学格式和 manifold，再用 dense task reward 做局部 policy improvement。
• 未来更有价值的方向不是继续堆 MLLM 参数，而是研究更好的 action/trajectory tokenization、更鲁棒的 credit assignment、更丰富但不易 reward hacking 的 planning reward，以及 closed-loop RLFT。
• 对机器人和规划类 VLM agent 来说，这篇的启发是：不要只问 foundation model 是否会“理解任务”，而要把它的输出组织成可以被环境代价精确监督的结构。

一句话总结

MAGNIFIED 是一篇把 MLLM trajectory imitation 推向 reward-aligned planning 的后训练论文，实质贡献在于用结构化轨迹文本实现 token-level planning reward，而不是证明 MLLM 已具备真正闭环驾驶推理能力。