CoRL 2025 / Poster #212

BranchOut: Capturing Realistic Multimodality in Autonomous Driving Decisions

海报机器人学习

精读笔记

Problem Setting

论文标题：BranchOut: Capturing Realistic Multimodality in Autonomous Driving Decisions（CoRL 2025）。

这篇论文解决的不是一般的 end-to-end planning accuracy，而是“同一真实驾驶场景下多个人类合理决策如何建模和评估”。关键矛盾在于：驾驶决策天然多解，但训练数据和主流 benchmark 以单条 log trajectory 作为事实标准；模型如果预测另一条合理轨迹，会在 L2 上被惩罚，模型如果只贴合 log，又无法表达真实人类驾驶分布。

真正困难点有两个。第一，细粒度多模态不像 intersection 左转/直行那样有清晰离散语义，很多差异体现在 headway、横向 offset、速度 profile、绕行距离、与动态 agent 的微妙互动上；这些差异很小但安全含义可能很大。第二，现有 diffusion/transformer planner 即使能 sample 多条轨迹，也不保证这些样本覆盖人类 plausible modes，可能只是 dominant mode 附近的噪声扩展。

因此，这篇论文的实际问题是：如何在短时 ego planning 中显式建模 decision branches，并构造一个能判断这些 branches 是否像人类的评估协议。

Motivation

作者的出发点是对现有路线的两个不满。

第一，生成式 planner 的“多模态”经常被高估。DiffusionDrive 这类方法确实能产生多个样本，但如果 mode structure 主要依赖预聚类 anchor 或大量 sampling，那么模型学到的是不是决策分布并不清楚。纯 diffusion 在这种低维轨迹空间里很容易退化成主模态附近的连续扰动；这对于粗粒度多模态可能够用，但对人车交互、绕障、merge 这类细粒度行为不够。

第二，评估协议本身不支持多模态。nuScenes 单 log L2 其实是在问“你有没有复现历史上那一次驾驶”，而不是“你有没有产生合理驾驶”。这会导致两个问题：合理但不同的 trajectory 被判错；贴合单一 log 的保守模型被高估。作者观察到，在引入多 ground-truth 后，planner 排名会发生变化，这说明过去很多结论部分是 metric artifact。

所以论文真正要补的是：一个显式分支化的轨迹分布模型，以及一个能让这种分布模型被合理评价的多模态数据补全方案。

Core Idea

核心思想可以概括为：不要期待 diffusion 自己发现驾驶决策分支，而是把“少数可加权的未来模式”直接写进模型输出结构。

BranchOut 在 scene-conditioned denoising 的基础上接一个 branched GMM head。每个 high-level command 对应一组 Gaussian trajectory components，模型同时预测每个 component 的 mean trajectory 和 mixture weight。这个设计改变了输出空间的组织方式：从单轨迹回归或无结构 samples，变成显式的 mode decomposition。直觉上，这更适合驾驶规划，因为短时驾驶未来通常不是无限复杂分布，而是少数局部决策族的混合。

这和 prior 的本质区别在于：DiffusionDrive 等方法更多依赖 anchor / sampling / guidance 来诱导多样性，BranchOut 则把多样性作为 supervised likelihood objective 的一部分。也就是说，多模态不是 inference-time trick，而是训练目标和输出参数化共同施加的 inductive bias。

论文另一半核心思想是评估重定义：用重建场景中的 human re-driving 给同一个真实场景补多条可行轨迹，让评价从 one-to-one matching 变成 prediction distribution 与 plausible human set 的匹配。这一点实际上比模型结构更重要，因为没有多解标注，所谓 realistic multimodality 无从验证。

Method

方法中值得保留的机制只有几项。

1. 显式 GMM 分支：它解决的是 mode collapse / mode ambiguity。单一 trajectory head 会被平均化或贴合 dominant log；无结构 diffusion samples 不一定形成稳定分支。GMM head 迫使模型把未来组织成 K 个候选 mode，并给每个 mode 一个概率。这让 planner 可以表达“多个合理选择”，而不是只输出一个最可能选择。

2. Scene-conditioned diffusion denoising：它解决的是连续轨迹生成和 refinement。噪声轨迹通过 cross-attention 读取 camera/map 编码后的 scene features，得到符合场景约束的候选轨迹。这里 diffusion 更像一个轨迹生成/去噪框架，而不是论文最核心的多模态来源。消融中 w/o Diffusion 仍然很强，说明 diffusion 是增益项，不是唯一关键机制。

3. Command-conditioned branching：Left/Straight/Right 的高层 command 先把粗语义 mode 切开，再在每个 command 内建模细粒度 variation。这是合理的层次化假设：粗决策由 route intent 给定，细决策由交互和几何上下文决定。它减少了一个 head 同时解释所有 mode 的负担。

4. Human-in-the-loop re-driving benchmark：它解决的是监督与评价缺失，而不是模型本身。通过在 photorealistic reconstruction 中让人多次驾驶同一场景，作者获得一个局部多模态 trajectory set，用于 Fréchet、NLL、JSD 等 distributional evaluation。这本质上是把单 log 数据集 densify 成多解数据集。

Key Insight / Why It Works

这篇论文最重要的 insight 是：在自动驾驶规划里，真实多模态更依赖“输出结构 + 数据覆盖”，而不是单纯依赖更强生成模型。

BranchOut 有效的主要原因很可能是 GMM head 提供了更合适的 latent structure。驾驶短 horizon 轨迹的多模态通常是低秩的、少数分支的，而不是高维图像生成那种复杂连续分布。GMM 对这种结构非常自然：每个 component 可以承担一个局部策略族，mixture weight 表达相对偏好。相比 diffusion 反复采样，GMM 直接做 mode allocation，sample efficiency 更高。

论文结果也支持这个判断：w/o Diffusion 的版本仍然接近甚至在部分指标上很强，而 w/o GMM 明显失去 distributional advantage。这说明“diffusion planner”这个标签可能有些误导；真正贡献更像是 probabilistic trajectory head + 多 ground-truth evaluation。Diffusion 是增强器，GMM 是核心 bias。

另一个有效原因是评估数据改变了模型被奖励的行为。单 log L2 鼓励 imitation of historical accident；多条 human re-driving trajectories 鼓励 coverage of plausible alternatives。很多 baseline 排名变化说明之前 benchmark 在惩罚合理多样性。这里的提升不只是 model better，也有 evaluation better matching claim 的成分。

需要警惕的是，所谓 planning/reasoning 能力可能有相当部分是短时轨迹分布拟合，而不是闭环交互推理。模型没有显式长期状态、belief update、multi-agent game reasoning；在 3 秒 horizon 内，它更像 scene-conditioned retrieval/generation of feasible trajectory modes。闭环表现好并不必然说明学到了真实策略，可能是短时分支覆盖 + simulator metric 共同产生的效果。

增益来源也并非完全干净。GMM、command branch、NLL objective、多模态 benchmark、样本选择方式都在同时变化。文中虽然有消融，但不足以完全排除“更合适的 evaluation + 更强输出参数化”是主要收益，而 diffusion 本身只是 secondary engineering。

Relation To Prior Work

这篇论文最接近三条线。

第一是 end-to-end vision-based planner，如 UniAD、VAD、OccWorld。这些方法主要优化单一未来轨迹或隐式规划目标，强在 perception-planning integration，但弱在显式表达多解行为。BranchOut 继承 VAD-style scene encoder，但把 planner head 改成概率分支结构。它不是在感知表示上做根本创新，而是在规划输出分布上改建模假设。

第二是 diffusion planner / diffusion policy，如 DiffusionDrive、Diffusion Planner。BranchOut 和它们共享生成式轨迹建模的谱系，但区别在于不把多模态完全交给 sampling 或 anchor guidance。DiffusionDrive 的 anchor 更像外部聚类先验，BranchOut 的 GMM head 则是端到端优化的 mixture structure。这个差异是实质性的：多模态从 post-hoc sampling 变成 supervised distribution parameterization。

第三是 motion forecasting 的多模态建模传统，包括 mixture density network、anchor-based prediction、DPP、多 future prediction 等。BranchOut 的 GMM head 本身不是新思想，甚至可以看作把 motion forecasting 里成熟的 mixture output 移植到 ego planning。新意在于把它和 end-to-end vision planner、diffusion denoising、多模态 re-driving benchmark 组合起来，并用实验证明这种“老的概率头”比复杂采样更关键。

因此，这篇的实质创新不是单个模块，而是把自动驾驶规划从 deterministic imitation 重新拉回 probabilistic decision distribution，并指出 benchmark 必须随之改变。

Dataset / Evaluation

评估设计是论文的重要贡献，但也有边界。

作者通过 HUGSIM photorealistic reconstruction + human-in-the-loop kinematic driving，在真实 nuScenes 场景中收集额外轨迹。这个设置比纯 CARLA 随机场景更接近真实感知上下文，也比单 log 更能覆盖局部可行行为。用 15 条模拟人类轨迹加原始 nuScenes log 形成多 ground-truth，是一个务实的数据 densification 方案。

它确实支持论文的一个核心 claim：单 ground-truth evaluation 会错判多模态 planner。表 2 中 planner 排名变化是有意义的证据，说明传统 L2 不足以评价 plausible alternatives。NLL 和 Speed JSD 也比单纯 minADE/minFDE 更接近 distributional realism。

但它没有完全验证“真实人类驾驶分布”。首先，re-driving 是在重建仿真中完成的，不是真实道路；背景 agent 多数不具备高保真人类反应，论文自己也承认 IDM 过于简单。其次，碰撞后 reset 会改变参与者策略，可能让数据更像“在 simulator rule 下学习可行路径”，而非自然驾驶。第三，每个场景 15 条轨迹仍然很稀疏，尤其对 dense urban interaction 的 mode space 不够。

闭环 HUGSIM 分数能说明 BranchOut 在该 simulator 中更稳，但不能强推到真实 deployment。尤其 route completion、collision、TTC 等指标仍然比较粗，可能奖励 conservative feasible-mode selection，而非真正 social driving fidelity。

Limitation

这篇论文的主要限制不是作者列出的那些表面问题，而是以下几个更根本的前提。

1. 多模态空间被假设为少数 GMM components 可覆盖。这个假设在 3 秒短 horizon、route command 已知、场景相对简单时成立；但在长 horizon、多 agent negotiation、复杂规则冲突下，mode 数量可能组合爆炸。固定 K 的 GMM 上限会很明显。

2. “人类合理性”被 proxy 成 simulator 中多人 re-driving 的轨迹集合。这个 proxy 很实用，但不是 gold standard。参与者驾驶风格、显示设备、动力学模型、碰撞反馈、重建 artifacts 都会塑造分布。核心能力可能主要来自数据覆盖，而不是模型真的理解人类决策。

3. 模型没有显式交互推理。BranchOut 预测 ego future，依赖 scene encoder 捕捉 agent/map context，但没有建模其他 agent 对 ego action 的反应，也没有长期闭环 belief。所谓 adaptive decision-making 在论文中更多由 closed-loop rollout 结果间接体现，机制上并不充分。

4. 增益归因不清。GMM head、diffusion、command conditioning、NLL loss、多样本 evaluation、backbone choice、是否使用 ego status/history 都会影响指标。消融显示 GMM 很关键，但还不足以说明 diffusion+GMM 的组合是最优，而不是简单 MDN-style planner 已经足够。

5. Benchmark 可能强化局部轨迹 matching，而不是策略泛化。由于评估仍基于同类 nuScenes 场景和短时轨迹集合，模型可能学到的是场景条件下的 feasible trajectory manifold retrieval。跨城市、罕见交互、真实闭环部署中的泛化没有被充分验证。

6. 真实部署中的 mode selection 没被解决。生成多个 plausible trajectories 只是规划的一半；最终执行哪个 mode，需要风险、舒适、法规、社会交互和下游控制综合决策。论文主要评价分布质量和 rollout 表现，但没有给出 principled decision selection framework。

Takeaway

  • 1. 多模态规划的关键不一定是更复杂的生成模型，而是输出结构是否符合驾驶决策的低维分支特性。
  • GMM/mixture head 这种“老方法”在短时规划里可能比纯 diffusion sampling 更有效。
  • 2. 自动驾驶 planner 的评价协议需要从 single demonstration matching 转向 plausible set / distribution matching。
  • 否则越会表达多样性的模型越可能被传统 L2 惩罚。

一句话总结

BranchOut 是一篇把 end-to-end driving planning 从单轨迹 imitation 推向结构化概率决策分布的工作，其真正贡献在于用 GMM-style branching 和多 ground-truth re-driving benchmark 重新定义并验证“真实多模态”，而不是单纯提出一个新的 diffusion planner。