精读笔记
Problem Setting
论文标题：DriveJudge: Rethinking Autonomous Driving Evaluation with Vision-Language Models（arXiv preprint / 2026）。
这篇论文不是在解决规划模型本身，而是在解决“规划结果怎么被评价”这个被低估的问题。自动驾驶 end-to-end policy 已经在 nominal open-loop benchmark 上接近饱和，下一步瓶颈变成：metric 是否能正确区分长尾场景中的合理行为和真正失败。
真正困难点在于驾驶评价不是静态规则匹配。相同行为在不同上下文下含义不同：压线可能是失控，也可能是绕开施工车；低 progress 可能是保守失败，也可能是安全等待；comfort 差可能是急刹错误，也可能是避免碰撞的必要动作。因此评价函数需要同时具备两种能力：上下文语义判断，以及几何/物理精确判断。
已有路线卡在这个二元矛盾上。Imitation metric 假设专家轨迹唯一正确，天然不适合多模态驾驶和 suboptimal human demonstrations。Rule-based metric 可解释、可复现、有物理 grounding，但 rule relevance 是固定的，导致长尾场景过罚。VLM critic 能看上下文，但直接打分太含混，且空间精度不足，尤其容易在 lane、collision、TTC、agent relation 上犯低级错误。DriveJudge 的任务本质是：让评价函数在不同上下文下动态决定“哪些规则该生效”。
Motivation
作者的核心观察很明确：长尾驾驶中的很多合理行为，本身就是对常规规则的局部违反。问题不在于规则没用，而在于规则不应该无条件使用。传统 metric 的错误通常不是某个 rule function 算错了，而是 aggregation 时默认所有 rule 始终 relevant。
这也是为什么直接用 VLM 替代 metric 不够。VLM 可以解释“为什么这辆车越线是为了避障”，但它不可靠地知道是否真的碰撞、是否进入不可行驶区域、TTC 是否危险。让 VLM 直接输出 scalar score，相当于把所有子目标、安全边界、空间判断都压成一个不可校准的语言判断。
因此这篇论文缺的不是更大的 VLM scorer，而是一个中间层：VLM 负责 contextual applicability，规则负责 grounded measurement。这个方向的动机是把 VLM 用在它相对擅长的位置，而不是让它替代几何计算。
Core Idea
DriveJudge 的核心思想可以概括为：VLM 不做裁判本身，而做“裁判规则选择器”。给定场景和候选轨迹，VLM 判断 LK、DDC、DAC、TTC、NC、EP、Comfort 等规则在当前上下文中是否应该被用于评价；被选中的规则由 deterministic functions 计算分数，再聚合成最终 driving score。
这个建模方式的本质变化是从 fixed metric aggregation 转为 context-conditioned metric composition。传统 EPDMS 类方法的 inductive bias 是“规则永远有效”；DriveJudge 的 inductive bias 是“规则本身可靠，但适用性由上下文决定”。这比 VLM direct score 更可解释，也比固定规则更 flexible。
它可能更 scalable 的原因在于：新增场景类型不一定需要重写所有 metric，只要模型学会何时打开/关闭已有规则；新增规则也可以作为工具加入，而不是重新训练一个完整 evaluator。它的泛化上限则取决于规则库覆盖范围和 VLM 是否能正确识别 rule applicability。
Method
DriveJudge 的关键机制不是复杂架构，而是 rule invocation 的重新分工。
第一，保留 EPDMS 规则函数作为低层 evaluator。这样做解决的是 VLM 空间不精确的问题。碰撞、TTC、lane compliance、drivable area 这类判断本质上应由几何和状态估计完成，而不是由语言模型猜测。核心变化是：metric 的物理含义没有被神经网络吞掉。
第二，引入 gating vector 表示每个规则在当前场景是否 useful。这个 gating 解决的是 rule context-agnostic 的问题。例如 nudging 场景下 LK/DDC 可能不应强罚，但 NC/TTC 仍然必须生效。这里的重点不是“工具调用”这个形式，而是把评价拆成 rule applicability 和 rule compliance 两层。
第三，用人工合理性标注构造 SFT 监督。作者的弱监督逻辑是：如果人类行为被标为 reasonable，但某条规则给了低分，那么这条规则在该场景下可能不 relevant。这是一个实用但有偏的假设。它能高效产生 rule invocation label，但也把监督绑定在现有 rule failure mode 上。
第四，用 preference 数据做 RL，目标是让最终分数排序符合人类偏好。RL 在这里不是产生新 reasoning 能力，而是校准 gating 策略，使其在 pairwise trajectory selection 中更符合 human preference。文中结果显示没有 SFT warm start 时 RL 基本学不动，因此 RL 更像 post-hoc refinement，而不是核心能力来源。
Key Insight / Why It Works
这篇最重要的 insight 是：自动驾驶评价中，VLM 最有价值的位置不是直接判好坏，而是判断“评价标准是否适用”。这是一个比直接打分更低熵、更结构化、也更符合 VLM 能力边界的问题。VLM 不需要精确计算轨迹是否撞车，只需要判断当前是否存在让 lane keeping 暂时失效的语义上下文；具体违反程度仍由规则计算。
方法有效的核心原因是 better inductive bias，而不是单纯 scaling。它把一个难的端到端评价问题分解成两个相对容易的问题：语义相关性判断和物理规则执行。前者适合 VLM，后者适合 deterministic metric。这种分解减少了 VLM hallucination 对最终分数的影响，同时避免固定规则在长尾场景下的误罚。
最可能的核心贡献是 context-aware rule gating。SFT/RL、Qwen-2B/8B、BEV 输入等是重要辅助，但不是本质创新。尤其 BEV 输入改善 zero-shot，说明空间结构显式化仍然关键；这也反过来证明 VLM 原生视觉理解不足。
需要谨慎的是，增益可能相当一部分来自数据覆盖和 benchmark 构造。训练数据是从人类轨迹被 EPDMS 低评分的片段中挖出来的，天然聚焦于“规则误罚”案例；DriveJudge 的机制也正好针对这类案例。因此 DQC 上大幅超过 EPDMS并不意外。Preference benchmark 还经过人工过滤 ambiguous cases，这提升了标签可学习性，但也可能让评价更偏向清晰规则差异，而不是真实驾驶中大量灰区决策。
所谓 reasoning 更像 structured retrieval / rule applicability classification，而不是开放式因果推理。模型学到的是：某些视觉/BEV pattern 对应关闭某些规则。这个能力有价值，但不应过度解释为强驾驶理解。它能否处理训练集中未覆盖的新型长尾组合，文中未充分说明。
Relation To Prior Work
和 EPDMS/NAVSIM 这类 rule-based metric 相比，DriveJudge 没有否定规则，而是把规则从 unconditional constraints 改成 conditional tools。真正新增的信息是 rule relevance，而不是 rule score 本身。
和 DriveCritic、RoboReward、VLM-as-judge 等 preference/direct scoring 路线相比，DriveJudge 的差异在于它不相信 VLM 直接输出最终评价。VLM critic 通常把上下文理解、空间判断、multi-objective aggregation 混在一个黑箱分数里；DriveJudge 把其中最脆弱的空间判断外包给 rule functions。因此它属于 VLM-guided tool-use / neuro-symbolic evaluation 这条谱系，而不是纯 reward model。
看似新的 agentic evaluation，本质上是已有 tool invocation 思想在自动驾驶 metric 上的一个很合适落点。实质创新在于：作者明确识别出自动驾驶评价的关键不是“规则 vs VLM”，而是“规则适用性”。这个 formulation 比简单引入 VLM judge 更有研究价值。
但它也继承了 rule-based evaluation 的边界：如果规则库没有表达某类风险，DriveJudge 不会凭空产生新 metric；如果感知/地图输入错，规则 grounding 也会错。它不是 full-stack evaluator，而是 context-aware reweighting/selection of existing metrics。
Dataset / Evaluation
数据集覆盖的是长尾/复杂驾驶评价样本，尤其是人类轨迹在规则指标下低分但可能仍合理的片段。这对研究 metric failure 很有针对性，比普通 nominal benchmark 更适合验证本文 claim。标注形式是 reasonable/unreasonable 以及简短解释，支持 driving quality classification；另用过滤后的 DriveCritic preference 数据验证 trajectory preference selection。
评价基本支持核心 claim：DriveJudge 在区分合理/不合理驾驶和 pairwise preference 上都优于固定规则和 VLM direct score，消融也显示 VLM + tool + finetuning 的组合最有效。尤其对 AP- 的提升说明它对 failure detection 有帮助，而不是只会把所有被规则罚的行为洗白。
但 evaluation 的外推性有限。第一，主要是 open-loop，无法验证闭环中 evaluator 作为 reward/model selector 是否真的提升 policy。第二，DriveJudge dataset 的采样策略与 EPDMS failure 高度相关，因此对“修正 EPDMS 误罚”的验证很强，对“泛化到任意评价错误”的验证较弱。第三，Preference benchmark 被过滤掉 ambiguous cases 后更干净，但真实驾驶评价中 ambiguous cases 恰恰大量存在。第四，缺少跨城市、跨交通规则、跨传感器质量、跨规则库的系统验证。
Limitation
最根本的限制是方法成立依赖三个前提：规则库足够覆盖核心驾驶质量维度；VLM 能可靠判断规则适用性；人工标注的 reasonable 能代表真实驾驶安全和规范。任一前提失效，DriveJudge 都可能给出高置信但错误的评价。
它的 scalability 上限由 rule set 决定。论文说方法 agnostic to rule set，但没有证明新增规则、替换规则、跨 benchmark 规则迁移时 gating 仍有效。实际部署中，规则库越复杂，rule applicability 的组合空间越大，标注和校准成本也越高。
泛化是否真实存在仍不清楚。由于训练样本来自规则低分的人类轨迹，模型可能学到的是常见 EPDMS 误罚模式的 pattern matching，而不是通用驾驶评价逻辑。所谓推理可能主要来自数据覆盖；遇到未见过的长尾组合，关闭哪条规则可能并不可靠。
安全上还有一个严肃问题：gating 机制允许模型把某些规则关闭。虽然 prompt 中强调 NC/TTC 应始终 critical，但模型仍可能出错。一旦 safety-critical rule 被关闭，最终分数可能被错误抬高。文中没有充分讨论 safety floor、uncertainty calibration、rule non-disable constraints 或 conservative fallback。
另一个问题是监督构造有循环性：用规则低分 + 人类 reasonable 来推断规则 irrelevant。这个假设在很多场景成立，但也可能把轻微真实违规误标为规则不适用，尤其当人类标注偏宽松时。增益来源不清：到底是更好的机制，还是标注策略刚好纠正了 EPDMS 的已知偏差？文中没有完全拆开。
Takeaway
- 1. 最值得迁移的不是自动驾驶细节，而是 evaluator decomposition：让 foundation model 判断评价准则的上下文适用性，让可验证工具执行低层测量。
- 这比让 VLM 直接打分更稳。
- 2. 对长尾行为，metric 的问题往往不是缺少规则，而是缺少 conditional rule relevance。
- 未来驾驶 benchmark 可能需要从“固定指标排名”转向“指标本身是否与人类判断对齐”的元评价。
一句话总结
DriveJudge 是把自动驾驶评价从固定规则聚合推进到“VLM 条件化规则选择 + 物理规则执行”的一类 neuro-symbolic metric 方法，真正贡献在于重新定义了 VLM 在驾驶评价中的位置：不做最终裁判，而做上下文相关的规则适用性判别器。