精读笔记

Problem Setting

这篇论文真正处理的是 driving depth 中一个很具体但关键的矛盾：视觉 foundation model 给出的 depth prior 通常有好的 dense geometry、边界和多视角一致性，但 metric scale 不稳定；LiDAR 给出 metric anchors，却稀疏、噪声大，并且投影到图像后经常和真实视觉边界不对齐。困难不在于“有没有深度监督”，而在于 sparse metric evidence 一旦被当成 dense depth target，就会污染原本干净的视觉几何。以前 sparse-prompt 方法的问题是自由度太大：它们重新生成 depth，因此可以在 LiDAR 稀疏区域随意偏离 foundation prior。本文把这个问题定义成 geometry–scale conflict：不能为了尺度牺牲结构，也不能只保留结构而没有 metric 可用性。

Motivation

已有路线不够的原因很直接：image-only / visual geometry foundation model 缺 metric scale；LiDAR-guided 方法有 scale，但常把 sparse noisy projection 当作强监督，从而破坏图像对齐结构。作者的核心观察是，DA3 这类模型已经学到了可用的相对 3D 几何，尤其是边界和 surface continuity；真正缺的不是重新学习 surface，而是把这个相对几何局部映射到 metric 坐标。这个观察把任务从 dense depth prediction 改成 metric calibration。关键缺口是：如何让 LiDAR 只在可信局部提供尺度约束，而不让它接管 dense geometry generation。

Core Idea

核心思想是最小干预：保留 frozen DA3 的 dense prior，只学习一个 residual pixel-wise scale correction。最终深度不是由融合特征重新回归出来，而是 prior depth 乘以局部尺度场，再通过 clip-level scalar 做全局一致化。这个建模方式改变了信息流：视觉 foundation model 负责结构，LiDAR 负责尺度锚定，scale head 只负责二者之间的局部对齐。

这个 inductive bias 比 prior sparse-prompt 方法更强也更保守。它限制模型只能以乘性尺度修改原深度，因此不容易制造与 RGB 不一致的深度边缘；同时 pixel-wise scale 又比全局 scale alignment 灵活，可以处理不同物体、深度范围、视角下的局部尺度误差。本质区别在于：MapAnything / PriorDA 更像“用 prompt 条件化生成 metric depth”，DrivingDepth 更像“对已有 visual geometry 做 metric rectification”。这也解释了为什么它可能更 scalable：它不需要重新训练一个完整 dense geometry model，而是复用 foundation prior 的表征能力。

Method

方法里真正关键的不是模块名称，而是三层约束。

第一，冻结 DA3，把它作为 geometry scaffold。这解决的是 sparse LiDAR 监督下 dense surface 容易被重写的问题。只训练轻量 adapter 和 scale head，本质上是在限制可学习部分的自由度，使模型默认相信视觉 prior。

第二，预测 log-space 的 pixel-wise scale，而不是直接预测 depth。它解决的是全局尺度不足以修正空间变化误差的问题，同时避免 linear multiplicative correction 的不对称性。初始化为 scale=1 很重要，因为训练起点就是原 DA3 输出，后续只学习必要偏移。

第三，把 LiDAR 当 prompt 而不是 dense target。多分辨率 LiDAR prompt 是为了缓解 driving LiDAR 在 decoder resolution 下过稀的问题；confidence loss 和最小 80% error 筛选是为了处理投影错位和噪声；normal regularization 与 scale smoothness 则防止模型在 LiDAR 点附近形成 spike 或 coverage boundary artifact。

GPFA 的作用是让 sparse metric cues 在多视角、多帧特征中传播，但其价值更像配套机制：它帮助尺度信号到达没有 LiDAR 点的位置，而不是改变论文的核心建模。

Key Insight / Why It Works

这篇最重要的 insight 是：在当前 depth foundation model 已经足够强的前提下，driving depth 的主要剩余问题可能不是 geometry learning，而是 representation alignment between relative visual geometry and metric sensor anchors。DrivingDepth 有效，主要不是因为 decoder 更强，而是因为它把模型自由度压缩到“尺度场估计”这一低维子问题上。

最可能的核心贡献是 residual pixel-wise scale correction of a frozen prior。它同时提供三个好处：保留 boundary / surface continuity；允许局部 metric calibration；降低对 dense LiDAR supervision 的依赖。这个设计比重新预测 depth 更符合 LiDAR 的信息属性，因为 projected LiDAR 本来就不适合作为 dense image-aligned truth。

辅助但非核心的部分包括 GPFA、constrained attention、多分辨率 prompt。它们提升稀疏信号传播和鲁棒性，但从 ablation 看，真正决定方法性质的是“scale correction + frozen prior + regularized fitting”。GPFA 的增益存在，但不是决定性机制；多分辨率 prompt 可能更接近 engineering fix，因为 driving LiDAR 在低分辨率 feature map 上过稀是实现层面的痛点。

这不是 retrieval，不是 test-time compute，也不是显式 reasoning；更接近 better inductive bias + representation alignment。能力主要来自 DA3 的视觉几何先验，DrivingDepth 做的是受约束的 metric adaptation。也因此它的上限很明确：如果 prior geometry 错了，scale map 只能把错误结构缩放到 metric 空间，不能凭空恢复结构。

Relation To Prior Work

它最接近三条线：Depth Anything / DA3 这类 visual geometry foundation model，PromptDA / PriorDA 这类 sparse-prompt depth，MapAnything 这类 feed-forward metric reconstruction。和 DA3 的差别是引入 sparse metric anchors；和 PromptDA / PriorDA 的差别是它不让 prompt 重新生成 dense depth；和 MapAnything 的差别是它不把 metric reconstruction 当成完整生成问题，而是把它降解成 frozen geometry 上的尺度校正。

看似新的部分里，多分辨率 sparse prompt、confidence weighting、normal regularization 都有明显已有思想影子；实质创新在于组合方式和问题重定义：把 LiDAR 的角色从 supervision / conditioning signal 改成 local calibration prompt，把深度学习目标从 absolute depth 改成 multiplicative residual scale。这个差异不是模块级创新，而是建模边界的改变。

技术谱系上，它属于 foundation prior adaptation，而不是传统 depth completion。更准确地说，它是 driving 场景下的 sensor-calibrated foundation depth：复用大模型几何，用小模型吸收 metric sensor 的局部约束。

Dataset / Evaluation

评估覆盖 nuScenes 和 DDAD，基本是标准 driving benchmark，包含 surround-view、多帧输入和 projected LiDAR prompts，能验证本文最关心的 driving sparse metric calibration 场景。实验设计中比较有价值的是不仅看 AbsRel / δ，还引入 EdgeCR / RevEdgeCR 和 AbsIn02，试图同时衡量 metric accuracy 与 image-depth boundary consistency。这一点确实更贴合论文 claim，因为本文卖点不是单纯降低深度误差，而是在不破坏边界的情况下校准尺度。

不过 evaluation 仍有明显限制。首先，所有方法都经过 ROE alignment，尤其 clip-level alignment 会弱化真实部署中 absolute scale recovery 的难度。其次，EdgeCR 这类边界指标只能间接反映几何一致性，不能完全证明 3D occupancy 或 planning downstream 受益。第三，benchmark 仍是离线 closed-set driving 数据，无法充分验证跨传感器、跨城市、外参漂移、极端天气和 long-tail 物体下的泛化。文中 claim 的“robust sparse prompting”在 10% LiDAR 上有支持，但这仍是从同分布 LiDAR 中 subsample，不等价于真实低质量传感器。

Limitation

最根本限制是它把 geometry correctness 外包给 DA3。只要 foundation prior 给错 surface topology，DrivingDepth 的乘性尺度场基本无力修复；它可以校准尺度，但不能创造缺失结构。这不是小问题，而是方法定义带来的硬上限。

第二，泛化能力可能没有论文表述得那么强。scale head 可能学到 driving dataset 中常见物体、道路、LiDAR coverage pattern 和相机布局的统计校正；换相机 rig、LiDAR beam pattern、外参误差分布或城市域后，scale map 是否仍然是“几何校正”而不是 domain-specific prior，文中未充分说明。

第三，增益归因不完全清楚。DA3 prior、多帧 surround-view、ROE clip alignment、LiDAR density、normal loss 和 prompt engineering 都在贡献结果；GPFA 与 constrained attention 的独立必要性不算强，部分提升可能主要来自 scaling / data / strong prior reuse。

第四，真实部署鸿沟仍在。训练和评估依赖 projected LiDAR prompt；如果目标场景 LiDAR 缺失、严重错位、动态物体造成 ghost point，confidence 是否能可靠过滤没有充分证明。所谓“自动 downweight unreliable LiDAR”更像在 benchmark 噪声分布上学到的鲁棒拟合，不一定等价于真实传感器异常检测。

Takeaway

• 1. 对强 foundation geometry model，后续工作未必应该继续重训 dense depth；更有效的方向可能是学习受约束的 metric adapter。
• 2. Sparse LiDAR 在 driving depth 中更适合作为 calibration prompt，而不是 dense supervision target。
• 这个 insight 可以迁移到 normal、flow、occupancy、3D Gaussian reconstruction 等需要对齐 metric sensor 的任务。
• 3. 论文真正推动的是任务分解：geometry generation 和 metric calibration 应该解耦。

一句话总结

DrivingDepth 是一篇把 sparse-LiDAR driving depth 从“重新生成 metric depth”改写为“冻结视觉几何上的局部尺度校准”的工作，真正贡献在于更合适的 inductive bias，而不是更复杂的深度网络。