精读笔记

Problem Setting

这篇论文不是在做通用 monocular depth，也不是传统 RGB-D completion；它解决的是短程主动深度传感器在真实设备上的覆盖外延问题：近场 LiDAR 有米制尺度但稀疏且短程，远场 RGB 有可跟踪纹理但没有绝对尺度。真正困难点在于远场深度的可观测性是条件性的：没有足够基线、没有可靠近场 anchor、没有可跟踪纹理时，任何估计都只是幻觉。以往路线的卡点分别是：SLAM/SfM 有结构但尺度/漂移/全局优化成本高；learned completion 能补全但需要数据先验和 GPU；设备 VIO 看似给 pose，但对两视图三角化所需的旋转/同步精度不够。关键矛盾是“需要米制远场深度”与“只有短程米制观测”之间的矛盾，以及“覆盖率”与“尾部错误风险”之间的矛盾。

Motivation

作者的动机非常工程化但判断是对的：如果设备已经有一个短程 LiDAR，那么最稀缺的不是一个更大的视觉 backbone，而是一个能把这点米制信息转化为几何尺度的轻量后端。已有方法缺的是显式承认不可观测区域的机制；dense completion 往往把所有 hole 都当作需要填满的像素，learned MVS 往往在 scale 和 compute 上不适合边缘部署。作者的核心观察是：LiDAR 返回虽然少，但只要近场点能建立可靠 2D-3D 对应，它们就足以把两视图相对位姿定到米制尺度；之后远场点是否可恢复由多视图几何决定，而不是由网络先验猜测。这个方向的缺口不是新 estimator，而是把已有几何 primitives 组织成一个带拒识的 metric extension loop。

Core Idea

核心思想是把主动深度传感器从“深度提供者”改建模为“尺度提供者”。近场 LiDAR 不负责覆盖整个场景，而负责给当前两帧几何提供米制 anchor；远场缺失点只要 RGB 可跟踪，就通过这个 anchor 后的两视图 pose 被三角化。这样信息流被重新组织为：短程主动信号提供尺度，长程被动视觉提供对应，几何门控决定是否输出。

这个 inductive bias 很强：它假设可靠的局部 metric measurements 比 learned global prior 更适合做尺度约束，而远场估计只有在几何条件满足时才合法。和 prior 的本质区别在于它不追求 dense hallucination，也不把不确定性包装成平滑深度图；它把 abstention 放在输出空间里，让系统在 coverage 和 risk 之间可控地移动。这使它更可能在设备间泛化，因为核心依赖的是相机几何和局部 LiDAR 尺度，而不是训练分布中的场景语义。

Method

方法层面真正必要的机制有三类。第一是 hole re-interpretation：不是所有无深度点都等价，只有“RGB 正常且可跟踪但没有 LiDAR”的点才值得进入多视图恢复；这一步解决的是候选集合污染问题，把传感器缺失转成几何测试对象。第二是 LiDAR-anchored PnP：近场有效深度点提供 3D，短时光流提供对应，用 PnP/RANSAC 得到米制两视图 pose；这一步解决的是 scale 和设备 VIO 偏差问题，也是整篇最关键的信息闭环。第三是 gated triangulation：远场点被三角化后必须通过视差和重投影一致性检查；这一步不是后处理，而是方法成立的安全阀，把不可观测区域显式保留为空洞。

spiral/foveated sampling 的机制价值相对次要：它提供低成本、中心密集的采样预算，但论文自己的 negative result 已经说明双螺旋本身并不产生深度。selective confidence 也应理解为排序信号，不是 calibrated uncertainty；它的作用是提供 risk-coverage 操作点，而非概率解释。

Key Insight / Why It Works

这篇最重要的 insight 是：短程主动深度的最大价值不是补全近场，而是为多视图几何提供可靠尺度。只要近场 LiDAR 点能稳定解出相对 pose，远场深度就不再是 RGB-only scale-ambiguous 的问题，而变成普通的米制 triangulation。这个转化非常干净，也解释了为什么 device pose baseline 会崩：三角化对旋转/同步误差极敏感，VIO 的全局轨迹“看起来合理”不等于适合稀疏两视图深度恢复。

真正的核心贡献更可能是 parallax-gated metric loop，而不是 spiral sampling、hole taxonomy 或 confidence formula。parallax gate 关闭后相关性崩掉，说明系统性能主要来自“只在几何可观测时输出”的 inductive bias；这不是 scaling，不是 retrieval，也不是 hidden learned prior，而是 classic geometry + selective prediction 的有效重组。它本质上用 test-time geometry compute 替代 learned hallucination，并把不可恢复样本从误差统计中显式剥离。

需要警惕的是 selection effect：低误差是在 gate kept points 上报告的，因此 coverage 必须和 error 一起读。论文做 controlled cohort 是加分项，避免完全靠选择性报告，但真实 holes 的误差高得多，说明人工 range mask 和真实传感器失败不是同一分布。所谓 downstream 行为接近 DINOv2 的结果也不能过度解读；那更像 proxy regression 中低维几何特征足够用，不代表具备 VLA 所需的语义或策略信息。

Relation To Prior Work

这篇属于 classical multi-view geometry / RGB-D sparse fusion / selective prediction 的交叉谱系，不属于 learned depth completion 的主线。和 SfM/SLAM 的区别是它不建全局地图、不做 bundle adjustment、不追求长期一致性；它只做局部两视图 metric recovery。和 RGB-D completion 的区别是它不学习图像先验、不输出 dense map，而是输出 sparse metric estimates + holes。和 DUSt3R/VGGT 这类 learned geometry 的区别是尺度来源完全不同：后者通常需要 scale alignment 或隐式数据先验，DH-Active 用传感器近场返回直接定米制尺度。

看似新的部分很多其实是已有思想重组：PnP、LK tracking、triangulation、RANSAC、parallax gating 都是标准工具；foveated spiral sampling 也是老思路。实质创新在于闭环组织方式：同一批 near LiDAR returns 同时承担 depth observation 和 pose scale anchor，然后只对 trackable no-LiDAR points 做条件恢复，并把 abstention 作为正式输出。这比单个模块创新更重要，因为它改变了问题定义：从“补全深度图”变成“在可观测区域扩展米制传感器”。

Dataset / Evaluation

评估设计里最有价值的是 controlled near/far split：屏蔽 2m 以外 LiDAR，只用近场定尺度，再用独立 laser scan 评估远场。这直接对应论文核心 claim，比普通 held-out LiDAR 点更有说服力。in-house iPhone、TUM、ARKitScenes 提供了一定跨数据源验证，但覆盖范围仍偏窄：TUM 是结构光，不能证明 iPhone LiDAR 泛化；ARKitScenes 更接近真实硬件，但通过 strict line 的序列很少，说明鲁棒性并不强。

benchmark 支持的是“在有足够基线和可跟踪点时，near LiDAR anchor 能恢复一部分远场 metric depth”，不支持“通用高精度 hole filling”或“dense mapping”。真实 drop-out 的评估尤其关键，因为它暴露了 range mask protocol 的乐观性：真实 holes 往往和边界、反射、遮挡等困难因素共现，误差明显更高。学习模型对比也只能说明定位：VGGT 更准但重且需 oracle scale；DH-Active 轻且 metric。它不是公平 SOTA 对比，作者也基本承认这一点。

Limitation

方法的成立前提很硬：近场必须有足够 LiDAR-backed correspondences，远场必须有可跟踪纹理，相机运动必须提供平移基线，场景短时近似静态，RGB-depth 时间同步和内参必须可靠。一旦进入低纹理、纯旋转、动态物体、强反光、遮挡边界或近场 anchor 不足的场景，系统只能 abstain 或输出高误差。

scalability 上限也清楚：它扩展的是 sparse samples，不是 dense scene understanding；它不形成长期状态、不解决 loop closure、不解决 map fragmentation。所谓 near-millisecond latency 只覆盖 core front-end，tracking/PnP/triangulation/preprocessing 不在内，因此 deployment cost 仍需端到端验证。selective score 未校准，ECE 较高，不能直接用于安全系统中的概率风险预算。

更深的问题是它把一部分难题从“深度预测”转移成“运动/可观测性获取”。如果没有主动视角控制，coverage 很容易受手持运动偶然性支配；未来若要用于机器人，真正的 planner 应该选择能增加 parallax 和 near anchors 的动作。文中没有闭环机器人验证，下游 proxy 也不足以说明任务层收益。增益来源比较明确地来自几何 inductive bias 和 abstention，而不是 sampling；spiral 相关命名可能比实际技术贡献更显眼。

Takeaway

• 最值得记住的第一点：短程 metric sensor 可以作为 scale ruler，而不必作为 dense depth source；这对很多边缘感知系统比继续堆 depth completion 网络更实用。
• 第二点：对几何系统而言，abstention 不是附加 uncertainty head，而应直接绑定到可观测性条件，例如 parallax。
• 第三点：真实 sensor holes 和人工 mask holes 分布不同，任何声称恢复缺失深度的工作都应单独评估真实 drop-out。
• 第四点：这个方向下一步不应只是改采样或调 confidence，而应把主动视角选择接进来，让系统为了可三角化性而运动。

一句话总结

DH-Active 是一篇把短程 LiDAR 重新定位为米制尺度锚点、用经典两视图几何和显式拒识扩展稀疏远场深度的轻量方法论文，贡献主要在问题重构和可观测性门控，而不是新模型或新估计器。