精读笔记

Problem Setting

[One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models]（arXiv preprint / 2026-06-30）

这篇论文真正解决的是单目 depth foundation model 在 layered visibility 下的“输出约定”问题，而不是传统意义上的深度精度问题。透明场景里，同一 camera ray 可以同时看到玻璃前景和背景物体；但标准 MDE 模型、数据集和指标都要求每个像素只有一个深度值。于是困难点不在于某个模型误差大，而在于“哪个深度算对”本身已经变成了数据和传感器约定。

以前方法主要卡在两个方向：单层 depth benchmark 默认只有一个 ground truth，无法区分模型是在看玻璃还是看背景；透明物体专用方法则倾向于补全或显式预测某个目标层，需要专门监督和任务定义。本文把问题转成 diagnostic：当必须输出一个 scalar depth 时，模型倾向报告哪一层？这种偏好是否可被 frozen model 的输入形式调制？关键矛盾是多层几何的物理有效性与单输出监督接口之间的不匹配。

Motivation

已有路线不够的地方在于，它们把 ambiguity 当成噪声或 failure case，而不是当成可测的几何结构。传感器也并不中立：超声可能返回近处玻璃，LiDAR 可能穿透、漏检或偏向远处背景；synthetic renderer 也有 ray termination / alpha compositing 的约定。因此 single-depth label 在透明场景中不是 scene-intrinsic truth，而是 supervision convention。

作者的核心观察是：不同 depth foundation models 在同一透明图像上并不一致，有的偏前景，有的偏背景。这说明 layer preference 是模型、数据和输入表征共同形成的行为特征。真正缺口是：社区缺一个 benchmark 来测量这种偏好，也缺一个无需训练、无需多层标签训练集的 probe 来判断 frozen model 是否能表达替代几何假设。

Core Idea

核心思想是把单目深度模型从“一个图像对应一个正确深度图”的范式中拆出来，改成“一个图像下存在多个合法深度假设，单输出模型只是在表达其中一种 layer convention”。这一步改变了建模对象：不再评估某个 scalar depth 是否接近唯一真值，而是评估它与透明前景层或背景层的 ordinal relation 更一致。

LVP 的直觉是：透明场景中的前景玻璃轮廓、反射、折射边缘和背景纹理往往在频率成分上有不同表达。对输入做 Laplacian high-frequency prompting，相当于改变 frozen model 接收证据的频谱分布，让它可能从 RGB 默认假设切换到另一个可见层的几何解释。和 prior 的本质区别不是新架构或更强训练，而是用 test-time input reprogramming 去探测一个单输出模型的多假设潜力。这个方向更 scalable 的地方在于它不要求为每个模型重新训练 multi-layer head；但它也更脆弱，因为控制性和语义可解释性都较弱。

Method

方法的关键机制可以压缩为三点。

第一，MD-3k 用 sparse ordinal labels 描述两层几何：透明前景 D(1) 和可见背景 D(2)。这是必要的，因为 dense multi-layer metric depth 在真实透明场景中很难以传感器中立的方式获得；ordinal pair 避免了把某个传感器返回层误认为唯一真值。核心变化是把评价从 metric depth regression 转成 layer-specific spatial relation matching。

第二，Depth-Layer Preference α 衡量一个单输出深度图更像前景层还是背景层。α 不是性能指标，而是 bias diagnostic。它解决的是“模型默认报告哪层”的问题，让不同预训练数据、架构和 domain variant 的隐式 convention 可比较。

第三，RGB/LVP 组成 candidate pair，用固定的 dataset-level assignment 计算 ML-SRA。这里的重点不是 LVP 能直接命名前景/背景，而是两个输入条件是否产生互补的 ordinal hypotheses。固定 assignment 避免 per-image oracle，但也意味着它测的是 benchmark-level complementarity，不是部署时的可控 layer selection。

Key Insight / Why It Works

最重要的 insight 是：单输出 depth foundation model 的行为并不只是“学到了一个深度函数”，而是学到了在多种监督约定之间折中的 layer selection policy。透明场景让这个 policy 暴露出来。RGB 输入下，不同模型的 layer preference 差异很大，说明所谓 foundation depth 并没有消除监督偏置，只是把多个数据源的偏置压进了模型行为。

LVP 有效的最可能原因不是它神奇地恢复了玻璃深度，而是它改变了 representation alignment：输入高频化后，模型原先用于深度推断的特征通道被重新激活，某些模型会更依赖边缘、轮廓、反射/折射残差或背景纹理，从而切换 ordinal relation。这个机制更像 input-space reprogramming / test-time probing，而不是显式多层几何推理。

真正的核心贡献是把“歧义深度”变成可测的 layer preference 与 complementary hypothesis，而不是 Laplacian kernel 本身。Laplacian 只是一个简单可复现的 spectral probe；表中 Sobel、Fourier high-pass、wavelet 也能产生类似效果，说明增益不是某个算子的特异性，而是高频证据重加权这一类 intervention 的效果。

需要直接指出：这不是可靠的 multi-layer depth estimator。它没有证明模型内部存在离散的 foreground/background latent slots；feature PCA 只能支持输入响应变化，不能证明多层表示。增益来源也不清：可能主要来自 DAv2 的大规模数据覆盖和训练中见过大量玻璃/室内结构，也可能来自架构对高频 OOD prompt 的偶然敏感性。LVP 在标准 dense depth benchmark 上会退化，说明它是 ambiguity probe，不是通用 inference mode。

Relation To Prior Work

最接近的路线有三类：robust monocular depth foundation models、transparent-object depth/completion、多层 depth estimation。与 MiDaS/Depth Anything/Depth Pro 等不同，本文不追求更好的单层 zero-shot depth，而是把这些模型当成对象来审计其 layer convention。与 ClearGrasp、TODE-Trans、TransCG 等透明物体专用方法不同，本文不训练透明场景专家，也不假设目标是修复某个传感器缺失深度。与 Wen et al. 这类 multi-layer depth prediction 更不同：后者问“如何训练模型输出多层”，本文问“frozen single-output model 是否已经能在不同输入条件下表达不同层”。

看似新的部分里，visual prompting 和 high-pass filtering 本身都不是新思想；ordinal depth evaluation 也来自 DIW / DA-2K 传统。实质创新在于把这些已有工具组合成一个针对 geometric ambiguity 的诊断框架：layer preference 作为模型属性，MD-3k 作为两层 ordinal probe，LVP 作为 frozen-model spectral intervention。它属于 ambiguity-aware evaluation / test-time probing 谱系，而不是传统 supervised depth estimation 谱系。

Dataset / Evaluation

MD-3k 的设计是合理服务于核心 claim 的：真实透明场景、两层 sparse ordinal label、Same/Reverse 子集区分一致关系和冲突关系。Reverse subset 尤其关键，因为 duplicated single hypothesis 在这里理论上无法同时满足两层关系；因此 RGB/LVP pair 在该子集上的提升确实验证了“互补假设”而不是普通 accuracy gain。

但 evaluation 的上限也很明显。第一，数据来自 GDD，场景域、透明材质、拍摄条件都不够广，不能证明 general transparent-scene coverage。第二，一张图只有一个 sparse pair，评估的是局部 ordinal relation，不是 dense geometry，也不保证 metric correctness。第三，ML-SRA 使用 benchmark-level assignment；这避免了 per-instance oracle，但实际部署仍不知道哪张输出对应需要的物理层。第四，LVP 对 DA-2K、NYU/KITTI/ETH3D 等非歧义场景有退化，说明它验证的是诊断性 claim，而不是可替换 RGB inference 的 claim。

总体看，benchmark 支持“层偏好可测”和“某些 frozen 模型可被频谱 prompt 调制”这两个 claim；不支持“已经解决多层深度估计”或“模型具备稳定可控的几何推理”。

Limitation

最核心的前提是 layered cues 必须在图像频谱上有一定可分性。如果玻璃纹理、背景纹理、反射和遮挡边缘混在同一频率结构里，LVP 就没有理由稳定分离层。论文也承认 semi-transparent / textured surfaces 会失败。这意味着方法的泛化不是来自物理建模，而是来自经验性的 spectral separability。

第二，模型依赖很强。DAv2-L 表现好不代表机制普遍成立；DAv1、部分 generative depth models、UniDepth/UniK3D 的响应就弱得多。文中未充分说明这种差异来自 architecture、training data、loss、preprocessing 还是 scale。所谓“foundation model 表达互补几何假设”可能主要来自数据覆盖和训练 bias，而不是通用几何能力。

第三，LVP 把问题从“预测哪层”转移成“如何选择 hypothesis”。ML-SRA 的全局 assignment 不能解决真实系统中的 per-instance layer control。机器人避障或 AR 重建需要知道近处玻璃在哪里、远处背景在哪里，而不是得到两个未命名候选图。

第四，增益归因不清。高频 prompt 可能触发的是有意义的 background/foreground cue，也可能是 OOD 输入导致模型输出分布发生系统性偏移；只要这种偏移在 MD-3k ordinal labels 上有利，就会得分。没有 dense validation、多视角验证或物理传感器交叉验证时，不能把它解释成真实多层 3D reconstruction。

第五，benchmark leakage / overlap 虽无直接证据，但不能完全排除。MD-3k 基于公开 GDD 图像，Depth Anything 系列大规模训练数据覆盖复杂，是否间接见过相似分布文中未充分说明。因此泛化 claim 应保持克制。

Takeaway

• 1. 最值得记住的是“depth ground truth 在透明场景中是 convention，不是唯一真值”。
• 这个 framing 比 LVP 本身更重要，能迁移到反射、半透明、薄结构、motion blur、动态遮挡等多解视觉问题。
• 2. 单输出 foundation model 可以被当作 hypothesis generator，而不只是 point estimator。
• 通过输入表征调制、prompting 或 test-time compute，可以挖出标准 RGB inference 没表达的替代解释。

一句话总结

这篇论文把透明场景中的单目深度从单标签回归问题改写为 frozen foundation model 的层偏好诊断问题，并用 sparse two-layer ordinal benchmark 与高频 visual prompting 证明部分模型可表达互补几何假设，但它更像 ambiguity-aware probing，而不是成熟的可控多层深度估计方法。