精读笔记

Problem Setting

论文标题：FoundDP: Revisiting Weak Disparity Observability in Dual-Pixel Depth Estimation（arXiv preprint / 2026-07-03）。这篇论文真正处理的是 DP depth 中“局部视差不可观测时，度量深度如何不崩”的问题。DP 的优势是单相机、单曝光、物理尺度明确；但它的 baseline 极小，导致有效视差通常只有亚像素级，很多区域的 correspondence 信号非常接近噪声底。以前方法主要卡在仍把问题当作 DP local matching / regression：网络可以正则化、可以多尺度、可以做 cost volume，但当局部梯度和纹理本身不足时，信号源不存在或不稳定。关键矛盾是：metric scale 来自 DP 物理观测，但 structural coherence 往往需要超出局部观测的全局先验；单靠 DP 容易有尺度但结构坏，单靠 MDE foundation model 有结构但尺度漂。

Motivation

作者的核心观察是 DP 方法和 monocular foundation depth 的失败模式互补。DPNet 类方法在可观测区域能给出物理上较可信的尺度，但在 textureless、planar、distant、downsampled 区域出现 holes、边界扩散或结构断裂；DAV2/MoGe 类模型能补出更合理的全局几何，却无法保证 metric scale。已有路线不够的原因不是网络容量不够，而是信息源分配错误：它们试图从弱 DP 视差信号里榨出结构，而不是承认弱视差区域需要外部结构先验。关键缺口是：如何把 foundation model 的结构能力接入 DP depth，同时不让单目先验破坏 DP 的物理尺度。另一个缺口是 DP 图像本身常有 defocus blur，直接喂给自然图像预训练 ViT 会造成表征偏移；这一点在 prior fusion 工作里通常被低估。

Core Idea

FoundDP 的核心不是三段网络，而是把 depth estimation 拆成两个角色：DP 负责 metric anchoring，foundation ViT 负责 structural completion。它改变了 DP depth 的建模方式：弱视差区域不再被视作一个必须由局部 sub-aperture matching 解决的问题，而是由大规模单目结构先验进行补全，再由 DP-derived metric depth 约束回物理尺度。

和 prior 的本质差异在于信息流方向。传统 DP 方法从 I_L/I_R 直接预测深度，最多在网络内部加正则；FoundDP 先得到一个 metric but noisy 的深度场，再将它作为条件去调制 foundation features，使 foundation model 的相对结构被绑定到 DP metric frame。这个设计引入了一个更强的 inductive bias：几何结构可以来自预训练世界模型，尺度校准必须来自成像物理。它比单纯扩大 DP 网络更可扩展，因为 structural prior 可以随 foundation model scaling 自动增强。

Method

方法中值得保留的机制只有少数几个。DP depth branch 的作用是建立 metric coordinate，不是追求最终结构最优；它解决的是 foundation model 缺乏绝对尺度的问题。Structure refinement 是对 DP 初始结果的残差修补，作用是降低明显局部 artifacts，并给后续 guidance 一个更干净的 metric condition；它必要但不像核心贡献。Depth guidance 是关键：把 refined DP depth 归一化后作为空间条件注入 DPT 解码，使网络在可置信 DP 区域跟随 metric cue，在弱视差区域更多依赖 ViT global structure。

ViT feature alignment 解决的是 domain shift，而不是 depth 本身。DP defocus blur 会削弱高频信息并改变 ViT attention response；如果直接用 DAV2 features，guidance 可能把 blur-induced bias 当成结构信号。feature alignment 通过 clear/blur feature consistency 让 DP-degraded image 的 ViT 表征靠近 clean image 表征。这个机制的核心变化是：foundation prior 不再被假设为天然适配 DP 成像，而是被显式校准到 DP optical degradation 下。

Key Insight / Why It Works

这篇最重要的 insight 是把“弱视差不可观测”从一个 matching failure 重新定义为一个 information allocation problem：局部 DP 信号不足时，继续加 cost volume 或 local refinement 不会根本解决结构崩塌；必须引入外部全局结构先验。但这个先验不能直接替代 DP，因为单目 depth 的 metric ambiguity 会破坏物理尺度。因此有效机制是 metric anchor + structural prior 的分工。

最可能的核心贡献是 DG，即 metric-conditioned foundation decoding。SR 的增益相对像 conventional refinement；ViT alignment 有明确动机，但实验增益不大，更像让融合更稳定的辅助项。真正的大增益很可能来自 DAV2 级别 foundation representation 的 scaling 和数据覆盖，而不是 DP-specific architecture 本身。换句话说，这篇论文的能力很大程度上是在复用 latent structure / representation memory：foundation model 已经见过大量场景几何，FoundDP 用 DP depth 把这些结构记忆投影到 metric depth 上。

这不是 retrieval 的显式形式，但其结构补全能力很可能具有 retrieval-like prior 的性质：在弱纹理区域，模型并没有从 DP 中新观测到几何，而是在根据图像上下文和预训练分布外推。这个判断并不削弱方法价值，反而说明它为什么有效；但也意味着泛化上限取决于 foundation model 的数据覆盖和 DP domain alignment。文中未充分说明如果遇到 foundation model 不熟悉的光学场景、材料、工业结构或非自然图像，结构先验是否仍可靠。

Relation To Prior Work

这篇最接近三条路线的交汇：DP stereo / defocus depth、foundation monocular depth、depth-prompt / metric-conditioned decoding。相对 DPNet、DDDNet、SFBDNet、CADSNet，它不是在 DP 观测内部继续增强 correspondence，而是承认 DP baseline 的物理上限，并引入外部结构先验。相对 DAV2、MoGe、UniDepth，它不是试图让单目模型直接 metric 化，而是用 DP 信号提供物理尺度锚点。

看似新的部分中，cost volume、residual refinement、DPT-style decoder、depth conditioning 都是已有思想重组；实质创新在于把它们放到 DP weak observability 这个问题框架里，并指出 DP defocus blur 会导致 ViT representation degradation。它属于“physical sensor cue + foundation prior”的技术谱系，和 foundation stereo、depth prompting、sensor-guided monocular depth 更接近，而不是纯 DP depth 的自然延伸。真正新增的信息是：在 DP 场景下，foundation prior 的使用不仅需要 metric conditioning，还需要 optical-degradation-aware feature alignment。

Dataset / Evaluation

评估覆盖 synthetic NYU-derived DP、多个真实 DP 数据集以及作者采集的 DPDown70，基本能支撑“弱视差下更稳”的主张。特别是弱区域 mask 和 downsampling robustness 分析，比只报全图指标更贴近论文 claim。真实 DP 数据的存在也避免了完全依赖 simulator 的问题。

但 evaluation 仍有明显边界。第一，weak-disparity mask 主要由梯度分析得到，它捕捉 texture/edge weakness，但不完全等价于 DP disparity observability；真实可观测性还受 defocus amount、aperture、noise、ISP、sensor layout、focus distance 影响。第二，downsampling 是合理 proxy，但它把 observability degradation 简化为分辨率衰减，不能代表真实光学退化的全部。第三，所有数据被映射到 1-10m 物理范围，这有利于统一评估，但也可能弱化跨场景 metric scale 难度。第四，文中未充分说明跨相机、跨光圈、跨 ISP 的 zero-shot 泛化；因此“generalizable”更多是 benchmark-level，而非 deployment-level。

Limitation

最大限制是方法仍依赖 DP signal 作为 metric anchor；如果 DP 初始深度在大区域系统性错误，foundation prior 只能补结构，不能凭空恢复正确尺度，甚至可能被错误 metric condition 拉偏。第二，foundation prior 的结构能力依赖大规模预训练数据覆盖，所谓全局推理可能更多是 learned scene prior / retrieval-like completion；对非典型场景、透明/反射材料、微距、医学/工业成像，泛化不应默认成立。第三，ViT alignment 需要 clear/blur pair 或至少可构造的退化对应，真实 DP 设备中的 blur、noise、demosaic、ISP 非线性更复杂，文中未充分说明该 alignment 是否能跨设备工作。

还有一个归因问题：FoundDP 的大部分提升可能主要来自引入 DAV2 这样的强 backbone，即 scaling / data coverage，而不是 DP-specific guidance 机制本身。ablation 虽然显示 DG 有贡献，但缺少不同 foundation model 容量、冻结/微调策略、训练数据量控制下的归因分析。计算开销也是实际部署限制；DP 本身常见于移动设备，但 ViT-based guidance 会把系统推向离线或高算力推理。更根本地说，方法不是消除了 weak observability，而是把弱可观测区域的几何估计转移给 foundation prior；这在 benchmark 上有效，但物理可验证性下降。

Takeaway

• 最值得记住的不是具体网络，而是分工原则：物理传感器信号提供 metric anchor，foundation model 提供结构先验，二者不要互相替代。
• 这个思路可迁移到很多小 baseline / 弱观测任务，例如 event/RGB depth、polarization depth、defocus depth、低光 stereo、under-display camera restoration。
• 第二个 takeaway 是 foundation prior 进入计算成像问题时必须考虑成像退化对表征的影响；不是所有 ViT features 都能直接跨 optical domain 使用。
• 第三，未来更值得做的是显式 observability/confidence modeling：让系统知道哪里应该信 DP，哪里应该信 prior，而不是用隐式 gating 学。

一句话总结

FoundDP 是 DP metric depth 向 foundation-prior-guided depth 演化的一步：它的真正贡献是把弱视差区域的结构恢复从局部匹配问题转化为由单目大模型结构先验约束、再由 DP 物理尺度校准的融合问题。