精读笔记

Problem Setting

EPO 面向的是 3DFM 后处理 refinement，而不是完整 SfM pipeline。输入已经有 RGB、相机参数、pose、dense depth；问题是如何在不构造 feature tracks 的情况下进一步提升几何精度。

真正困难点在于 refinement 需要跨视角约束，但传统高质量约束通常来自 explicit tracks。3DFM 的速度优势恰恰来自跳过 matching/tracking；如果后处理再跑 track refinement + BA，就把主要成本和显存压力重新引入系统。

因此本文的关键矛盾是：几何精修需要 correspondence-like signal，但系统设计又不能显式构造 correspondence。EPO 的定位就是在这两者之间找一个 proxy：不用匹配点，而用由初始 depth/pose 支撑的 edge-field alignment 产生梯度。

Motivation

已有路线不够的地方不是 BA 不准，而是 BA 的输入代价与 3DFM 的设计目标冲突。VGGT 等模型可以快速给出几何，但它们若要达到传统 SfM 精度，通常要依赖 track refinement；而 track refinement 正是显存和时间瓶颈。

作者的核心观察是：一旦 3DFM 给出了 dense depth 和大致 pose，跨视角几何约束不一定要通过 sparse feature identity 来表达。图像边缘虽然没有显式身份，但通过 distance transform 可以给出连续的“投影是否落在结构边界附近”的误差信号。

所以这篇论文缺的不是一个更强 matcher，而是一个绕开 matcher 的 refinement objective。它试图证明：在 foundation model 初始化足够好的 regime 下，trackless geometric proxy 可以替代一部分 BA 的作用。

Core Idea

论文真正的核心是把 bundle adjustment 中的“点-观测对应误差”换成“边缘投影到目标图像 distance field 的距离”。源图像的 edge pixels 通过自身 depth 和当前相机参数反投影到 3D，再投影到目标视角；目标视角预先计算 DTF，投影位置处的距离就是可微 residual。

这个想法本质上改变了建模方式：不再问“这个 3D 点在哪些图像中被哪个 keypoint 观测到”，而是问“当前几何投影出的结构边界是否与其他视角的结构边界一致”。它引入的是 structural edge prior，而不是 descriptor-matching prior。

相比 prior，它更 scalable 的原因不是优化器更强，而是 observation construction 更便宜：edge extraction 和 DTF 是 per-image 操作，viewgraph 可以由初始几何过滤，优化时可以随机采样 pair。它更 generalizable 的前提是边缘比局部纹理特征更接近跨场景的低层几何结构。

Method

方法的必要机制可以压缩为四个层次。

第一，基于初始几何构建 viewgraph。它解决的是约束可信度问题：不是所有 image pairs 都应参与 edge alignment，否则错误重叠会给优化注入错误梯度。cycle-consistent reprojection 用当前 depth/pose 过滤出足够重叠且几何自洽的 pair。

第二，使用 bidirectional edge reprojection loss。单向 edge-to-DTF 容易偏向某个视角的边缘分布，双向约束让 pair 内两张图都作为 source/target，从而提高对称性。Huber 和 distance clamp 主要是避免无关边缘、遮挡和噪声主导梯度。

第三，先优化 pose/intrinsics，再加入 depth。这个 schedule 是关键防退化机制：如果 depth 从一开始自由变化，它可能吸收相机误差，使得 edge loss 下降但 pose 不一定变好。先稳定相机，再让 depth 修正局部几何，更接近一个 coarse-to-fine 的 test-time optimization。

第四，pose-based early stopping。loss 本身不是 pose accuracy 的可靠 proxy，因为 DTF alignment 可能继续改善局部边缘距离但不再改善相机，甚至过拟合边缘噪声。直接监控 pose 变化更符合目标变量，也解释了它为什么比 loss-based stopping 更稳。

Key Insight / Why It Works

这篇最重要的 insight 是：在强 3DFM 初始化下，refinement 的核心瓶颈不是寻找全局 correspondence，而是在一个相对局部的 basin 内找到足够密、足够便宜、能传梯度的几何一致性信号。EPO 把问题从 matching-heavy 变成 optimization-heavy，并且用边缘场让后者可承受。

真正有效的原因大概率有三层。第一，edge observation 比 sparse keypoints 更密，尤其在室内、建筑、物体边界等结构化场景中，对 pose 有更强约束。第二，DTF 把离散边缘变成连续吸引域，缓解了没有精确 correspondence 的问题。第三，3DFM 的 depth/pose 已经把搜索空间压到局部，避免 edge alignment 作为全局 objective 的歧义暴露得太严重。

最可能的核心贡献是 edge-to-DTF reprojection objective 与 3DFM dense depth 的结合，而不是 MLP pose refiner 或 Triton kernel。MLP、6D rotation、translation offset、affine depth 是让优化稳定的必要工程，但不是概念上的主要突破。

这不是 scaling，也不是 retrieval；它更像是 representation alignment + test-time compute。representation alignment 指 RGB 边缘、predicted depth、camera pose 被组织进同一个 differentiable geometric field；test-time compute 指每个场景都单独优化，而不是让网络一次性预测完。

需要直说的是，部分增益可能来自 observation budget 和工程实现：EPO 的边缘点数量远多于 BA sparse tracks，NVS 中 3DGS 也可能受益于更密的点初始化。文中虽然报告 observations，但没有完全消除“更多点/更密约束”与“edge prior 本身更好”之间的混淆。accuracy gain 的归因不如 efficiency gain 干净。

Relation To Prior Work

EPO 最接近三条线：传统 BA/SfM refinement、edge/line-based SLAM、DUSt3R/VGGT 系 3DFM global alignment。它不是重新发明 BA，而是在 BA 的位置上替换 observation model。

和 BA 的本质差异是，BA 优化的是显式 3D point 与多视角 2D observation 的 reprojection error；EPO 优化的是由 depth 支撑的 edge pixels 在其他视角 DTF 上的 alignment error。前者依赖 track identity，后者依赖 structural proximity。

和 edge-based SLAM 的差异在于，SLAM 通常有时间连续性、增量估计、较稳定的 depth/odometry 或运动先验；EPO 处理 unordered image collection，主要靠 3DFM 初始化和 viewgraph 过滤。它把 SLAM 里的 edge alignment 思想搬到 foundation-model-initialized SfM 后处理里，这是实质性的场景迁移。

和 MASt3R-SfM、VGGT+Ref+BA 这类方法相比，EPO 的新增信息不是更强特征，而是放弃显式匹配，把 dense depth 直接用于构造几何梯度。看似新的部分中，DTF、Huber、coarse-to-fine schedule、pair subsampling 都是已有优化思想重组；实质创新在于把它们组合成一个适配 3DFM 输出形态的 trackless refinement loop。

Dataset / Evaluation

评测覆盖了室内、户外建筑、object-centric NVS 场景，也测试了不同 3DFM 初始化，整体上能支撑“不是只对单一 benchmark 有效”的 claim。ScanNet++、TerraSky3D、Mip-NeRF 360 的组合对 texture-poor、建筑结构、多视角渲染都有一定覆盖。

最强证据是 runtime/memory：BA-like refinement 尤其 track refinement 的成本很高，而 EPO 在消费级 GPU 上运行，这直接验证了论文的系统动机。pose AUC 和 NVS 结果也一致支持几何改善，不只是某个指标偶然变好。

但 evaluation 仍有明显 limitation。首先，所有场景都在 150 images 上限内，超长序列下 viewgraph 构建、pair sampling、错误累积是否仍稳，文中未充分说明。其次，BA baselines 受 query frames、query points、track quality 和硬件差异影响，公平性不是完全干净。第三，NVS 结果会同时受到 pose、点密度、初始化点分布影响，不能完全等价为 pose refinement 更优。

总体看，实验充分支持“EPO 是一个高性价比 3DFM refinement 后处理”，但还不足以证明 edge-based objective 在所有几何条件下本质优于 feature-track BA。

Limitation

EPO 的第一前提是初始 3DFM 几何不能太差。edge-to-DTF loss 有大量局部极小值；如果初始投影偏离正确结构边缘太远，DTF 梯度会把点吸到错误边缘，甚至优化出视觉上合理但几何错误的结果。

第二个前提是边缘必须代表稳定几何结构。建筑、室内墙角、物体轮廓适合；树叶、反光、玻璃、重复纹理、阴影、高频图案会产生非结构边缘。此时方法不是缺少 feature，而是 objective 本身被噪声观测污染。

第三，viewgraph topology 是硬约束。连通性不足或错误 pair 会导致约束传播失败。论文强调随机 viewgraph subsampling 的效率，但这同时意味着大场景下每步只看到局部约束；是否会在低重叠或 loop closure 依赖强的场景中稳定，全靠经验结果还不够。

第四，depth refinement 可能把问题转移而不是解决。per-pixel affine depth 给了很大自由度，虽然 schedule 限制了退化，但在没有真实 depth supervision 的情况下，它可能吸收边缘对齐误差。文中未充分说明 depth 更新是否始终提升真实几何，而不只是提升 edge proxy。

第五，增益来源不清。Triton fusion、edge point budget、更密 3DGS 初始化、pose parameterization、stopping criterion 都贡献了最终结果。论文 ablation 有帮助，但还没有完全隔离“新的几何信号”与“更多/更便宜 observation + better engineering”的贡献。

Takeaway

• 第一，3DFM 后处理不一定要回到传统 SfM 的 track paradigm；如果 foundation model 已经提供 dense depth，很多 refinement 可以直接在 image-space geometric field 上做。
• 第二，edge/DTF 是一个被低估的 test-time optimization signal。
• 它的价值不是语义表达强，而是便宜、密集、可微、跨域稳定，适合作为 foundation model 输出后的局部几何校正器。
• 第三，未来更值得做的不是简单换更强 edge detector，而是引入 uncertainty-aware structural field：区分结构边缘、纹理边缘、动态边缘，并把 3DFM 的 depth confidence / visibility / occlusion 一起纳入 objective。

一句话总结

EPO 是一种面向 3D foundation model 的 trackless test-time geometric refinement：它用边缘 distance-field 对齐替代显式 feature tracks，在保留 feed-forward pipeline 速度优势的同时，把传统 BA 的一部分几何校正能力迁移到更轻量的 dense proxy optimization 中。