精读笔记

Problem Setting

论文标题：Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo（arXiv preprint / 2026-06-24）。这篇论文不是在重新发明 spherical stereo，也不是提出新的 flow/stereo 网络，而是在解决一个更窄但实际的问题：raw spherical/fisheye stereo 中的对应关系沿球面大圆走，在图像平面表现为二维位移，因此不能直接用传统 rectified stereo 的单轴 disparity 假设。真正困难点是 epipolar geometry 与现有 stereo 工具链的坐标假设不匹配。以前方法要么设计 spherical-specific matching，要么做 360 depth prediction，但成熟的 RAFT/RAFT-Stereo/PSMNet 类方法通常预设 rectified geometry。本文的关键矛盾是：360°感知需要非平面视场，而高效 disparity estimation 又强依赖单轴搜索/单轴解释。

Motivation

作者的动机可以概括为：既然 EACS 已经说明 rectified domain 中 optical flow 的 epipolar-aligned channel 可以直接作为 disparity，那么 spherical stereo 的瓶颈不是是否需要另一个 disparity network，而是能否先恢复 EACS 所需的几何前提。已有 omnidirectional depth 工作大量使用 ERP，但多是把 ERP 当成网络输入表征或 fusion reference，而不是明确验证 ERP rectification 后是否足以让 optical-flow-to-disparity 的简单规则成立。关键缺口在于：spherical-to-ERP rectification 与 RAFT+EACS 之间的兼容性没有被系统检验。作者选择的路线本质上是“显式几何先行，学习 matcher 后置”。

Core Idea

核心思想是把 spherical stereo 的二维对应问题改写为 ERP 坐标下的单轴 disparity 问题。raw spherical input 中，点的匹配沿大圆曲线移动；经过合适的 spherical-to-ERP rectification 后，epipolar direction 被对齐到图像轴：left-right rig 对应水平位移，top-bottom rig 对应垂直位移。这样，dense optical flow 虽然仍输出二维向量，但其中只有 baseline-aligned component 被赋予 disparity 意义。

它改变的建模方式是：不让神经网络内部学习 spherical epipolar structure，而是在输入空间中显式重排几何，使后续 matcher 工作在一个更接近 classical stereo 的坐标系里。引入的 inductive bias 是强 epipolar-axis alignment：正确匹配应主要沿一条轴变化，正交方向理想情况下应为零或接近零。和 prior 的本质区别不是更强模型，而是把几何复杂性从 learned correspondence model 中剥离出来，用投影变换降低下游学习/匹配的自由度。

Method

方法中真正有机制意义的部分很少。第一，spherical/fisheye 到 ERP 的投影解决的是 epipolar curve 不直、不轴对齐的问题；它的必要性在于 EACS 只有在 disparity 已经轴对齐时才有定义，否则 channel selection 会丢掉真实几何信息。第二，RAFT 被用作通用 dense correspondence engine，解决的是匹配质量问题；但它不是本文的几何贡献，换成其他强 optical flow matcher 理论上也应成立。第三，EACS 是将 flow 解释为 disparity 的读取规则：对 left-right rig 取 horizontal flow，对 top-bottom rig 取 vertical flow；它的核心变化是把二维 correspondence 压成一维几何量。整体 pipeline 的本质不是新网络，而是“projection-induced constraint + generic matcher + axis projection”。

Key Insight / Why It Works

最关键的 insight 是：在这个问题里，disparity estimation 的主要障碍不是 matcher capacity，而是 representation misalignment。只要输入域恢复了全局一致的 epipolar axis，现有 optical flow 模型已经足够强，可以承担 dense correspondence；随后单通道选择就是由几何决定的后处理。换句话说，本文的有效性主要来自 better inductive bias 和 representation alignment，而不是 scaling、训练策略或更复杂架构。

最可能的核心贡献是把 spherical-to-ERP rectification 明确连接到 RAFT+EACS 的适用前提：ERP 不是泛泛的 360 表征，而是让 orthogonal flow component 在理想几何下应该消失的坐标变换。EACS 本身在这里更像辅助规则；RAFT 的强性能也可能贡献了大部分数值表现。增益来源不清的地方在于，实验没有充分分离 ERP rectification、RAFT pretrained matching capacity、合成数据洁净标定、以及 EACS channel selection 各自的作用。若数据高度理想化，低误差可能主要来自受控 synthetic geometry，而不是方法对真实 spherical stereo 的鲁棒泛化。

Relation To Prior Work

这篇工作最接近三条谱系：spherical epipolar rectification、optical-flow-based disparity extraction、以及 ERP-based 360 depth/representation learning。与 spherical rectification 先前工作相比，它没有在投影几何上提供明显新理论，更多是把已有 ERP rectification 接到现代 dense flow matcher。与 RAFT-Stereo/PSMNet/CREStereo 这类 stereo network 相比，它不构建 stereo-specific cost volume 或 recurrent disparity refinement，而是复用 optical flow 并通过几何选择通道。与 EGFormer、Elite360D、GFusion 这类 360 depth 方法相比，它不是学习 monocular/feature-fusion depth prior，而是坚持几何 stereo correspondence。

看似新的部分主要是组合：spherical-to-ERP + RAFT + EACS。实质新增的信息在于验证这个组合在合成 spherical stereo 上可工作，并把“orthogonal component should vanish after rectification”作为 flow-to-disparity 的判断依据。严格说，本文更像一个 geometry-aware system paper / pipeline validation，而不是提出新的 stereo matching algorithm。

Dataset / Evaluation

评估使用合成 omnidirectional stereo 数据，带 dense ground-truth disparity/depth，并把 fisheye 图像统一重投影到 1600×1600 ERP。这个设置适合验证论文的核心 claim 的一部分：在理想或受控 spherical-to-ERP rectification 后，single-axis disparity extraction 是否可行。但它不足以验证真实部署中的关键问题，例如真实镜头畸变、外参误差、非 central projection、曝光差异、动态物体、遮挡边界、极区/接缝 artifact。

实验指标显示方法在该合成设置中误差和 outlier 较低、速度较快，但论文没有做足够的 ablation：raw spherical 上取 flow magnitude、ERP 后不做 EACS、不同 projection、不同 baseline orientation、不同 calibration noise 等都应该是核心对照。与其他 stereo 方法的比较也存在解释风险：部分 baseline 的数字和运行环境/输入设定未完全统一，不能强证明本文方法“优于”这些模型，只能说明它在当前 ERP synthetic setting 下是一个有效且轻量的替代方案。

Limitation

最大限制是方法把问题转移给了几何预处理：如果 ERP rectification 不精确，EACS 会系统性丢失正交方向中的真实匹配残差。它隐含要求 epipolar direction 在 ERP 中能够稳定对齐到全局水平或垂直轴，这对 rig 结构、外参标定、相机模型和投影实现都有强依赖。文中未充分说明非理想 top-bottom/left-right rig、斜 baseline、宽 baseline、近距离大视差、极区拉伸和 seam crossing 下该假设何时破裂。

另一个限制是泛化证据偏弱。没有真实世界真机数据，合成数据上的表现可能高估方法稳定性；RAFT 的 pretrained correspondence 能力和 synthetic ground truth 的干净几何可能贡献了主要收益。所谓实时性也取决于 ERP 分辨率、projection overhead、GPU 和 RAFT 配置，未必可直接迁移到嵌入式机器人。论文还没有真正闭环到 depth reconstruction；disparity 在 ERP 中低误差不等价于 spherical triangulation 后深度误差均匀，尤其在不同 latitude 处角度-像素尺度不同。

Takeaway

• 第一，360 stereo 中一个很有迁移价值的原则是：先把几何约束显式对齐，再让通用 matcher 工作；不要默认需要 spherical-specific network。
• 第二，ERP 的价值不只是方便 CNN/Transformer 输入，而是可以作为 epipolar-axis normalization 的中间表示。
• 第三，flow-to-disparity 的关键不是 flow magnitude，而是 flow component 的几何可解释性；正交分量可被视为 rectification residual 或 failure signal。
• 第四，未来真正值得做的是把该 pipeline 推到真实 rig、标定噪声、宽 baseline 和 alternative projections 上，而不是继续堆更复杂的后处理。

一句话总结

这篇论文在 360 stereo 方向中的位置是一个 geometry-first 的 pipeline validation：它把已有 spherical-to-ERP rectification 与 RAFT+EACS 重新组合，证明在受控条件下显式表示对齐足以把 spherical correspondence 转化为可复用传统工具链的单轴 disparity。