精读笔记
Problem Setting
[SA-Homo: Scale Adaptive Homography Estimation for Scale Variation Scenarios]（arXiv preprint / 2026-06-30）
这篇论文不是在重新定义 homography estimation，而是在处理一个 prior 普遍回避的 regime：两幅图之间不仅有投影变换，还有显著尺度差异，SDR 可到 8×。真正困难点在于尺度变化会同时破坏三个条件：对应点位移超出局部搜索范围，局部 patch 外观不再一致，网络预测的对应中 outlier 比例上升。
以前的 iterative deep homography 方法基本依赖“初始误差不太大”这一隐含前提。它们通过逐步 warp/refine 收敛，但如果第一步对应已经偏离真实 basin，后续迭代不是优化而是误差累积。这里的关键矛盾是：scale variation 需要全局、跨尺度、鲁棒的初始匹配；而高精度 homography 又需要局部、细粒度、低噪声 refinement。单一模块很难同时满足这两个目标。
Motivation
作者的核心观察是：scale variation 下的失败不是简单的模型容量不足，而是建模假设错了。局部相关窗口默认对应仍在附近，迭代 refinement 默认当前 H 已经足够接近真实解，常规 dense matching 默认局部表观可比较；这些在大尺度差异下都不稳定。
因此缺的不是又一个更深的 CNN 或 transformer，而是一个能先把尺度差异显式“桥接”掉的阶段。这个阶段需要有全局搜索范围、跨尺度相似度表达，以及几何层面的 outlier suppression。之后，传统局部 refinement 才重新变得合理。这个 motivation 是成立的：它把问题从“如何更好 refine”转向“如何让 refinement 进入可收敛区域”。
Core Idea
论文真正的核心是把 homography estimation 拆成两个不同性质的子问题：第一阶段做低分辨率、全局、跨尺度的对应检索，目标不是 sub-pixel 精度，而是把 scale/displacement gap 拉回到可局部优化的范围；第二阶段做高分辨率或多尺度局部 refinement，目标是在已近似对齐后利用局部相关获得精度。
这个设计引入的 inductive bias 是 coarse-to-fine 但不是普通 pyramid coarse-to-fine。普通金字塔仍常假设同尺度局部一致；SA-Homo 的第一阶段显式允许跨尺度匹配，并用 Sinkhorn/RANSAC 把匹配问题约束成近似一一对应和全局几何一致。这更像“retrieval + robust geometry + local optimization”的重组，而不是端到端直接回归 H。它的 generalization 潜力来自把大尺度变化吸收到初始全局 assignment，而不是指望局部迭代自己学会跨尺度搜索。
Method
关键机制可以压缩为四点。
第一，SDBM 解决的是初始 basin 问题。它在高度下采样特征上做全局相关，牺牲精度换搜索范围，使对应点不再受局部窗口限制。没有这个阶段，IHERM 在 scale variation 下基本没有可收敛起点。
第二，跨尺度相似度矩阵解决的是局部表观不一致问题。由于一个 source token 在另一个图中可能对应不同大小区域，直接 token-to-token 相似度会偏脆弱；用多粒度 template feature 汇聚相关，本质上是在给匹配加入 scale tolerance。
第三，Sinkhorn 和 RANSAC 解决的是匹配噪声问题。Sinkhorn 抑制 many-to-one assignment，RANSAC 把 learned correspondence 投影到几何一致集合。这里 RANSAC 不是装饰性后处理；消融显示没有它会严重崩坏，说明网络本身并没有学到足够干净的 correspondence filtering。
第四，IHERM 解决的是 SDBM 低分辨率粗估计带来的精度上限。它只在尺度差异被压缩后做局部相关迭代，因此轻量化是合理的。其角色更像 precision polishing，而不是主匹配引擎。
Key Insight / Why It Works
最重要的 insight 是：大尺度 homography estimation 的难点主要在“进入正确 basin”，而不是在 basin 内做更强 refinement。SA-Homo 有效的核心应是 SDBM + RANSAC 产生了一个几何上可用的初始 H，使后续局部优化重新回到传统方法擅长的 regime。Fig.4 中 SDR 从 4.41 降到约 1.01 的叙述正好说明这一点：模型真正做的是把问题变回 scale-similar homography。
从归因看，最可能的核心贡献是“全局跨尺度 correspondence + robust geometry”的组合，而不是某个具体 attention block。MLAC 的多尺度线性注意力有帮助，但更像 representation smoothing / context aggregation；CSMB 的多尺度与 Sinkhorn 在最终 MACE 上增益较小，但对 SDBM 初始质量有稳定作用；IHERM 基本是已有 iterative refinement 思路的复用。
这篇方法本质上不是更强推理，而是更好的 inductive bias 和更合适的 compute allocation：把昂贵的全局搜索放在低分辨率粗对齐阶段，把便宜的局部搜索放在精修阶段。它也带有 retrieval 味道：先从全局特征空间中找对应，再用几何一致性筛选。若训练数据覆盖了尺度分布，这种策略会非常有效；若测试尺度/纹理/模态超出覆盖，泛化可能明显下降。
需要直说的是，RANSAC 的巨大消融差异说明端到端网络并未完全解决 outlier problem，而是把最终鲁棒性部分交还给经典几何。这个并不是缺点，反而是合理工程选择；但如果论文把鲁棒性完全归因于 learned scale-adaptive representation，就有些过度包装。
Relation To Prior Work
它最接近三条路线的交叉：iterative deep homography（IHN/RHWF/McNet）、dense matching + geometry（LoFTR/RoMa/GFNet 类思想）、以及 cross-resolution/cross-modal homography（LocalTrans/CrossHomo/P2WNet）。真正不同点不在于使用 transformer、相关体或迭代，而在于明确把 scale gap 作为 first-class factor 处理，并在第一阶段用全局跨尺度 assignment 获得几何初值。
和 McNet/RHWF/IHN 的差异是：prior 主要在局部或多尺度 refinement 内提高精度，但仍隐含初始尺度接近；SA-Homo 在 refinement 之前加了一个尺度桥接阶段。和 GFNet 的差异是：GFNet 偏 dense matching adaptation，高精度但在大尺度差异下 soft-argmax/patch-level correlation 可能不够稳定；SA-Homo 通过 cross-scale correlation 与 RANSAC 显式压制 outlier。
看似新的部分中，MLAC、Sinkhorn、RANSAC、DLT、iterative refinement 都是已有思想重组。实质创新在于任务分解和信息流组织：先低分辨率全局跨尺度匹配，再几何鲁棒化，再局部迭代精修。这是架构层面的 inductive bias，而不是单个模块发明。
Dataset / Evaluation
evaluation 基本支持论文核心 claim：在合成 scale variation 的 MSCOCO、HMSA、RGB-NIR 上，SA-Homo 相比 prior 的优势非常大，且在 SDR 分组中性能稳定；这正对应“尺度差异导致 prior 崩溃，而 hierarchical scale alignment 可以避免崩溃”的主张。HMSA 作为高分辨率可见光-红外卫星数据集，也让 cross-modal + scale variation 的设置更贴近遥感注册场景。
但评估仍有明显边界。主要 scale variation benchmark 来自同一套数据生成 pipeline：随机 homography、随机 crop/resize、过滤 textureless 和 SDR>8 的样本。这能验证 controlled scale discrepancy，但不能完全代表真实部署中的尺度变化、视角变化、传感器差异、遮挡、季节变化、多平面结构和低重叠。所谓真实世界 claim 还不够强，因为没有看到充分的真机/真实未配准场景评估。
另一个问题是训练和测试的数据生成机制高度一致，模型可能学到的是该 synthetic transformation family 下的 robust alignment，而不是更广义的 scale generalization。HMSA 的贡献有价值，但也可能放大了方法与数据 pipeline 的耦合。
Limitation
第一，方法强依赖单一全局 homography 假设。只要场景存在明显非平面、视差、多运动或局部形变，RANSAC 只能选择一个主平面，无法解决结构性错配。
第二，SDBM 的全局相关虽然在低分辨率上可控，但复杂度仍随 token 数增长；更高分辨率、更大搜索区域或更高 SDR 时，上限可能很快出现。论文只验证到 8×，并不能说明更大尺度差异下依然可扩展。
第三，鲁棒性部分相当依赖 RANSAC。w/o RANSAC 的崩坏说明 learned correspondence 里 outlier 很多，网络本身并没有形成强 outlier reasoning。换言之，方法把一部分难题转移给经典几何估计。
第四，增益来源不完全清晰。CSMB、MLAC、Sinkhorn 都有贡献，但最终巨大提升主要可能来自任务设置匹配了“先全局粗配准再局部精修”的结构，以及训练数据覆盖了 scale variation 分布。部分效果可能主要来自 data / scaling / pipeline alignment，而不完全是模块创新。
第五，边界情况展示不足。论文展示了 partial overlap 的可视化，但缺少系统评估：overlap ratio、重复纹理、低纹理、强跨模态非线性、极端视角变化分别如何影响失败率，文中未充分说明。
Takeaway
- 1. 对 homography 这类几何任务，scale variation 下最重要的不是把 refinement 做得更强，而是先构造一个能进入正确 basin 的全局初值。
- 2. “全局低分辨率匹配 + 经典鲁棒几何 + 局部高精度 refinement”是一个值得迁移的范式，尤其适合那些既有大范围不确定性又需要高精度输出的视觉几何问题。
- 3. 跨尺度匹配的核心不是简单多尺度特征，而是允许 correspondence 的 spatial support 变化；这类 inductive bias 可以迁移到 registration、tracking、part-to-whole matching、remote sensing alignment。
- 4. 未来真正值得做的是减少对合成数据分布和 RANSAC 的依赖：让模型显式估计 uncertainty/outlier、处理多平面/低重叠，并在真实传感器数据上验证尺度泛化，而不是继续堆模块。
一句话总结
SA-Homo 在 homography estimation 中的定位是：把尺度变化场景从脆弱的局部迭代问题改造成“全局跨尺度粗匹配 + 鲁棒几何初始化 + 局部精修”的两阶段几何学习方法，真正贡献在任务分解和 inductive bias，而不是单个网络模块。