精读笔记

Problem Setting

这篇论文解决的是 RANSAC 模型选择中的尺度依赖，而不是采样效率或几何求解器本身。给定同一批候选模型，score 需要判断哪个模型解释数据最好；难点是 inlier set 和 inlier noise scale σ 是互相耦合的：不知道 σ 就不知道哪些点是 inlier，不知道 inlier 又估不准 σ。经典 RANSAC/MSAC/MLESAC/GaU/MAGSAC++表面上 score 不同，但本质上都需要一个 residual threshold 或等价的 inlier scale quantile。关键矛盾是：RANSAC 需要一个能在污染数据中做模型排序的尺度，但这个尺度本身通常只能从未确定的 inlier 中估计。

Motivation

已有路线不够的原因不是 per-point cost 设计得不精细，而是消元顺序错了：它们先在固定 σ 下处理 label，于是最终留下必须外部指定的 σ/τ。Shekhovtsov 的分析把这个问题暴露得很清楚：调好阈值后 MSAC、GaU、MAGSAC++几乎打平，说明 score 家族间的差异被阈值校准主导。MAGSAC++的问题尤其有代表性：所谓 marginalize σ 仍保留 σ̄ 作为截断尺度，实际用户调的是 τ=κσ̄。作者看到的缺口是：需要一个在概率模型内部消掉 σ 的 score，而不是把 σ 包装成另一个超参数。

Core Idea

真正核心是反转 inference order。传统方法在固定 σ 下对 latent labels 做 max 或 sum，得到 threshold-based objective；本文则先固定一个 partition I，对 σ² 在 Gaussian inlier likelihood 下用 Inverse-Gamma prior 做解析积分，再对 partition 做最大化。这个顺序改变后，σ 不再是外部输入，而成为被 RSS 和自由度吸收掉的 latent scale。

这个改变引入的 inductive bias 是：每个候选模型应该有自己的 effective scale，由其最优 inlier prefix 的残差统计决定，而不是所有模型共享一个全局 threshold。数据丰富时，Jeffreys limit 让 scale 完全由该 hypothesis 的 inlier residuals 决定；数据稀缺时，IG prior 以 pseudo-observation 形式提供 regularization。这比 threshold-based scoring 更 generalizable 的原因不在于 score 更复杂，而在于它把超参数敏感的全局尺度选择变成了局部后验估计。

Method

方法中值得保留的机制很少。第一，仍使用 Gaussian-Uniform mixture：inlier 是 Gaussian residual，outlier 是 uniform support。这让新 score 和 MSAC/MLESAC/GaU 处在同一个建模谱系内，差异可归因到 σ 的处理方式，而不是换了 likelihood。

第二，对固定 partition 积分 σ²。IG prior 给出闭式 marginal likelihood；Jeffreys 是 α0=β0=0 的非信息极限，empirical-Bayes prior 则通过 α0、β0 表示 pseudo-residual count 和 pseudo-RSS。这个机制解决的是 scale estimation under contamination：不是先从污染数据估 σ，而是在每个候选 partition 内把 σ 当 nuisance variable 积掉。

第三，对 partition 做 sort-and-sweep。固定 θ 后残差排序，最优 inlier set 必然是最小 residual 的 prefix；只需扫描所有有效 prefix，计算 log Γ、RSS penalty、Gaussian normalizer 和 outlier volume penalty。这个机制解决的是可计算性，否则对 partition 的优化是组合爆炸。

第四，outlier half-width a 保留下来。作者强调 a 是 outlier support，不是 inlier scale quantile。这个区分在理论上成立，但实践中 a 仍需要给定 residual domain 的合理尺度；只是实验显示在 data-rich 情况下 score 对 a 的敏感性远低于 threshold-based 方法对 τ 的敏感性。

Key Insight / Why It Works

最关键的有效性来源是 per-hypothesis scale adaptation。threshold-based 方法把 σ/τ 固定成全局值，因此同一个阈值同时承担两个角色：定义 inlier set，并决定模型排序。本文的 score 把这两个角色拆开：partition 的边界由 sweep 在残差分布中选择，scale 由该 partition 的 RSS/DOF 后验吸收。于是超参数 a 更多影响 outlier penalty 的标定，而不是直接控制 inlier/outlier 切分。

从大样本角度看，IG-marginal score 接近在每个 partition 上用 MLE σ 的 GaU likelihood；threshold-based scoring 则是把这个 σ 约束为全局固定值。因此它不是“另一个 robust loss”，而是把已有 Gaussian-Uniform objective 从 fixed-scale 版本提升到 profile/marginal scale 版本。这个判断很重要：论文的实质创新是 nuisance scale 的正确消元，而不是 Student-t marginal 本身。

最可能的核心贡献是闭式 σ marginalization + prefix optimization 这对组合。IG-MLE/IG-Robust 是有用但次要的 extension：它们主要处理 low-ν 情况下 per-partition scale estimate 方差过大的问题。HEB 上 IG-Robust 优于 Jeffreys，说明在低 inlier cardinality 下“无先验”并不稳；这部分增益更像 robust empirical Bayes engineering，而不是 scale-free score 的必然结果。

这不是 scaling 故事，也不是 learned representation/retrieval 故事。它更接近 better inductive bias：把原本需要验证集调出的全局尺度，改成模型条件下的 latent sufficient statistic。实验中的验证集需求下降，本质上来自 score curve 变平，而不是使用了更多数据或更强特征。

Relation To Prior Work

它最接近的谱系是 MLESAC/GaU/MSAC 的概率化 RANSAC scoring，而不是 sampler 改进或 LO-RANSAC 系列。与这些方法的本质差异在于 nuisance elimination order：prior work 在固定 σ 下消 label；本文在固定 label/partition 下消 σ，再 profile label。这个变化看似数学顺序问题，实际改变了模型排序的信息流。

与 MAGSAC/MAGSAC++的关系更微妙。两者都声称 marginalize σ，但本文沿用 Shekhovtsov 的批评：MAGSAC++的 σ 上界仍是 inlier scale proxy，且其推导有若干不严谨处，最终数值上接近固定尺度 GaU。本文的实质新增信息是用共轭 IG/Jeffreys prior 得到真正闭式、无显式 inlier scale 的 marginal likelihood，并说明其隐式 threshold 是由 partition statistic 自适应产生。

看似新的部分里，Gaussian-Uniform mixture、profile likelihood、Jeffreys prior、empirical Bayes 都不是新概念；新的是把它们以一个刚好适配 RANSAC partition structure 的方式重组，使 score 可计算且避免 threshold calibration。这个贡献是建模层面的，不是系统工程堆叠。

Dataset / Evaluation

实验设计总体是强的，因为作者刻意隔离 scoring：同一图像对、同一候选模型池、同一 residual 输入，只比较 score 选择哪个模型。这直接验证论文主张，而不是让 sampler、local optimization、退化检测混入归因。覆盖也比较宽：E/F/H 三类 two-view geometry，RootSIFT/SIFT 和 SuperPoint+LightGlue 两类特征，接近 7 万 pair，包含 data-rich 与 low-cardinality 场景。

Profile 实验验证“对超参数误校准不敏感”，Sensitivity 实验验证“少量验证集即可调参”。这两个实验和核心 claim 高度一致，比单点 benchmark 更有说服力。尤其是 threshold-based baseline 在最优点打平、偏离最优后退化，而本文曲线较平，支持作者关于结构性差异的判断。

但 evaluation 仍有边界。它是离线候选池重排序，不是完整 RANSAC pipeline；真实部署中 sampler 质量、early stopping、LO refinement、degeneracy checks 会改变候选分布，score 的边际收益可能不同。HEB 的 structured outlier 和 plane annotation caveat 也说明 benchmark 本身含有与 uniform outlier 假设冲突的因素；IG-Robust 在这里赢，可能部分来自对该数据异常的稳健处理。

Limitation

第一，方法把 inlier scale 问题解决得比较干净，但没有完全消除所有尺度/域假设。outlier half-width a 仍需要定义 residual domain；当 residual 单位、归一化、几何误差近似在不同数据集间不稳定时，a 的语义可能变得含糊。作者证明 a 不等价于 τ，但实践上它仍是一个需要调或设定的环境参数。

第二，uniform outlier 是强假设。two-view matching 中 outlier 经常不是均匀噪声，而是重复纹理、共面结构、多运动、多平面导致的 structured residual。HEB 已经显示这种违反会影响 prior 估计和 score 行为。该方法在多结构 fitting 或高度相关 outlier 下的上限文中未充分说明。

第三，低数据 regime 的好结果依赖 prior 质量。IG-Robust 需要验证集上的 per-pair scale estimates；如果 GT matches、GT pose 或 annotation 本身有偏，prior 会把这种偏差带入 test。文中说明了 MLE 会被 heavy tail 拖坏，但没有充分讨论 robust prior 在跨相机、跨特征、跨误差模型迁移时是否仍可靠。

第四，fully Bayesian marginal over labels 被放弃，改用 profile over partitions。这是合理的可计算折中，但也意味着 score 偏好单一最优 partition，而不是对 partition uncertainty 做积分。在 inlier boundary 模糊、多个模型解释力接近、或候选模型 residual 分布多峰时，这个近似可能影响排序。

第五，完整 pipeline 增益来源仍不完全清楚。当前实验证明了 isolated scoring 的优势，但如果结合 LO-RANSAC 后，local optimization 可能重新估计 inlier set 和 scale，削弱 scoring 阶段的差异；这部分增益是否仍保持，文中未充分说明。

Takeaway

• 最值得迁移的 insight 是：很多 robust estimation 中的阈值调参问题，本质是 nuisance scale 的错误消元顺序；如果能先对 scale 做 conjugate / analytic marginalization，再优化 discrete structure，往往能显著降低验证集依赖。
• 第二个 takeaway 是，score 的稳定性比最优点性能更重要。
• 本文中 threshold-based 方法在最优点并不差，真正差的是 good hyperparameter region 太窄；这对实际部署比 leaderboard 单点数字更关键。
• 第三，非信息先验不是总是最好。

一句话总结

《RANSAC Scoring Done Right》在 RANSAC scoring 谱系中的真正贡献，是把固定阈值/固定尺度的模型选择改造成对 inlier scale 做闭式 marginalization、再对 partition 做 profile 的 scale-free 评分框架，从而把长期的阈值校准问题转化为每个候选模型的后验尺度估计问题。