IEEE Transactions on Robotics

Mitigating Distributional Shift in Semantic Segmentation via Uncertainty Estimation From Unlabeled Data

作者：David S. W. Williams, Daniele De Martini, Matthew Gadd, Paul Newman · 机构：Oxford Robotics Institute, Department of Engineering Science, University of Oxford, Oxford, U.K.

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：3146-3165

移动机器人状态估计

精读笔记

Problem Setting

论文标题：Mitigating Distributional Shift in Semantic Segmentation via Uncertainty Estimation From Unlabeled Data（IEEE Transactions on Robotics / 2024）。

这篇论文不是在做常规 UDA，也不是只做 OoD detection；它真正关心的是 robotics deployment 中更实际的问题：语义分割模型在目标域发生 distributional shift 后，哪些像素预测可以被下游规划/定位/建图继续使用，哪些应该被拒绝或降权。换句话说，目标不是把所有 target pixels 都分对，而是把“confident but wrong”的像素尽量消掉。

困难点在于目标域错误来源混杂：一部分是 known classes 的外观变化，例如乡村道路、植被、光照、材质变化；另一部分是 source label space 根本没有的 unknown classes，例如马、木材堆、湖面、非标准路面。模型仍被限制在固定 K 类输出，因此 unknown 类不可能被正确分类，只能被 uncertainty 捕获。这个设定比标准 semantic segmentation 更接近安全感知问题。

以前方法卡在两个地方：Bayesian/MCD/ensemble 能给 epistemic signal，但推理代价高，不适合实时机器人；feature-distance/OoD 方法单次前向，但 representation 通常只由源域监督训练得到，一旦目标域包含 near-distribution instance，它们很难区分“可泛化的陌生外观”和“应拒绝的错误区域”。关键矛盾是：没有目标域标注，却需要学习目标域 failure modes；不能简单适配所有目标域像素，否则会把错误伪标注也强化成高置信预测。

Motivation

作者的核心观察是：无标注目标域数据虽然没有 ground truth，但它包含部署域中模型会失败的视觉模式；如果能从这些数据中提取一个与错误率相关的 proxy，就可以学习 uncertainty，而不必标注目标域。

他们选择的 proxy 是 augmentation consistency：同一目标域图像经过不同 crop/color perturbation 后，对应像素预测一致，通常更可能是正确的；预测不一致，则更可能是模型不稳定或语义表征不足。这个 proxy 不完美，但它把“是否预测正确”转化成了无标注可观测量。

现有路线缺的是一种同时满足三点的机制：1）能利用真实 deployment domain 的无标注数据；2）不会把所有目标域像素都强行适配为 confident；3）推理时不需要多次采样或 ensemble。本文的方向就是把 uncertainty estimation 从 test-time stochastic inference 转成 training-time representation shaping。

Core Idea

核心思想可以概括为：用目标域无标注数据训练一个 feature space，使得正确/可泛化像素落在 source class prototypes 附近，错误/OoD/不稳定像素远离这些 prototypes；部署时只需计算像素 embedding 到各类 prototype 的距离，并用一个全局阈值 gamma 判断 certain/uncertain。

真正有意思的不是 prototype 本身，而是 gamma 的训练方式。作者用两个 augmentation 分支的预测一致性估计当前 batch 中“可能正确”的比例，然后选择 gamma 让 feature-space 中被判为 certain 的像素比例等于 consistency ratio。随后只对这些 certain 像素施加 consistency loss。于是形成一个正反馈：consistency map 提供弱监督来调整 gamma；gamma mask 过滤掉不可靠像素，使 consistency training 不被 OoD/错误区域污染；训练后的 feature space 又让 consistency 与 accuracy 的相关性变强。

这与 prior 的本质区别是：它不是事后在源域 representation 上计算 OoD score，也不是用多模型不确定性估计错误，而是在目标域无标注数据上显式学习“哪些区域值得被一致性约束”。这个 inductive bias 更适合机器人场景，因为 deployment domain 数据通常容易采集，标注难；用数据覆盖换取 uncertainty calibration，比依赖源域泛化更 scalable。

Method

1）Prototype-based segmentation / uncertainty：类别由 source-domain class prototypes 表示，像素 embedding 与 prototype 的 cosine similarity 同时用于分类和 uncertainty。它解决的是如何把 segmentation confidence 变成几何距离，使 uncertainty 有一个可解释、单次前向的判据。核心变化是从 softmax logit confidence 转向 metric-space membership。

2）Gamma threshold：gamma 不是固定后处理阈值，而是在训练中根据目标域 consistency ratio 动态求出。它解决的是没有目标域标注时如何设定 certainty boundary。其作用不是精确标定概率，而是让 feature-space 的 acceptance region 与当前模型在目标域上的稳定区域对齐。

3）Selective consistency：只在 gamma 判为 certain 的像素上最大化跨 augmentation 一致性。它解决的是 uncurated target data 中含有 unknown/ambiguous pixels 时，标准 SSL 会强行对齐错误伪标签的问题。核心变化是把 consistency 从“所有目标域像素都应一致”改成“只有当前可信区域应被拉近”。

4）Uniformity / prototype spreading：这些正则不是主要思想，但机制上必要。没有它们，feature 很容易塌到少数 prototype 上，从而获得虚假的高一致性。它们强迫 target features 和 source prototypes 在单位球上保持可分结构，使距离阈值有意义。

5）Asymmetric branches：一个分支用参数化 segmentation head，另一个分支用 projection + prototype segmentation。它主要防止自监督一致性的 trivial collapse。这里更像 SSL 工程经验的迁移，而不是 uncertainty 理论贡献。

6）Domain curriculum：先用更接近 source 的 London，再到 New Forest/Scotland。它解决大 domain gap 下 consistency proxy 初始质量太差的问题。这个机制很有效，但更像 data/curriculum engineering；增益来源部分来自更连续的数据覆盖。

Key Insight / Why It Works

最关键的 insight 是：在分割场景里，目标域错误检测不一定要直接学习 unknown class，也不一定要估计 Bayesian posterior；只要能学到一个 feature-space acceptance region，使 known-correct pixels 聚到 source prototypes 附近，而不稳定/unknown pixels 被留在外面，就足以服务安全部署。

方法有效的核心原因有三层。第一，prototype distance 是比 max-softmax 更合适的 inductive bias。softmax confidence 容易在 OoD 上过高，而 prototype membership 至少要求 embedding 接近某个 source semantic centroid。第二，目标域 consistency 提供了 deployment-specific error signal。传统 feature OoD 方法只知道 source distribution；本文用 target unlabeled data 观察模型在哪些真实目标域区域不稳定。第三，selective consistency 避免了 SSL/UDA 的常见副作用：把错误伪标签训练得更稳定、更 confident。

我认为真正的贡献是“用 consistency rate 校准 feature-space certainty boundary，并用该 boundary 反过来过滤 SSL”。这比单独的 prototype、augmentation consistency、uniformity 都更核心。prototype 是已有思想，uniformity 和 asymmetric branch 是防塌缩工程，curriculum 是强但偏数据策略的增强。

需要直接指出的是：最强结果很可能显著依赖目标域数据覆盖，尤其是 SAX curriculum。gamma-SSL 在大 shift 下不带 curriculum 时并没有压倒性优势；gamma-SSL_iL 的大幅提升说明它学到的不是抽象 open-world uncertainty，而是通过 unlabeled data 逐步把 representation 移到目标域。这里的“泛化”更像 representation alignment + target-domain retrieval boundary，而不是对未知世界的普适推理。

另一个值得注意的点：consistency proxy 有明显盲区。如果模型对某个错误区域在两种 augmentation 下都稳定预测成同一错误类别，它会被视为 consistent，并可能进入 certain 区域。论文通过 prototype distance、regularization 和目标域数据多样性缓解，但并没有从原理上解决 stable wrong prediction。

Relation To Prior Work

它最接近三条谱系的交叉：deterministic uncertainty methods、prototype/metric segmentation、semi-supervised consistency learning。

相对 epistemic uncertainty，本文不再通过扰动权重获得预测分布，而是在训练阶段通过扰动输入获得一致性信号，推理阶段只做一次 feature-distance 判断。本质差异是把 test-time compute 换成 offline target-domain data usage。

相对 DUM / Mahalanobis / ViM / softmax OoD，本文不是在源域训练好的 representation 上做 post-hoc scoring，而是用目标域无标注数据重新塑造 representation，使 uncertainty boundary 对 deployment domain 有适应性。真正新增的信息来自 target-domain unlabeled samples，而不是 scoring function 更复杂。

相对 UDA/SSL，本文不以 target accuracy 最大化为唯一目标，而是显式保留 rejection 机制。标准 consistency learning 会尝试让所有目标域像素变得一致；本文只让当前 certain 的像素一致，把 uncertain 区域从优化目标中排除。这一点是和 UDA 的本质分野。

看似新的部分中，prototype、hypersphere uniformity、非对称分支都不是新思想；实质创新在于把这些组件组织成一个 uncertainty-oriented positive feedback loop，并将 gamma 作为连接 consistency statistics 与 feature-space rejection 的桥。

Dataset / Evaluation

SAX benchmark 是论文评价说服力的重要部分。它比常见 Cityscapes-to-KITTI/BDD 更贴近机器人部署：同一图像内混有 in-distribution、near-distribution 和 unknown/OoD instances，而且 domain shift 从城市到乡村、荒野逐步增大。这确实比纯 image-level OoD 或 curated OoD 更能测试 pixel-wise misclassification detection。

评价指标也比较合理：作者没有只报 AUROC/AUPR，而是引入 F0.5、misclassification detection accuracy，以及 p(accurate,certain) 来同时观察 introspection 和 usable segmentation coverage。这一点很重要，因为一个模型可以通过把大量像素拒绝掉获得好看的 uncertainty 指标，但对机器人并不有用。

实验基本支持核心 claim：利用目标域无标注数据学习 uncertainty，在多个 shifted domains 上优于多种 epistemic 和 representation baselines，并且推理延迟接近普通 segmentation network。消融也支持 selective gamma mask、目标域数据、正则和分支非对称的必要性。

但 evaluation 仍有局限。首先，SAX unlabeled train 与 SAX labeled test 同属同一 domain，验证的是 deployment-domain adaptation，而不是未知域泛化。WildDash 结果缓解了一点，但不是主结论。其次，benchmark 的标注规模相对有限，且 domain curriculum 的设计与 SAX 数据结构高度相关；是否能推广到更复杂、更长尾的全球驾驶数据，文中未充分说明。第三，指标以 pixel-wise correctness 为核心，并未验证下游 planning/localization 是否真的因 uncertainty mask 更安全。

Limitation

1）依赖目标域无标注数据。论文的核心能力可能主要来自数据覆盖：如果 deployment domain 无法提前采集，或测试分布快速变化，方法优势会下降。它把“目标域标注难”转移成了“目标域无标注覆盖要足够好”。

2）consistency ≠ correctness。稳定错误预测是该方法的结构性盲点。augmentation consistency 只能捕获模型对扰动的不稳定性，不能保证语义正确。对于强 texture bias、系统性混淆类别、长期稳定的 unknown-to-known 错配，gamma 可能失效。

3）curriculum 的增益归因不清。最困难 SAX Scotland 上的强结果很大程度来自 London intermediate training。文中把它解释为缩小 domain gap，但具体是视觉风格、平台配置、类别共现、场景结构还是数据量带来的收益，并未充分说明。这里可能主要是 engineering / data curriculum，而非方法本身的必然能力。

4）单一全局 gamma 表达能力有限。虽然 per-class threshold 实验更差，但这不证明全局阈值理论上最优；更可能是 per-class threshold 在无标注估计下噪声更大。真实类别的 feature variance、长尾类别、边界像素和小物体不太可能都由一个全局 radius 合理建模。

5）未知类没有语义建模。方法只能说“离已知 prototype 远”，不能区分 unknown object、ambiguous boundary、motion blur、label noise 或 rare known appearance。对下游系统来说，不同 uncertainty 类型的处理策略可能不同。

6）离真实 deployment 仍有鸿沟。论文强调机器人安全，但实验仍是 offline pixel benchmark；没有闭环验证 uncertainty 如何影响 planner、mapper 或 localization，也没有在线 drift、持续学习、阈值长期稳定性分析。

Takeaway

  • 1）值得记住的不是某个模块，而是训练目标的重写：用目标域无标注一致性估计“哪些预测值得学习”，而不是对所有目标域像素做伪标注适配。
  • 2）semantic segmentation 的 uncertainty 可以更有效地建模为 metric-space membership/rejection，而不是 softmax calibration 或 Bayesian sampling；这对实时机器人系统尤其有价值。
  • 3）目标域无标注数据是强监督信号的替代品，但它带来的能力更接近 deployment-specific representation alignment，而不是真正 open-world generalization。
  • 未来工作应更明确地区分 data coverage 带来的收益和 uncertainty mechanism 本身的收益。

一句话总结

这篇论文把语义分割中的分布外错误检测从高代价的 posterior/ensemble 估计，推进到一种利用目标域无标注数据塑造 prototype feature-space rejection boundary 的实时 deterministic uncertainty 方法；真正贡献是 selective consistency 驱动的 deployment-domain uncertainty representation。