精读笔记

Problem Setting

[Rectifying Mask via Entropy for Distractor-Free 3DGS in Ambiguous Scenarios]（arXiv preprint / 2026）

这篇论文解决的是 real-world / in-the-wild 3DGS 训练中 ambiguous distractors 导致的错误静态场重建。真正困难点在于 transient object 不一定产生显著 photometric residual，也不一定在 DINO/SAM 等语义空间中与静态物体可分；例如移动汽车 vs 停车、真人 vs 雕像、同色遮挡物 vs 背景。以前方法卡在两个地方：mask 层面会漏掉低残差或语义相似的干扰物；density control 层面又会把这些错误监督转化成错误 Gaussian 增殖，导致几何错位和 artifact。任务的关键矛盾是：为了重建静态场景，需要忽略 transient；但在 ambiguous case 中，用来识别 transient 的颜色误差、语义距离和实例边界本身都不可靠。

Motivation

作者指出现有三条路线各自有硬假设：residual-based 假设干扰物会带来高 photometric error；semantic-based 假设 transient/static 在 foundation feature 中可分；heuristic/SAM-based 假设实例边界和前置 mask 足够准确。Ambiguous scenes 正好是这些假设的反例。

核心观察是：ambiguity 本身会在模型的身份/语义预测中表现为 entropy，而 entropy 比 raw residual 更少依赖颜色差异，也比单纯 semantic similarity 更能表达“该区域无法被稳定解释”。因此论文的缺口不是更强的 segmentation，而是需要一种训练中自适应的 uncertainty signal，把“解释不稳定的实例/区域”从监督和 densification 中隔离出来。

Core Idea

RefineSplat 的核心思想是把 transient mask 的依据从 photometric residual / semantic label 改成 instance-conditioned entropy。换句话说，它不是问一个 pixel 与当前 rendering 差多少，也不是问它属于什么语义类别，而是问一个实例区域在当前 3DGS + DINO/MLP 表征下是否形成了低熵、一致的身份解释。高熵实例被视为潜在 ambiguous distractor。

这个建模变化很关键：prior 的 mask 多是 image-level 或 feature-level 的后验筛选，RefineSplat 把 entropy 作为训练时动态信号，并进一步影响 Gaussian density control。它引入的新 inductive bias 是“真实静态结构应在实例内部和多视角优化中收敛到低不确定性；瞬态或歧义区域会保持高不确定性”。这比纯 residual 更 generalizable，因为它不要求 transient 与背景颜色不同；也比纯 semantic 更稳，因为它不要求类别不同，只要求解释稳定性不同。

Method

方法里真正必要的机制有三类。

第一，entropy-aware local masking 解决 instance-level ambiguity。它先用 2D segmentation 得到实例，再计算每个实例的平均 entropy，并用自适应 entropy threshold 选择高熵实例。必要性在于 pixel-level residual 容易受颜色相似性影响，而 instance aggregation 能把局部噪声变成对象级判别。

第二，global entropy mask 解决局部实例方法的盲区。实例 mask 会有边界错误，也可能漏掉细粒度 transient；global mask 用 semantic uncertainty 和 entropy 的组合去捕捉更细碎的异常区域。它的核心变化是从纯对象级过滤扩展到区域级补偿，而不是完全信任 SAM/segmenter。

第三，entropy-aware density control 解决“mask 之外的优化动力学”问题。3DGS 的 densification 如果仍然依赖 photometric gradient，会在 ambiguous distractor 附近生成错误 Gaussian；作者改用与 identity entropy 相关的梯度来指导 clone/split，并合并重叠且颜色相近的 Gaussian，减少冗余和 artifact。这一点比单纯做更好 mask 更重要，因为 3DGS 的错误往往是在 densification 阶段被放大的。

Key Insight / Why It Works

最可能真正有效的是 EAM，而不是整个 pipeline 的所有部件等价贡献。EAM 把 ambiguous distractor 的判别从“误差大不大”转成“解释是否稳定”，这是更合适的 latent structure signal。对于颜色相似、语义相似但跨视角不一致的 transient，entropy 会比 residual/semantic similarity 更容易暴露问题。

EDC 的贡献更像 representation alignment：它避免 3DGS 在错误区域根据 photometric gradient 生长，从而减少错误 geometry 被固化。这里不是 learning 更强的 scene representation，而是改变 optimization 的梯度选择，让 Gaussian allocation 更服从 identity consistency。它属于 better inductive bias + optimization control，不是纯 scaling。

Consistency regularization 和 Gaussian merging 主要是工程稳定项。CR 让 segment 内 entropy 更平滑，能缓解 mask 噪声；merging 降低冗余 Gaussian，带来 memory 和 artifact 改善。但它们不像 entropy-based mask 那样改变问题表述。增益来源不清的部分是 foundation model：DINO 和 segmentation model 可能已经隐式提供了大量类别、边界和实例先验，论文把这些先验包装成 entropy signal。严格说，方法可能不是从 3D 数据中学会 ambiguity reasoning，而是把 2D foundation prior 注入 3DGS 优化。

Relation To Prior Work

它最接近 WildGaussians / RobustSplat / DroneSplat / SpotlessSplats 这条“用外部 2D prior 辅助 in-the-wild 3DGS”的谱系，而不是传统 3DGS densification 或 NeRF-W transient field 的直接延伸。

和 residual-based 方法的本质差异是判据不同：RefineSplat 不再假设 transient 一定对应高 photometric error。和 semantic-based 方法的差异是粒度不同：它不只比较 DINO feature 是否相似，而是看 instance-conditioned entropy 是否稳定。和 SAM/heuristic 方法的差异是 mask 不是训练前固定的，而是由训练过程中的 entropy 动态修正。

看似新的部分里，自适应 threshold、box filter、Gaussian merging 都有较强 engineering 味道，是已有思想重组；实质创新在于把 entropy 同时接入 mask construction 和 density control，把 transient removal 从图像筛选问题推进到 3D representation optimization 问题。

Dataset / Evaluation

论文新建 Ambiguous wild dataset 是有价值的，因为现有 benchmark 很多 transient 都容易被 residual 或 semantic feature 捕获，不能有效检验“颜色/语义相似导致 mask 失效”的 claim。该数据集包含室内外、真机采集、不同遮挡比例和颜色/语义 ambiguity，基本对准了论文主张。

评估总体支持核心 claim：在 Ambiguous wild 上优势更明显，在 NeRF On-the-go、Photo Tourism、Drone Imagery 上也能维持竞争力，说明方法不只对自建数据有效。但 evaluation 仍有明显 limitation：Ambiguous wild 由作者构造，场景选择可能天然偏向 entropy/instance prior；指标仍是 PSNR/SSIM/LPIPS，不能完全反映 transient removal 的因果正确性；mask 质量主要靠可视化和下游渲染间接证明，缺少严格的 transient/static ground-truth segmentation。

Limitation

方法成立依赖几个强前提。第一，DINO feature 和 segmentation model 必须能提供足够稳定的实例/语义结构；如果 foundation model 对目标域失效，entropy 可能只是噪声。第二，高 entropy 被解释为 transient ambiguity，但高 entropy 也可能来自反光、纹理重复、低光照、motion blur、稀疏视角或真实静态细节，存在系统性误杀风险。第三，local mask 依赖 instance segmentation，如果实例边界错得一致，CR 只会把错误变得更平滑。

scalability 上限也明显：它增加了外部 feature extraction、MLP identity predictor、mask update 和 density-control logic，pipeline 复杂度高于 vanilla 3DGS。对大规模动态街景或开放世界场景，instance-level entropy 的计算和维护可能成本较高。泛化 claim 需要谨慎：性能可能主要来自 foundation model prior + Ambiguous wild 数据覆盖，而不是方法本身具备强 domain-general reasoning。文中未充分说明在 sparse-view 极端场景下如何区分“未观测导致的不确定”与“transient 导致的不确定”。

Takeaway

• 最值得迁移的 insight 是：在 in-the-wild reconstruction 中，uncertainty/entropy 比 photometric residual 更适合作为 ambiguous supervision 的控制信号，尤其当外观差异和语义差异都失效时。
• 第二个 takeaway 是 density control 不能与 outlier masking 分开看。
• 3DGS 的错误不是只来自 loss mask，而是来自 densification 把错误梯度实体化成 Gaussian；未来 robust 3DGS 方法应该同时设计 supervision selection 和 representation growth。
• 第三，instance-level aggregation 是处理 ambiguity 的有效中间粒度：pixel 太噪，semantic category 太粗，instance-conditioned entropy 提供了更好的归纳偏置。

一句话总结

RefineSplat 是一篇把 ambiguous transient removal 从 residual/semantic masking 推进到 entropy-guided 3DGS optimization 的工作，核心贡献在于用实例条件下的不确定性同时控制监督屏蔽和 Gaussian 生长，而不是简单换一个更强的 mask。