精读笔记
Problem Setting
[CoIn: Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance]（arXiv preprint / 2026）
这篇论文处理的不是普通 3D inpainting，而是带有任意 2D mask、多视角输入、同时覆盖 object removal 与 insertion 的 3D scene editing/inpainting。真正困难点是：2D diffusion 可以生成合理局部内容，但每个视角的随机补全未必对应同一个 3D 实体；3DGS 可以提供显式几何一致性，但传统 3D-first 方法通常要求跨视角精确 mask，且更适合删除而不是插入。
以前方法卡在两个方向的极端：3D-first 把问题变成“先准确定位并删除 3D 中的对象”，因此 mask 稍微不一致就会误删/残留；2D-first 把问题变成“先每张图补好再重建”，但补全结果跨视角不一致时，GS 只能拟合一个平均化、模糊或几何不稳定的场。任务的关键矛盾是：生成先验需要自由度，3D 重建需要约束；自由度太大则 inconsistent，约束太早则依赖精确 mask 且无法插入新内容。
Motivation
作者的动机不是提出一个更强的 inpainting network，而是修复 2D 生成和 3D 表示之间缺少闭环的问题。已有 3DGS inpainting 多数把 3D reconstruction 当作起点，再在 3D 空间删除/补全，因此被 mask quality 强约束；而多视角 2D inpainting 虽然利用了 diffusion 的语义生成能力，但缺少一个能在 sampling 过程中施加几何一致性的机制。
关键缺口是：需要一种 test-time、scene-specific、无需训练新 multi-view diffusion 的方式，把 3D correspondence 直接注入 2D denoising，而不是等 2D 结果已经不一致后再让 GS 勉强拟合。CoIn 的核心观察是，GS 的显式点云/渲染能力可以作为中间几何 memory：它不必一开始完美，只要足够提供 reference-to-view 的 correspondence，就能约束 diffusion 走向一个可被 3D 解释的解。
Core Idea
CoIn 的核心思想是把 2D diffusion 与 3DGS 组织成一个双向一致性回路。第一步允许 2D inpainting 先提出语义上合理的补全候选，保留 arbitrary mask 和 insertion 的灵活性；第二步训练一个偏向 reference 的粗 GS，把这些候选压缩成一个显式 3D 表示；第三步用这个 GS 在 diffusion denoising 中做 reference feature warping，把跨视角 correspondence 作为 energy guidance；最后再把 consistency-guided 2D 结果固化回 GS，并用局部纹理判别器补高频。
本质区别在于，CoIn 不把 3DGS 仅作为最终 renderer，也不把 diffusion 仅作为离线图像生成器。它把 GS 变成 diffusion 的几何指导信号，把 diffusion 变成 GS 的语义/纹理 proposal。新的 inductive bias 是：生成结果必须同时满足 2D 先验与 3D 可投影一致性。相比 3D-first，这降低了对精确 3D/multi-view mask 的依赖；相比纯 2D-first，它用显式场景表示约束 sampling，而不是依赖训练集学到的隐式多视角一致性。
Method
方法上可以压缩为三个机制，而不是若干模块堆叠。
第一，Ref-GS 解决的是“初始 2D 补全互相矛盾，直接训练 GS 会平均化”的问题。它通过 reference-adaptive weighting 让粗 GS 更偏向一个选定参考视角，同时用 anchor feature attention 把 mask 内特征向邻域上下文对齐。这里的关键变化不是 attention 本身，而是承认多视角 2D outputs 中存在冲突，并主动选择一个 reference hypothesis 作为 scene-level anchor。
第二，CLG 解决的是“2D diffusion 采样缺少 3D correspondence”的问题。它用 GS 点云把 reference 与当前视角的 DINO/appearance features warp 到中间视角，在 denoising 时最小化 feature inconsistency；对没有有效点云支持的区域，则退回到 GS rendering 的 L1 guidance。这使 diffusion 的每一步都受到 3D 可解释性的约束，而不是事后再做 multi-view filtering。
第三，TE-D 解决的是“强一致性约束带来的纹理过平滑”的问题。它用局部 patch discriminator 让 GS render 吸收初始 2D inpainting 的高频统计，同时 photometric loss 仍对齐 CLG 后的一致图像。它主要是 photorealism repair，不是几何一致性的根因。
Key Insight / Why It Works
最核心的有效性来自 representation alignment，而不是单个网络模块。CoIn 把 diffusion 的 latent sampling 和 GS 的显式投影关系对齐起来：2D diffusion 提供语义合理性，GS 提供跨视角约束，DINO/FeatUp feature 提供比 RGB 更宽松但仍有结构意义的对齐空间。这比直接用 RGB warp 稳定，因为初始几何不完美时，feature-level guidance 对小错位更容忍；也比只用 reference image 训练 GS 更强，因为 guidance 发生在 denoising 过程中，能影响生成轨迹。
最可能的核心贡献是 CLG：它把 GS-derived correspondence 作为 diffusion inference-time energy，等价于把一个 scene-specific 3D memory 插入 frozen 2D inpainter。Ref-GS 是为 CLG 准备一个足够稳定的 memory；TE-D 是为最终视觉质量补偿高频。消融也符合这个判断：去掉 CLG 或 TE-D 退化明显，但两者性质不同——CLG 改变了解空间，TE-D 改善了局部分布匹配。
需要直接指出的是，这不是一个从根本上“理解 3D 物体结构”的方法，更像 test-time compute + generative prior + explicit correspondence 的组合。所谓 insertion 能力主要来自 SD inpainting 的数据先验，CoIn 做的是让这个 hallucination 跨视角自洽。对于简单或中等复杂物体，这个闭环足够；对于大 mask、强几何变化、reference 本身错误的情况，它会稳定地传播错误。增益中有一部分可能主要来自 scaling/test-time optimization：每个 scene 约数小时、多阶段 diffusion/GS/判别器优化，本质上是在用大量推理时计算换一致性。
Relation To Prior Work
CoIn 最接近三条线：3DGS object removal/inpainting、multi-view 2D inpainting、guidance-based diffusion control。和 3DGIC/IMFine/AuraFusion 这类 3D-first 方法相比，它的本质差异是编辑入口不再是精确 3D 删除，而是 2D generative proposal；因此能处理 bbox/irregular mask 和 insertion。但在补充实验中，作者也承认 360° 大视角 removal 时 3D-first mask refinement 仍有优势，这说明 3D-first 并没有被替代，只是在某些设定下被绕开。
和 GScream 相比，CoIn 不只是依赖单 reference view 去优化 3D，而是用粗 GS 反过来指导其他视角的 diffusion 采样，因此对大视角变化更稳。和 MVInpainter/NeRFiller 等 2D-first/multiview consistency 方法相比，它不训练专门的 multi-view inpainter，也不依赖 dataset-level adaptation，而是用 per-scene GS 提供 correspondence。看似新的部分里，reference weighting、feature attention、patch GAN 都是已有思想重组；实质创新在于把 GS reference warping 写进 diffusion guidance，并把 2D→3D→2D→3D 做成可工作的工程闭环。
Dataset / Evaluation
评估覆盖了 removal、bbox/segmentation mask、部分 irregular mask、以及 object insertion，基本对应作者关于 mask flexibility 和 task diversity 的 claim。SPIn-NeRF 与 IMFine 都是该方向常用 benchmark，包含 calibrated multi-view images 和 object-absent ground truth，因此适合验证 object removal 后 novel view synthesis 的 photometric/semantic quality。IMFine 的不同视角覆盖也能暴露 reference-based 方法在大视角下的稳定性。
但 evaluation 仍有明显边界。首先，主实验大多是离线 benchmark，不是开放世界交互式编辑；相机、mask、数据采集质量都相对规整。其次，object insertion 缺少真实 3D ground truth，只能用 CLIPdir 和 user study，验证的是感知偏好和 prompt alignment，不等价于真实几何正确。第三，reference view 是经验选择，虽然补充实验声称不敏感，但只在有限场景上做小样本统计。第四，baseline reproduction、mask setting、reference preparation 对结果影响很大，文中虽尽量公平，但增益归因仍不完全干净。
Limitation
最重要的限制是，CoIn 把一部分困难从“精确 3D mask”转移到了“可靠 2D reference 和足够好的粗 GS”。如果初始 SD inpainting 在 reference view 上生成了错误语义，后续 Ref-GS 和 CLG 会把错误变得更一致，而不是自动纠正。所谓 consistency 在这种情况下可能是 wrong consistency。
第二，方法对场景几何和视角覆盖有隐含前提。粗 GS 必须能提供可用点云支持；相机标定、COLMAP 初始化、monocular depth 对齐都不能太差。超过 180° 的大视角、大 mask、上下文不足时，2D-first 的补全区域过大，作者补充材料中也显示会失败，需要引入 3D-first pipeline 缩小 mask。这说明方法的 generality 是有条件的：arbitrary mask 成立于 mask 仍有足够上下文且 reference 可信的范围内。
第三，scalability 存在上限。每个场景多阶段优化约 2.5 小时，包含 diffusion sampling、GS training、feature extraction、adversarial fine-tuning；这更像高质量 offline reconstruction/editing pipeline，不像实时或大规模部署方案。第四，TE-D 的增益来源有些不清：它可能确实补纹理，也可能在 benchmark 指标上通过局部 patch statistics 改善 FID，而不一定提升几何真实性。第五，插入任务的几何验证较弱，CLIP/user study 容易偏向视觉 plausibility，不能证明新物体具有物理一致的 3D shape。
Takeaway
- 1. 最值得记住的是 2D↔3D 闭环：不要让 2D diffusion 独立 hallucinate 后再重建，而应在 denoising 过程中引入 scene-specific 3D correspondence。
- 2. 这篇真正推动的是把 GS 从“编辑后的表示”提升为“生成过程中的几何 memory”。
- 这个思想可迁移到 multi-view editing、video inpainting、scene relighting、甚至 robotic scene completion：先生成 proposal，再用显式或半显式结构约束 proposal 的采样轨迹。
- 3. Reference-based consistency 是有效但危险的 inductive bias。
一句话总结
CoIn 是一类典型的 2D generative prior + 3DGS explicit correspondence + test-time guidance 的混合式 3D inpainting 方法，真正贡献在于把 GS 变成 diffusion 采样过程中的几何约束器，从而在牺牲推理时计算的前提下换取更灵活的 mask 与更稳定的多视角一致性。