精读笔记

Problem Setting

论文标题：WildSplat: Feedforward Gaussian Splatting from Unposed In-the-Wild Images（arXiv preprint / 2026）。

这篇论文不是在解决普通 sparse-view 3DGS，也不是单纯做 appearance transfer。它处理的是一个更难的交叉设定：输入是少量未标定位姿的 wild images，这些图像来自同一场景但拍摄条件不同；目标是一次前向得到 3DGS，并能按照指定 reference image 的外观渲染 novel views。

真正困难点在于 photometric inconsistency 同时破坏了两个东西：跨视角几何匹配和颜色监督。传统 multi-view reconstruction 假设同一点在不同视角下颜色可比；wild images 中这个假设直接失效。optimization-based NeRF-W/GS-W 类方法通过 per-image appearance embedding 缓解这个问题，但需要 dense collections、准确 pose 和长时间 per-scene optimization。feedforward 3DGS 则反过来高效但默认 photometric consistency，一旦输入颜色不一致，模型容易把 illumination variation 编进几何或 Gaussian color，得到混合外观。

Motivation

已有路线缺的是一个可泛化的 appearance-conditioned reconstruction formulation。optimization-based wild methods 有 disentanglement 目标，但没有 feedforward efficiency；feedforward methods 有大规模几何先验，但没有处理外观变化的显式机制。

作者的动机可以概括为：如果几何应该在多种外观下共享，那么模型结构和训练目标都必须让几何先于外观、独立于外观存在。否则所谓 feedforward reconstruction 只是把多张不同光照图像压进同一个 latent，最终颜色必然变成不稳定平均或 view-dependent artifact。

关键缺口不是“再加一个 appearance encoder”，而是缺少一种训练约束，让同一场景结构在不同 reference appearance 下可复用。WildSplat 的 multi-reference supervision 正是在补这个缺口。

Core Idea

核心思想是把 feedforward 3DGS 从“从输入图像直接预测完整 Gaussian 属性”改成“先预测共享几何，再用 reference image 条件化颜色”。这改变了建模单位：颜色不再是 context views 的直接函数，而是 reference-conditioned variable；geometry 不再跟某个具体光照绑定，而是被迫服务于多个外观解释。

这个 inductive bias 很强：几何分支继承 VGGT/AnySplat 的跨视角结构先验，appearance 分支只写入 SH color。信息流上，reference appearance 不进入 pose/depth/opacity/scale/rotation 的预测路径，只进入 color path。这比 prior feedforward splatting 的本质区别在于，它给了模型一个明确的“外观控制端口”，避免把 wild appearance 当作噪声平均掉。

从 scalability 看，它比 optimization-based methods 更 generalizable，因为 appearance 不靠 per-scene latent optimization，而靠训练好的 conditional mapping；但这种泛化是否来自机制本身，还是来自 DINO/VGGT/data coverage，文中没有完全拆清。

Method

方法可以压缩为几个机制，而不是模块列表。

第一，几何分支解决的是 unposed sparse reconstruction 的基础问题。它用 VGGT-like backbone 同时估计 pose、depth 和 Gaussian geometry 属性，核心作用是把 feedforward 3D prior 引入 wild setting。这里的关键不是 DINO 或 DPT head 本身，而是强 pretrained geometry prior 让模型在少量 views 下仍能建立可渲染的 3D scaffold。

第二，appearance branch 解决的是“目标外观从哪里来”的问题。reference image 经过 appearance encoder 后，global token 用于 pre-modulate content features，dense tokens 用 cross-attention 注入局部外观。这一步的机制意义是：先用全局外观统计改变 content feature 的域，再用局部 token 提供更细粒度颜色线索，减少 context-view appearance 对输出颜色的残留影响。

第三，joint multi-reference supervision 解决的是训练时 geometry/appearance entanglement。一次训练中同一 geometry/content 被多个 reference appearance 渲染监督，相当于强制 geometry 不能只服务于某一种光照。这个约束比 architecture novelty 更重要。

第四，geometry-guided view sampling 解决的是 wild data 中 view overlap 不可靠的问题。它确保 context views 真的能形成 multi-view constraint。这个组件更偏工程必要性：没有它 batch 质量会差，但它不是论文最核心的表示创新。

Key Insight / Why It Works

最可能真正有效的是“multi-reference 约束 + 强几何先验”的组合，而不是单独的 cross-attention。cross-attention 只是 appearance conditioning 的实现方式；如果没有同一 geometry 支持多 appearance 的训练信号，它仍可能学到 reference-to-output 的颜色迁移捷径，甚至把 illumination pattern 混入 geometry latent。

WildSplat 本质上是在做 representation alignment：把 pretrained geometry backbone 的 content space 对齐到一个 reference-conditioned color space。几何由 VGGT/DINO 的大规模先验稳定住，颜色由 reference token 控制，multi-ref loss 负责切断二者的错误耦合。这个机制比 per-image embedding 更 scalable，因为它把 appearance modeling 从 per-scene optimization 变成 amortized inference。

但需要直说：部分增益可能主要来自 scaling / data。使用 VGGT-like backbone、DINOv2、DL3DV + MegaScenes + MegaDepth，再加 synthetic multi-illumination relighting，给了模型很强的数据覆盖和先验。ablation 显示 multi-ref、sampling、pre-modulation 都有贡献，但没有完全回答“若去掉 synthetic relighting 或换弱 backbone，机制是否仍成立”。

appearance editing 的能力更像 learned global style transfer + geometry-preserving rendering，而不是物理意义上的 illumination decomposition。论文失败案例也说明它处理不了局部投影光和强空间变化光照；因此所谓 appearance 不应理解为可解释光照/材质分解，而是 reference-conditioned radiance statistics。

Relation To Prior Work

它最接近两条线的交汇：NeRF-W/GS-W/WildGaussian 的 appearance-disentangled in-the-wild reconstruction，以及 AnySplat/VGGT/NoPoSplat 的 feedforward unposed 3DGS。

相对 NeRF-W/GS-W，WildSplat 的本质差异是把 per-scene latent optimization 替换成 learned conditional inference。appearance embedding 不再是每张图优化出来的自由变量，而是从 reference image 编码出来并直接控制 Gaussian color。这带来效率和 sparse-view 稳定性，但也减少了 per-scene adaptive capacity。

相对 AnySplat/WorldMirror，真正新增的信息是 reference-conditioned appearance path 和多外观监督。AnySplat 的 latent 同时承担 geometry 与 color，适合一致光照；WildSplat 则把 color prediction 从 context images 中部分解耦出来。

看似新的 global pre-modulated cross-attention，本质上是 AdaLN conditioning、cross-attention injection、DINO feature prior 的重组；实质创新更在于把这些组件放进 feedforward 3DGS 的 geometry/color 分离框架，并用 multi-reference training 让这个分离有监督压力。

Dataset / Evaluation

数据覆盖上，训练混合了 photometrically consistent data、wild data 和 synthetic relighting data。这个组合合理：consistent data 提供几何先验，wild data 提供真实分布，synthetic relighting 提供近似 paired multi-appearance supervision。但 synthetic relighting 是一个隐含强监督来源，可能显著影响 appearance disentanglement；文中未充分说明对真实 multi-illumination generalization 的独立验证。

评估使用 Phototourism 和 MegaScenes，确实覆盖了互联网图像、稀疏视角、外观变化这些 claim。half-image reference protocol 避免直接拿目标区域作为 reference，基本能检验 reference-conditioned rendering。但它也偏向测试全局/区域色调迁移，而不是精确局部光照建模。

另一个需要注意的是 evaluation-time pose alignment。论文说 single forward pass，但量化时对目标 pose 做 photometric alignment，并对 baseline 和自身都使用。这对 fairness 有帮助，但会模糊“纯前向 unposed reconstruction”的边界。pose evaluation 显示接近 VGGT，但这也说明它强依赖 VGGT-style prior，而不是从 WildSplat 机制中自然涌现。

Limitation

最根本的限制是：它没有真正建模物理光照、材质和可见性，只是在 Gaussian color 层面学习 reference-conditioned appearance。只要外观变化是全局色调、天气、时间段这类低频因素，方法容易成立；一旦是局部投影光、强阴影、反射、高频照明图案，reference-to-target 的对应关系就不稳定，模型会倾向于平滑或错误扩散。

第二，几何不变性是训练诱导出来的，不是结构上严格保证的。geometry branch 虽然不接 reference，但它仍从带外观变化的 context images 中抽 content features；color jitter 和 multi-ref loss 只能降低 entanglement，不能证明 geometry latent 不含 illumination bias。

第三，scalability 上限明确存在。alternating attention + dense Gaussian prediction 对 view number 和 resolution 敏感，128 views 已经接近高端 GPU 设定，真实大场景部署仍不轻。

第四，泛化可能 heavily rely on data coverage。DINO/VGGT 先验、Mega-scale datasets、synthetic relighting 共同构成了隐式 retrieval/statistical prior。若测试场景超出这些数据的建筑类型、外观分布或相机分布，appearance conditioning 是否仍可靠，文中未充分说明。

Takeaway

• 1. 对 wild feedforward reconstruction，关键不是让网络“更强”，而是明确指定颜色来源，并把 geometry 训练成可被多种 appearance 复用的 latent。
• 2. Multi-reference supervision 是可迁移的 insight：凡是要把 shared structure 与 conditional style/appearance/action 分离的任务，都可以用“同一结构，多条件解码”的训练约束来减少 entanglement。
• 3. 这篇推动的是 feedforward 3DGS 从 photometric-consistent reconstruction 走向 conditional reconstruction，而不是完成了物理级 in-the-wild scene decomposition。
• 4. 未来真正值得做的是 localized appearance/illumination modeling、显式 uncertainty、以及不依赖 synthetic relighting 的真实多外观监督；否则方法会停留在强先验驱动的 reference-style rendering。

一句话总结

WildSplat 是把 NeRF-W/GS-W 式 appearance disentanglement 迁移到 VGGT/AnySplat 式 feedforward 3DGS 的一次有效重组，核心贡献在于用 reference-conditioned color path 和 multi-reference supervision 让 sparse unposed wild reconstruction 从“混合外观”转向“条件外观渲染”。