精读笔记
Problem Setting
这篇论文处理的是 sparse-view 3DGS 的 novel-view generalization,而不是提升 full-view 3DGS 的表达能力。关键矛盾是:3DGS 的显式 Gaussian primitive 足够灵活,少量训练视角下可以通过位置、尺度、透明度和 SH 外观自由组合,把训练图像拟合得很好;但这些解释往往只在观测相机附近成立,一旦视角变化就暴露为 geometry shift、边界糊化或局部漂浮物。以前方法通常试图补约束:加深度、加几何先验、drop primitive、做 consistency,或者借 diffusion / feed-forward prior。它们的瓶颈在于要么需要额外信息,要么改变 pipeline,要么是在 primitive 层面做结构正则,但没有直接针对“优化为何选择 brittle solution”这个问题。本文的实际目标是让 3DGS 在欠约束条件下偏向一个更稳定、更保守的参数解。
Motivation
作者的核心观察是:sparse-view 3DGS 的过拟合可以被视为 sharp minima 问题。也就是说,失败不只是训练数据少,而是优化找到了一组对参数微扰极敏感的 Gaussian 配置;这种敏感性在训练视角上不一定显现,但在 novel view 下会被放大。已有 sparse-view 路线缺的是一种不依赖外部 prior、也不显著增加渲染/训练成本的优化偏置。flat minima 提供了一个自然入口:如果训练目标要求模型在局部参数扰动下仍能保持低重建误差,那么最终解应当对几何小变化更鲁棒。论文真正想补的缺口不是新表示,而是 3DGS 优化过程中的 generalization bias。
Core Idea
核心思想是把 Gaussian 参数当作可扰动的 weights,把 sparse-view NVS 看成一个容易落入 sharp solution 的监督学习问题。训练时不只优化原始参数点的 photometric loss,而是优化被局部扰动后的 loss;这样等价于在参数空间中平滑目标函数,让模型倾向于选择一片低损失区域,而不是一个窄而脆的低损失点。
和一般 flat minima / RWP 不同,本文没有把噪声均匀加到所有权重,而是把扰动限制在 Gaussian position,并让扰动尺度服从 Gaussian 自身的各向异性空间 extent。这一点是本质区别:它不是抽象参数噪声,而是把“局部几何支撑范围内的稳定性”编码成 inductive bias。可泛化的 sparse-view 3DGS 应该不是每个 primitive 精确卡在训练视角投影上,而是在其物理/几何尺度允许的范围内保持渲染一致性。
Method
方法的关键机制可以压缩为三个层次。第一,position-level perturbation:只临时扰动 Gaussian 位置来计算 loss 和梯度,然后丢弃扰动并更新 clean 参数。它解决的是标准 3DGS 对训练视角几何对齐过度敏感的问题,核心变化是把优化目标从 pointwise fitting 改成局部 neighborhood fitting。
第二,scale-adaptive anisotropic perturbation:扰动协方差由 Gaussian 的 rotation 和 scale 决定,长轴方向扰动更大,短轴方向扰动更小。它解决的是 naive noise 会同时伤害大结构和小细节的问题;其作用不是简单加噪,而是让正则强度与 primitive 的空间支撑匹配。
第三,stochastic application 与 magnitude scheduling:每个 Gaussian 以概率被扰动,扰动强度随训练推进增大。它解决的是全量扰动/过早扰动导致 underfitting 的问题,本质上是 curriculum regularization:先允许模型建立粗几何,再要求其几何解释具有局部稳定性。
周期性 reinitialization 是额外的 hard regularizer:把 scale、rotation、高阶 SH 暂时拉回初始化并冻结一小段时间,降低非位置参数在 sparse-view 下记忆训练图像的能力。它可能有效,但更像训练稳定化技巧,而不是 flat minima 框架的核心。
Key Insight / Why It Works
最可能真正有效的部分是“按 Gaussian 几何尺度定义扰动空间”。这比普通 noise injection 更贴合 3DGS:一个 Gaussian 的 position 不应被绝对坐标尺度扰动,而应在其自身 ellipsoid 支撑范围内扰动。这样大的、承担低频结构的 primitive 被迫对更大几何变化稳定,小的、负责细节的 primitive 不会被过强噪声摧毁。这是本文最有迁移价值的 insight:正则不应作用在抽象参数范数上,而应作用在表示元素的几何语义尺度上。
第二个有效因素是 optimization smoothing。训练 loss 在 perturbed positions 上计算,相当于惩罚那些只有在精确位置才成立的解释。少视角下,训练视角拟合会鼓励“投影正确但三维错误”的 Gaussian;位置扰动会破坏这类偶然投影对齐,从而筛掉一部分 brittle geometry。它不是创造新信息,而是在多个可行解释中偏向更平滑、更稳定的解释。
第三,schedule 很可能贡献不小。早期强正则会阻碍 Gaussian 从 SfM 初始化向场景结构收敛;后期再加扰动则更像对已成形几何做 robustness fine-tuning。因此所谓 flat minima 增益里,有相当部分可能是 curriculum + noise regularization,而非纯粹理论意义上的 flat-minima optimization。
reinitialization 的归因最不清楚。它可能确实降低非位置参数自由度,防止 SH/scale/rotation 记忆训练视角;但也可能只是一个强 reset trick,和 flat minima 没有必然关系。文中未充分说明为什么返回 SfM 初始化是最优选择,也没有把它与普通 weight decay、parameter freezing、opacity reset schedule 做系统区分。
整体判断:这不是 scaling、retrieval、memory reuse 或 test-time compute 方法;它的主要价值是 better inductive bias + optimization curriculum。它没有增加数据覆盖,也没有引入真实几何监督,因此不能从根本上消除 sparse-view ambiguity,只是在欠约束解空间里更偏向稳定解。
Relation To Prior Work
最接近的两条线是 Random Weight Perturbation / SAM 类 flat minima optimization,以及 DropGaussian / DropoutGS 类 primitive stochastic regularization。本文看似引入 flat minima 到 3DGS,但本质上是把 RWP 的参数扰动思想几何化:扰动对象不是网络权重,而是 Gaussian 的空间位置;扰动尺度不是统一超参数,而是由 primitive anisotropy 决定。
和 DropGaussian 的区别在于,DropGaussian 改变的是哪些 primitives 参与渲染,正则的是 primitive co-adaptation;本文改变的是同一 primitive 在局部空间位置下是否仍能解释图像,正则的是 geometry sensitivity。两者都属于 stochastic training regularization,但施加的 invariance 不同:DropGaussian 鼓励 representation redundancy,本文鼓励 spatial robustness。
和 depth/geometry-prior 方法相比,本文没有新增外部信息,所以它的上限更低但集成成本更低。和 diffusion/prior-based sparse-view 方法相比,它不试图 hallucinate missing views 或补语义先验,而是优化层面的 plug-in。实质创新在于“scale-aware geometric perturbation for 3DGS flatness”;flat minima 概念本身、noise scheduling、loss smoothing、reset regularization都不是新思想,而是被重新组织到 3DGS 的几何参数化里。
Dataset / Evaluation
评估覆盖了 LLFF、Mip-NeRF360,并在 appendix 扩展到 Tanks & Temples、Blender、DTU、NeO 360,以及不同 view count 和 SfM point downsampling。覆盖面对于 sparse-view NVS 论文是够的,且包含 forward-facing、360、synthetic/object-centric 等不同场景类型,能支持“作为 lightweight plug-in 有普遍收益”这个 claim。
但 evaluation 对核心理论 claim 的验证仍偏弱。post-training perturbation robustness 曲线能说明模型对作者定义的 SAP 扰动更稳定,但这有一定循环性:训练时优化的就是类似扰动,自然在同类扰动测试下更稳。它并不能严格证明 novel-view generalization 来自 flat minima,而不是来自噪声增强、正则强度、schedule 或 reinitialization。
结果显示 sparse regime 下收益更明显,view count 增加后收益减弱甚至反向,这反而说明方法主要作用在欠约束时的正则化选择,而不是提升 3DGS 的表达能力。plug-in 实验有价值,表明该优化偏置和 FSGS、DropGaussian、AnySplat 等可叠加;但 Difix3D+ 组合中 LPIPS 有时变差,说明不同 prior/regularizer 之间可能存在目标冲突。总体上,benchmark 支持工程有效性,但不足以完全支撑 flat-minima 机制解释。
Limitation
核心限制是它并没有增加可观测信息。少视角下不可见区域、遮挡背面、真实几何歧义仍然存在;方法只是偏向更平滑、更稳定的 Gaussian 配置。因此所谓泛化不是语义或几何推理意义上的泛化,而是优化 regularization 带来的解选择偏置。
第二,flatness 定义依赖参数化。3DGS 的 position、scale、rotation、opacity、SH 之间存在强耦合,同一渲染函数可由不同参数配置表达。对 position perturbation 不敏感是否等价于函数空间 flatness,文中未充分说明。更严格地说,它证明的是对某种 handcrafted perturbation distribution 的鲁棒,而不是一般意义上的 flat minima。
第三,增益归因不清。SAP、stochastic mask、linear schedule、clamp、periodic reinitialization、opacity reset 都会改变训练动力学。ablation 显示各部分有贡献,但没有完全排除“更好的 regularization recipe”这一解释。尤其 reinitialization 更像 hard constraint / temporary capacity reduction,和 flat minima 理论联系较弱。
第四,方法有 underfitting 上限。视角足够多时,标准 3DGS 已被数据约束,额外扰动可能破坏精细拟合;Mip-NeRF360 36-view 的下降说明正则强度不是普适最优。部署中如果场景包含极薄结构、镜面、高频纹理或 SfM 初始化偏差较大,按 Gaussian scale 扰动也可能把需要精确定位的结构平滑掉。
第五,它仍依赖 SfM 初始化和标准 3DGS pipeline。appendix 的 downsampling 实验说明鲁棒性有所提升,但没有证明在 SfM 严重错误、pose noise、动态物体或真实采集不稳定条件下仍成立。
Takeaway
- 第一,sparse-view 3DGS 的一个有效切入点不是继续加先验,而是改变优化偏置:让 Gaussian 解对几何微扰稳定,可以显著减少训练视角过拟合。
- 第二,正则必须尊重表示的语义尺度。
- 对 3DGS 这类显式 primitive 表示,参数噪声如果不按 primitive geometry 归一化,很容易变成粗暴 smoothing;scale-aware perturbation 是比 uniform noise 更可迁移的设计原则。
- 第三,flat minima 在 3DGS 中更应被理解为 function/geometry robustness,而不是神经网络权重空间的平坦性。
一句话总结
这篇论文把 flat-minima 式随机扰动重新参数化为 3DGS 的尺度自适应几何扰动,用一个轻量优化正则把 sparse-view 3DGS 从训练视角脆弱拟合推向局部空间稳定解,属于 sparse-view Gaussian optimization bias 的一次有效工程化演化。
