ICCV 2025

Faster and Better 3D Splatting via Group Training

作者：Chengbo Wang, Guozheng Ma, Yifei Xue, Yizhen Lao · 单位：School of Design, Hunan University, School of Design, Hunan University, Nanyang Technological University · 会议/期刊：ICCV 2025 · 发布日期：2024-12-10

加速训练密度控制优化方法

精读笔记

Problem Setting

《Faster and Better 3D Splatting via Group Training》（ICCV 2025 / 2024-12-10）关注的是 3DGS 训练效率，而不是最终渲染系统设计。它面对的真实瓶颈是：3DGS 在 densification 阶段会快速产生大量 Gaussian，之后每次训练 view rendering 都要处理越来越大的 primitive set，导致训练时间和显存开销被活跃 Gaussian 数量主导。

困难点不在于“如何减少 Gaussian”本身，而在于训练中的 Gaussian 价值是非稳定的。一个低 opacity 或低贡献 primitive 在当前 iteration 看似无用，但后续可能通过优化变成有效表示；反过来，高梯度区域又会触发 densification，进一步放大冗余。如果直接靠 opacity threshold pruning，阈值稍弱则加速有限，阈值稍强则损害质量。关键矛盾就是：训练需要稀疏计算，但表示学习需要保留足够探索空间。

Motivation

已有路线大多沿两个方向走：一类是 pruning / compression，试图减少最终或训练中的 Gaussian 数；另一类是优化器或 densification 规则改造，试图让 Gaussian 生成更合理。它们共同的问题是，要么不可逆地删除 primitive，要么需要较强 pipeline-specific 设计。

作者的核心观察是：训练加速不一定要求永久减少 Gaussian pool，只需要减少每一轮参与 rendering 和反传的 active Gaussian 数。也就是说，计算负担来自“当前被使用的 primitive 集合”，不完全来自“模型总共保存了多少 primitive”。这给出一个缺口：能不能把 Gaussian 管理从 hard pruning 改成 temporary caching？

进一步，作者观察到 opacity 在 3DGS 中同时影响两个关键过程：一是 densification 的梯度触发，二是 alpha blending 的 saturation 速度。因此 opacity 不只是一个可视化/透明度参数，也可以作为训练时 primitive 调度的优先级信号。

Core Idea

核心思想可以概括为：把 3DGS 训练从“全量 primitive 同步优化”改成“动态子集训练 + 全量池周期性重组”。每个阶段只让一部分 Gaussian 参与 rendering、densification、optimization，其余 Gaussian 被 cache，不计算、不更新；过一段时间再合并全量 pool 并重新采样。这样 compute 被 active set 控制，而 representation capacity 仍由完整 Gaussian pool 保留。

它引入的 inductive bias 是：高 opacity primitives 应该获得更多训练机会，低 opacity primitives 暂时退到缓存区。这个 bias 的含义很直接：把训练预算集中在当前对图像合成和密度增长最有影响的 primitives 上，同时避免 pruning 的不可逆损伤。和 prior 的本质区别在于，它不是压缩最终模型，也不是重新定义 Gaussian 表示，而是在训练过程中重排 primitive 的信息流和计算流。

这类方法更接近 dynamic sparse training / dropout-style primitive scheduling，而不是传统 3DGS compression。其 generality 来自它不依赖特定场景结构，也不改 renderer；scalability 来自每轮只激活部分 Gaussian。

Method

方法只需要看三个机制。

1. Cache instead of prune：解决 pruning 不可逆的问题。低优先级 Gaussian 不被删除，只是暂时不参与渲染和优化。这使方法可以减少当前计算量，同时保留未来恢复其作用的可能性。核心变化是从“模型结构变小”转为“训练时激活集合变小”。

2. Cyclic merge / resample：解决长期失活和局部子集偏置的问题。如果只固定一个 active group，缓存 Gaussian 永远没有机会被修正，最终会退化成一次性 pruning。周期性合并后重采样，使每个 Gaussian 理论上都有机会回到训练路径，也让全局几何/颜色一致性在阶段边界得到恢复。

3. Opacity-based Prioritized Sampling：解决“哪些 Gaussian 应该被训练”的排序问题。随机采样已经能减少 active count，但会带来冗余 densification 和更大模型；OPS 用 opacity 作为训练价值 proxy，让高 opacity Gaussian 更常留在 active group。它改变的是 densification 轨迹和 alpha blending 计算路径，而不只是减少样本数。

文中的 global densification / global optimization 更像为了避免阶段末尾误差积累的同步操作；它们重要但不是概念核心。

Key Insight / Why It Works

最核心的 insight 是：3DGS 训练成本主要由“参与当前 view splatting 的 Gaussian 数量和 alpha compositing 步数”决定，而不是最终保存的 Gaussian 数量本身。因此，只要每轮减少 active primitives，就能直接加速；只要缓存机制不永久丢失信息，质量未必下降。

OPS 是论文中最有价值的部分。Opacity 在 3DGS 里不是普通属性，而是同时控制 visibility、loss gradient magnitude、densification 触发概率和 alpha saturation。高 opacity Gaussian 更容易对像素颜色产生实际贡献，也更容易满足 densification 的梯度阈值；在渲染时，高 opacity 也会更快达到 transmittance saturation，减少后续 primitive traversal。换言之，opacity 是一个低成本但高度耦合于 3DGS 训练动力学的 priority signal。

从机制上看，Group Training 的有效性可能来自三种因素叠加：第一是 scaling，active set 变小带来直接训练加速；第二是 regularization，周期性隐藏部分 Gaussian 类似 primitive-level dropout，迫使剩余 Gaussian 更独立地解释场景，可能减少浮点物和冗余；第三是 densification steering，OPS 抑制低 opacity Gaussian 参与无效扩张，使最终模型更紧凑。

我认为真正贡献是“训练时 primitive scheduling”这个视角，以及 opacity 作为调度信号的经验验证。至于固定 interval、UTR、阶段末 merge，大概率是 engineering stabilization。理论部分的独立性假设较强，更多是在给已观察到的现象提供解释，不构成严格保证。

Relation To Prior Work

最接近的不是 Mip-Splatting 这类质量改进方法，而是 3DGS pruning、compression、density control、resource-constrained training 这一谱系。LightGaussian、Mini-Splatting、RadSplat 等都在处理 primitive 冗余，但多数关注最终模型大小、重要性评估或受限 Gaussian 数量下的表达能力。本文则把问题前移到训练过程：不是问“哪些 Gaussian 最后该留下”，而是问“每一轮训练哪些 Gaussian 值得参与计算”。

和 opacity pruning 的区别很关键：pruning 是 hard delete，Group Training 是 soft deactivate。这个差异使它对阈值不那么敏感，也解释了为什么能在质量上不明显退化。和随机 dropout 的区别在于 OPS 不是均匀丢弃，而是基于 3DGS 渲染方程和 densification 机制选择保留对象。

看似新的地方有一部分是已有思想重组：缓存、周期性重采样、按重要性采样都不是新概念。实质创新在于把这些思想落到 Gaussian primitive 管理上，并指出 opacity 在 3DGS 中是一个同时服务于训练质量和渲染效率的统一调度变量。

Dataset / Evaluation

实验覆盖了标准 3DGS 评测组合，包括室内、室外、合成和真实场景，并且在 vanilla 3DGS 与 Mip-Splatting 两个 baseline 上验证。这基本支持其“plug-in、跨框架可用”的 claim，而不是只对单一实现有效。

评测最能支撑的是训练时间下降与质量不降/略升；尤其 OPS 相比 RS 的结果说明采样策略确实影响 densification 和模型冗余。不过实验仍主要停留在离线 reconstruction benchmark，没有验证在线/增量/超大规模场景，也没有充分分析透明、反射、动态或弱纹理区域。

另一个 limitation 是评估没有完全拆开训练时间组成：forward rasterization、backward、densification、sorting、memory movement 各自贡献多少文中未充分说明。因此“为什么快”的归因虽然合理，但还不是完全闭环。最终模型渲染速度也不是主要评估重点，claim 应理解为训练加速，而非部署端系统性加速。

Limitation

方法依赖一个隐含前提：opacity 与 primitive 当前/未来的重要性正相关。这个假设在标准 opaque scene NVS 中通常成立，但在半透明物体、反射材质、细薄结构、远景弱贡献区域中可能不稳。低 opacity 不一定等于低价值，也可能只是尚未优化好或由视角覆盖不足导致。

第二个问题是增益归因不完全清晰。RS 也能加速，说明 active set reduction 已经解释了相当一部分收益；OPS 的额外收益可能来自减少冗余 densification，也可能来自改变 opacity 分布、隐式正则化或减少 alpha traversal。论文没有给出足够细的因果分解。

第三，所谓 universal compatibility 主要是在 3DGS-family 的相同训练范式内成立。它没有改变 densification criterion 本身，也没有解决 Gaussian 数量增长的根因，只是通过调度降低每轮计算压力。对于 city-scale、dynamic 3DGS、多层语义/物理属性 Gaussian，固定比例缓存可能会遇到更复杂的覆盖与一致性问题。

第四，理论推导建立在属性独立、期望近似等假设上，解释性强于证明性。特别是 opacity、scale、position、view visibility 在真实训练中高度耦合，文中的公式不能直接保证 OPS 在所有场景都最优。

Takeaway

  • 1. 3DGS 的训练效率问题不一定只能通过 pruning/compression 解决；训练时动态激活 primitive 是一条独立路线，类似 dynamic sparse optimization。
  • 2. Opacity 是 3DGS 中被低估的调度信号。
  • 它同时连接 visibility、gradient、densification 和 alpha saturation，因此可作为 primitive-level compute allocation 的 cheap proxy。
  • 3. 缓存比删除更适合训练早期的不确定 primitive 管理。

一句话总结

这篇论文把 3DGS 加速从最终模型裁剪转向训练时 primitive 动态调度，用 opacity-biased caching/resampling 在不硬删除 Gaussian 的前提下降低活跃计算量，是一类 dynamic sparse training 思想在 3DGS 密度控制中的有效落地。