ACM TOG 2025

Don't Splat your Gaussians: Volumetric Ray-Traced Primitives for Modeling and Rendering Scattering and Emissive Media

作者：Jorge Condor, Sebastien Speierer, Lukas Bode, Aljaz Bozic, Simon Green, Piotr Didyk, Adrian Jarabo · 单位：Meta Reality Labs, Zurich, Switzerland and Universita della Svizzera Italiana, Lugano, Switzerland, Meta Reality Labs, Meta Reality Labs, Zurich, Switzerland, Meta Reality Labs, Lausanne, Switzerland, Meta Reality Labs, London, United Kingdom of Great Britain and Northern Ireland, Meta (United Kingdom), Meta Reality Labs, Zaragoza, Spain · 会议/期刊：ACM TOG 2025 · 发布日期：2024-05-24

物理建模光线追踪重光照渲染全景重建

精读笔记

Problem Setting

《Don’t Splat your Gaussians: Volumetric Ray-Traced Primitives for Modeling and Rendering Scattering and Emissive Media》（ACM TOG 2025 / 2024-05-24）关注的不是“如何让 3DGS 更快”，而是一个更底层的问题：能否把 kernel primitive 表示变成真正的 participating media 表示，并让它服务于 path tracing、scattering、emission、inverse rendering 和复杂相机。

真正困难点在于两类已有表示各自卡在相反端：voxel grid 物理上干净、production renderer 兼容，但内存和带宽代价高，transmittance / free-flight sampling 通常依赖 null-collision / tracking，方差和 majorant 质量强相关；3DGS 紧凑且极快，但其 splatting image formation 把 3D Gaussian 退化成相机朝向 billboard，物理上不再是一个可被任意 ray、一致顺序、多次散射和重光照使用的介质。

这篇论文的关键矛盾是：要保留 primitive representation 的紧凑性和自适应分布能力，同时又不能牺牲 RTE 框架要求的三维密度、ray reciprocity、transmittance consistency 和 free-flight sampling。作者的答案是不要 splat，而是沿 ray trace 这些 3D kernels。

Motivation

已有路线缺的是一个同时满足三点的表示：紧凑、连续、物理可积。Voxel / VDB 解决了 renderer integration，但没有解决 memory / bandwidth / tracking variance；NeRF / 3DGS 解决了紧凑或实时视图合成，但大多牺牲了物理渲染所需的 transport semantics。

作者的核心观察是：Gaussian primitive 在 3DGS 中被用错了方向。Gaussian 本身是一个三维密度分布，天然可以参与 Beer-Lambert transmittance；把它投影成 2D splat 是为了 rasterization 速度做的工程折衷，而不是表示本身的必然形式。如果改用 ray tracing 访问 primitive support，再做 kernel line integral，就能把同样的 compact primitive family 接回 volumetric rendering。

关键缺口因此不是“缺一个更强 radiance field renderer”，而是“缺一个 primitive-based medium model”：它既像 GMM 一样压缩和自适应，又像传统 heterogeneous medium 一样能进入 RTE。

Core Idea

论文真正的核心是把介质定义为 3D kernel mixture：每个 primitive 携带中心、协方差 / 尺度、cross section、albedo、phase function 或 emission；空间中某点的 extinction 是所有覆盖该点的 kernel contribution 之和。ray 穿过场景时，不再在 voxel grid 上 marching，而是由 primitive shell 的 entry / exit 把 ray 切成若干 segments；每个 segment 内只考虑当前 active primitive set，并解析累计 optical depth。

这个建模方式引入的 inductive bias 是“介质由连续、局部、可解析积分的 blob 组成”。它牺牲了 voxel 的任意高频自由度，换取紧凑性、平滑性和可积性。相比 3DGS，本质差别不是 Gaussian vs Gaussian，而是 image formation：3DGS 的 primitive 是屏幕空间 compositing 单元；本文的 primitive 是三维 extinction / emission / scattering 单元。前者优化的是 rasterization pipeline，后者优化的是 RTE 中的 ray integral。

理论上它有效的原因很直接：如果 density 可以被少量 kernel mixture 近似，那么 transmittance 的最难部分——沿 ray 的 extinction 积分——可以从随机估计变成解析求和。这样 variance 被从 transmittance estimator 中移除，剩余随机性主要来自 scattering path sampling。

Method

1. Kernel-mixture medium formulation：解决“primitive 如何成为物理介质”的问题。extinction 写成 σ_i K_i(x) 的和，albedo 和 phase function 通过 contribution-weighted normalization 得到。必要性在于如果只拟合 opacity / color，就无法支持 scattering 和 consistent transmittance；这个定义把 primitive 参数提升为 optical properties。

2. Segment-wise ray formulation：解决 overlapping primitives 的积分组织问题。ray 与 primitive shell 相交得到 entry / exit，沿 ray 排序后形成 disjoint segments；每段的 active set 固定，因此 optical depth 是 active kernels 的 line integral 之和。核心变化是把空间查询变成 active-set traversal，而不是 dense grid lookup。

3. Closed-form optical depth for kernels：解决 transmittance 方差和 cost 问题。Gaussian 的 line integral 通过 erf 表达，Epanechnikov 变成多项式积分；transmittance 是 exp(-sum τ_i)。这部分是论文最硬的机制贡献，因为它直接替代 residual ratio tracking / delta tracking 中最昂贵和高方差的一块。

4. Free-flight sampling by transmittance inversion：解决 scattering path tracing 中“在哪里发生下一次介质事件”的问题。作者用 uniform transmittance sample 找 segment，再在 segment 内反解 optical depth；多 kernel overlap 时用 Newton / bisection。必要性在于仅能算 transmittance 不够，path tracer 还需要按 μ_t T 采样距离。

5. Ray-traced primitive support：解决 mixture 中 relevant primitive 查询问题。不是遍历所有 kernels，而是给 kernel 设 shell，用 BVH / ray tracing 找交点。这里带来的核心变化是把 continuous mixture 接入现代硬件 ray tracing；但很多性能增益依赖具体 shell、triangulation 和 BVH 行为，属于工程上很关键但理论上次要的部分。

6. Differentiable adjoints：解决 inverse rendering 中梯度传播问题。由于 loops / primitive traversal 不适合直接 AD，作者手写 adjoint。它证明表示可优化，但优化 pipeline 本身还不是本文最成熟的贡献。

Key Insight / Why It Works

最重要的 insight 是：primitive representation 的价值不在 splatting，而在“可解析积分的连续局部基函数”。3DGS 的成功说明场景可以由大量 anisotropic local kernels 紧凑表达；本文把这个事实从 radiance-field compositing 转移到 participating media transport。这个迁移很有价值，因为它把 compactness 和 physical renderability 对齐了。

真正有效的核心来自 representation alignment：kernel mixture 与 RTE 中的 line integral 结构高度匹配。Beer-Lambert transmittance 只需要 ∫ μ_t dt；如果 μ_t 是 kernel 和，而 kernel 的 ray integral 有 closed form，那么最难的体渲染可见性项就变成 deterministic accumulation。这不是单纯 scaling，也不是 retrieval，而是更好的 inductive bias：用“可积基函数”替代“采样网格”。

另一个有效点是 memory / bandwidth trade-off。传统 dense voxel volume 的瓶颈往往不是算术，而是数据体积、局部 majorant 和 stochastic traversal。GMM / kernel mixture 把大量空域和低频区域压成少量 primitive，因此即使每个 primitive 积分更复杂，整体也可能更快。尤其对 clouds / smoke 这类平滑稀疏体，压缩收益非常自然。

Epanechnikov kernel 的引入不是附属小改。它指出 Gaussian 并非唯一合理 primitive：Gaussian 的无限 support / 长尾是渲染系统里的性能毒点，会导致更大 shell、更多 overlap、更差 BVH；有限支持 kernel 更符合 ray tracing traversal 的需求。这个 insight 可迁移：用于 rendering 的 kernel 不应只按统计平滑性选择，还要按 support compactness、line integral complexity 和 acceleration-structure friendliness 选择。

需要直接判断的是：radiance field 部分不是本文最强证据。VPRF 为了速度使用了近似 emission accumulation，关闭 / 简化 overlap logic，本质上是在证明“ray tracing 版 primitive field 也能做 view synthesis”，而不是证明完整物理 formulation 在 RF benchmark 上优于 3DGS。这里相当一部分收益来自工程路径：BVH、early termination、kernel support、quality-performance preset。质量落后 3DGS，训练也慢，因此它更像物理框架的外延展示，而不是主贡献。

biased uniform distance sampling 也是一个明确的 engineering trade-off：它能显著加速，但成立依赖 segment 足够短、density variation 足够温和。它不是理论核心，且在复杂 overlap / sharp density 下偏差上限文中未充分说明。

Relation To Prior Work

和 3DGS 最接近的是表示外观：都是 anisotropic 3D kernels / Gaussians，参数化也类似。但本质差异在 image formation。3DGS 把 Gaussian 投影成 screen-space splat，通过排序 alpha compositing 近似体渲染；本文保留 3D density，用 ray tracing 和 RTE 做 line integration。这个差异带来 reciprocity、secondary rays、complex cameras、scattering 和 relighting 的可能性。

和 voxel / VDB volume rendering 相比，本文不是提出新的 tracking estimator，而是绕开了 tracking 的一部分需求：当介质由可积 primitive 组成，transmittance 不必通过 null-collision Monte Carlo 估计。这是实质差异。代价是表示能力从 arbitrary grid density 变成 kernel-mixture density，问题被转移到 fitting 和 overlap control。

和 RBF particle volumes / Gaussian particle volumes 相比，本文的新增点主要在于：把 primitive mixture 明确嵌入 RTE，给出 closed-form transmittance / sampling，并支持 scattering media 与 differentiable inverse rendering。Knoll 等早期 particle volume 更像表示和渲染技巧，没有把 free-flight sampling 和 path tracing integration 做到同一物理闭环。

和 NeRF / Instant-NGP / Plenoxels 的关系是技术谱系上的“explicit continuous field”。它不是 neural implicit compression，而是显式 primitive compression；查询代价从 MLP / hash-grid evaluation 转成 BVH traversal + analytic integral。它牺牲一些表达灵活性，换来物理可解释参数和 renderer composability。

看似新的部分中，GMM 表示、Gaussian line integral、path replay adjoint、BVH traversal 都有前史；真正组合后的创新在于把这些拼成一个可用于 general participating media 的 primitive-based RTE formulation，并系统展示其 forward / inverse / RF 统一性。

Dataset / Evaluation

评估覆盖面较宽，但每一块的说服力不同。Forward rendering 的 cloud / smoke / dust asset 最能验证核心 claim：在可由较少 Gaussians 拟合的平滑体数据上，analytic transmittance 确实能以远小内存获得低方差渲染。这支持“kernel mixture as compact physical medium”的主张。

inverse tomography / inverse scattering 说明该表示可微且能优化，但还不能证明它是强 inverse rendering pipeline。初始化、primitive spawning、regularization、bounded Adam 都有较多人为设计；复杂 scattering 下的稳定性和可扩展性文中未充分说明。这里更像 capability demo。

radiance field benchmark 覆盖真实和合成场景，能说明 ray-traced primitive field 可以达到实时级并支持复杂相机。但它没有真正击败 3DGS：质量更低、训练更慢、内存也未必更优。它验证的是“物理兼容框架仍可做 RF”，不是“这是更好的 RF 方法”。复杂相机展示很有意义，因为这是 raster splatting 天然不擅长的区域。

实验中一个潜在 evaluation bias 是：forward rendering reference 往往把 mixture voxelize 成 dense grid 后比较，因而主要比较同一 GMM density 下的 rendering estimator，而不是原始高频资产保真度。作者也承认压缩会损失细节。换言之，核心实验验证的是 rendering efficiency of fitted mixture，不完全验证 mixture fitting 能无损替代 production volumes。

Limitation

最根本的前提是场景密度必须适合 kernel-mixture 近似。对 cloud / smoke 这种平滑稀疏介质很合理；对薄片、硬边界、复杂 surface-volume hybrid、高频噪声或 correlated microstructure，primitive 数量和 overlap 很可能迅速上升，解析积分优势会被 BVH traversal 和 active-set 管理吃掉。

scalability 上限主要由 overlap 而不是 primitive 总数决定。大量大 support Gaussian 会造成退化 BVH 和长 active list；这也是为什么 Epanechnikov 更快。论文给出经验结果，但没有充分建模 overlap distribution 与 runtime / error 的关系。这个问题在大场景、天空盒、大尺度低频 primitive 与局部高频 primitive 共存时会更严重。

Gaussian 截断到 3σ 是必要工程近似，但它改变了密度归一化和尾部 transmittance。对 radiance field 可能无所谓，因为优化会吸收误差；对物理介质和定量 inverse rendering，误差边界文中未充分说明。

free-flight sampling 在多 overlap segment 中依赖数值反解；biased uniform sampling 又依赖“segment 内 PDF 足够接近”。这部分性能收益有一定 engineering 性质，且偏差在极端密度梯度下可能不可忽略。

inverse pipeline 还不成熟。训练时间长，JIT recompilation 是工程瓶颈，但更深层问题是 primitive birth / death、initialization、regularization 和 loss 对结果影响很大。所谓泛化并不是模型泛化，而是 per-scene optimization；能力主要来自表示足够 flexible 和数据覆盖足够，而非学到跨场景 prior。

radiance field 部分的上限明显：相较 3DGS，质量和速度都不是 SOTA；其优势在物理 renderer integration 和复杂相机，而不是常规 novel view synthesis benchmark。如果只关心 rasterized real-time view synthesis，这篇不是 3DGS 的替代品。

Takeaway

  • 1. 这篇最值得记住的是“不要把 Gaussian primitive 绑定到 splatting”。
  • 同一个 kernel representation，如果沿 RTE 组织，就从 view synthesis trick 变成可物理组合的介质表示。
  • 2. volume rendering 的一个有前途方向是用可解析积分的 adaptive basis 替代 grid cell。
  • 未来真正关键的不是再推一个 estimator，而是联合设计 kernel family、support、BVH、LOD 和 fitting，使 overlap 可控。

一句话总结

这篇论文把 3DGS 式 kernel primitive 从屏幕空间 splatting 重新解释为可解析积分的三维 participating-media 基函数，核心贡献是用 ray-traced kernel mixture 连接紧凑显式表示与物理体渲染，而不是提出一个更强的常规 radiance field renderer。