ASPLOS 2024

GSCore: Efficient Radiance Field Rendering via Architectural Support for 3D Gaussian Splatting

作者：Junseo Lee, Seokwon Lee, Jungi Lee, Junyong Park, Jaewoong Sim · 单位：Seoul National University, Seoul, Republic of Korea, Seoul National University · 会议/期刊：ASPLOS 2024 · 发布日期：2024-07-01

加速训练渲染

精读笔记

Problem Setting

论文标题：GSCore: Efficient Radiance Field Rendering via Architectural Support for 3D Gaussian Splatting（ASPLOS 2024）。

这篇论文实际处理的是 3D Gaussian Splatting 在移动/边缘平台上的部署瓶颈，而不是 3DGS 表示能力或重建质量问题。3DGS 已经把 NeRF 的 per-sample MLP 查询换成显式 Gaussian primitive，但渲染端仍然需要对大量透明 splat 做 depth ordering 和 front-to-back alpha compositing。换句话说，它把瓶颈从 neural inference 转移到了 graphics-style work scheduling、sorting、memory traffic 和 alpha blending。

真正困难点在于：3DGS 的 primitive 是透明、各向异性、overlap-heavy 的 Gaussian，不是传统 mesh triangle。传统 GPU rasterizer 对 triangle fragment generation 很成熟，但 3DGS 的关键成本不是简单生成 fragment，而是 tile assignment 后的排序和体渲染式 blending。GPU 上的 tile-based implementation 为了并行效率使用粗粒度 tile 和 lockstep execution，这又引入大量 false positive 和 per-pixel 无效计算。

关键矛盾是：为了减少排序和调度开销，需要 tile 级批处理；但 Gaussian footprint 是连续椭圆且高度各向异性，tile 级批处理会把许多不贡献像素的 Gaussian 拉进 pipeline。为了减少无效计算，需要更细粒度可见性；但过细粒度会增加排序、metadata 和同步开销。GSCore 的目标就是在这两者之间找一个硬件友好的中间粒度。

Motivation

已有 GPU 路线不够的原因不是单纯 FLOPS 不够，而是 3DGS 的 workload shape 和 GPU execution model 不匹配。作者的 profile 指出渲染时间主要落在 Gaussian sorting 和 rasterization 上；进一步看，这两个瓶颈有相当一部分来自上游 work generation 的错误或过度保守。

最重要的三个观察是：第一，原始实现用 circumscribed-circle AABB 近似 projected Gaussian，导致大量 tile 被错误认为与 Gaussian 相交；第二，很多被分配到 tile 的 Gaussian 在 front-to-back blending 中会因为 early termination 根本不会被用到，但仍然被完整排序；第三，在 tile lockstep 渲染中，一个 Gaussian 对 tile 内多数 pixel 往往没有贡献，但所有线程仍执行 alpha computation。

所以缺口不是“需要更快的排序器”或“需要更多 alpha 单元”这么简单，而是缺少一个利用 Gaussian 几何形状、透明度累积结构和 tile/subtile 层次性的执行模型。GSCore 的动机可以概括为：把 3DGS 中大量由保守近似和 GPU 执行粒度造成的无效 work 显式暴露出来，并用专用硬件在低 metadata 成本下消掉。

Core Idea

核心思想是重新组织 3DGS 渲染的信息流：不要先粗暴生成大量 Gaussian-tile work、全量排序、再在 rasterization 里发现其中多数无效；而是在 pipeline 早期用更贴合 Gaussian 形状的 intersection test 减少 false work，在排序阶段只对可能被消费的 depth range 做精确排序，在 rasterization 阶段以 subtile bitmap 跳过明显无贡献的 alpha computation。

这不是新的 radiance field representation，也不是新的 rendering equation；它的 inductive bias 是“3DGS 的有效工作具有强烈的几何局部性和前向遮挡单调性”。几何局部性来自 projected Gaussian ellipse，前向遮挡单调性来自 front-to-back transmittance 递减。GSCore 把这两个结构转化为硬件数据流约束：形状决定 work generation，深度 chunk 决定 progressive consumption，subtile bitmap 决定 compute gating。

和 prior 的本质区别在于，它没有把 3DGS 当作普通 CUDA rasterization workload，也没有试图复用传统 triangle rasterizer 或 RT core；它承认 3DGS 是介于 rasterization 和 volume rendering 之间的特殊 workload，并为“透明椭圆 primitive + ordered alpha compositing”设计专门执行路径。这一点比单纯加速某个 kernel 更实质。

Method

1. Shape-aware intersection test：解决 Gaussian-tile assignment 的 false positive。原始 AABB 近似便宜但太松，尤其对高度各向异性 Gaussian 会引入大量空白区域。作者不是无条件使用 OBB，而是在 AABB 命中多个 tile 且 Gaussian aspect ratio 足够大时才用 OBB/SAT 做更严格测试。核心变化是把 work generation 从“保守包围盒枚举”改成“按 Gaussian 形状自适应过滤”，直接减少后续排序和渲染输入规模。

2. Hierarchical sorting：解决全量精确排序与 early termination 之间的浪费。前向 alpha blending 只需要从近到远消费 Gaussian，一旦 transmittance 足够低，后续 Gaussian 对像素颜色没有意义。因此，先把 Gaussian 按 depth 粗分为有序 chunk，再在 chunk 被 rasterizer 需要时精排。核心变化是把 sorting 从一个完整前置 barrier 变成 demand-driven / progressive 的 producer-consumer 流程。

3. Subtile skipping：解决 tile 内 lockstep alpha computation 的无效计算。tile 太大时，一个 Gaussian 对 tile 内许多 pixel 没贡献，但 GPU 仍让整个 block 处理它；per-pixel metadata 又太贵。作者选择 subtile bitmap 作为中间粒度，在预处理阶段记录 Gaussian 是否覆盖某个 subtile，渲染时直接跳过对应 subtile。核心变化是用少量 metadata 换 compute gating，避免把 tile 粒度进一步缩小导致排序爆炸。

4. GSCore architecture：硬件本身不是论文最值得记的部分，关键是它让上述三个机制低开销协同：intersection test 在 work generation 阶段做，sorting 和 rendering 可流水重叠，VRU 的执行粒度与 subtile bitmap 对齐。硬件模块细节更多是实现承载，而非独立算法贡献。

Key Insight / Why It Works

这篇最核心的 insight 是：3DGS 的移动端瓶颈不是不可避免的渲染成本，而是大量“被错误生成、过早排序、过粗执行”的工作。GSCore 有效的根本原因是 work elimination，而不是单纯 scaling。

Shape-aware intersection test 可能是最稳的算法贡献。它利用了 3DGS primitive 的真实 footprint：projected Gaussian 是椭圆而非方形区域。原始 AABB 方法为了 cheap preprocessing 把许多不相交 tile 拉进后续 pipeline，而后续 sorting 和 rasterization 都比 intersection test 更贵。因此，适度增加前端几何判断成本，可以成倍减少后端 memory traffic 和 compute。这是典型的 upstream precision for downstream efficiency。

Hierarchical sorting 的有效性依赖 front-to-back compositing 的单调结构：transmittance 只会下降，early termination 后远处 primitive 没有必要再参与。这相当于把排序从“必须完全正确的全序问题”放松为“按消费顺序逐步提供局部全序”。这个机制本质上是 test-time compute scheduling，而不是近似算法；它保持最终使用部分的顺序正确，同时避免为未消费部分付费。

Subtile skipping 是对 GPU execution granularity mismatch 的直接修正。它不是新数学，而是更合适的计算粒度。per-pixel visibility 太细，tile-level visibility 太粗，subtile bitmap 是一个硬件友好的折中。它的收益主要来自减少 alpha computation，尤其 alpha computation 含 exponential，属于 compute-bound 部分。

我认为真正核心贡献排序是：SIT 和 STS 负责减少无效 work，HS 负责降低排序 barrier 并与 early termination 协同，硬件负责把这些机制的 metadata 和同步成本压低。硬件 specialization 带来的增益很大，但如果没有前面的 work reduction，专用硬件很可能只是更快地做同样多的无效计算。

需要注意的是，15x 量级的整体提升不能简单归因于某个算法 insight。它混合了专用固定功能硬件、较小精度 FP16、mobile GPU baseline、cycle-level simulated accelerator、memory traffic reduction 和 pipeline overlap。论文有 ablation，但“算法优化 vs 硬件 specialization vs baseline GPU inefficiency”的边界仍不完全清楚。这里面有一部分明确是 architecture specialization，不是通用 3DGS 算法突破。

Relation To Prior Work

这篇工作最接近三条谱系：NeRF/radiance field accelerator、传统 graphics fixed-function pipeline、ray tracing / spatial intersection acceleration。但它和三者都不完全一样。

相对 NeRF accelerator，GSCore 的对象已经不是 MLP/hash encoding，而是显式 Gaussian primitive 的排序和 alpha blending。NeRF 加速多在 sample generation、encoding、MLP fusion、memory reuse 上做文章；GSCore 则处理 splat-level work generation、depth ordering 和 transparent compositing。因此它是 neural rendering accelerator 谱系从 implicit field inference 转向 explicit differentiable primitive rendering 的一个节点。

相对传统 rasterizer，3DGS 的 primitive 是透明 Gaussian，不是 opaque triangle。传统 rasterizer 可以高效生成 fragments，但无法自然处理大量透明 primitive 的 per-pixel front-to-back early termination，也不会自动解决 Gaussian alpha computation 和排序问题。GSCore 的实质创新在于把 rasterization 和 volume rendering 的需求融合到一个专用 pipeline，而不是复用固定 triangle pipeline。

相对 RT core/BVH，论文的判断是合理的：RT core 擅长 ray-primitive intersection，但 3DGS rasterization 可以从 primitive 直接枚举覆盖 tile/pixel；若改成每 pixel BVH traversal，反而重复工作严重。这里的差异是 traversal direction：ray tracing 是 pixel/ray-driven，3DGS splatting 更适合 primitive-driven work generation。

看似新的部分如 OBB intersection、bitonic/quick sort、early termination、tile/subtile hierarchy，本身都不是新技术；真正新增的信息是把这些老机制组合到 3DGS 的特定结构上，并证明其在移动功耗约束下是足够有价值的 architecture target。

Dataset / Evaluation

评估覆盖 Tanks&Temples、Deep Blending、Synthetic-NeRF、Synthetic-NSVF 等真实/合成场景，包含室内、室外和不同分辨率，基本能验证 claim 的主要部分：在典型静态 3DGS novel-view rendering 中，移动 GPU 上存在可被专用数据流显著消除的无效 work。

它也做了比较有意义的工程闭环：RTL synthesis、28nm area/power、cycle-level simulator、LPDDR timing model，并且 simulator 产生图像用于质量比较。这比纯 kernel timing 或 roofline 推测更有说服力。

但 evaluation 的边界也很清楚。第一，核心对比 baseline 是 Jetson Xavier NX 级移动 GPU，而不是最新移动 GPU 或专门优化过的 3DGS runtime；因此绝对 speedup 不应外推到所有平台。第二，硬件不是 taped-out silicon，系统集成、driver、memory hierarchy contention、multi-application workload、thermal behavior 都未被真实验证。第三，评估主要是静态 scene offline rendering，没有覆盖动态 Gaussian 更新、交互编辑、streaming、LOD、多相机连续轨迹下的数据局部性等部署场景。

质量方面，FP16 带来的 PSNR/LPIPS 差异很小，说明这些优化基本不是通过近似质量换速度。但由于方法本质是 rendering pipeline 优化，它没有证明对更复杂 3DGS variant 的泛化。

Limitation

最重要的限制是方法强依赖当前 3DGS 的 rendering semantics 和 workload distribution。若场景透明度低、early termination 弱，hierarchical sorting 的跳过收益会下降；若 Gaussian footprint 更规则或经过上游压缩/LOD 后 false positive 本来少，SIT 的边际收益也会下降；若未来 runtime 已经做了更强的 visibility culling 或 clustered sorting，GSCore 的部分优势可能被软件吸收。

第二，GSCore 把问题从通用 GPU 计算转移到了专用 pipeline 和 metadata 管理。subtile bitmap、chunk buffer、progressive sorting 都需要和 memory layout、scene representation、runtime scheduling 深度绑定。论文没有充分说明当 Gaussian 数量、分布、分辨率、view trajectory 变化很大时，buffer sizing 和 bandwidth pressure 的鲁棒性。

第三，它主要加速 inference/rendering，不处理 training acceleration。标题标签里有“加速训练”但正文目标明确是 rendering pipeline；如果把它理解为 3DGS end-to-end 系统加速，会高估贡献范围。

第四，增益归因仍有混合因素。GSCore 对比 mobile GPU 时，不只是算法优化，还包括固定功能硬件、FP16、pipeline overlap、更低控制开销和专用 memory access pattern。论文的 ablation 说明每个优化有贡献，但无法完全回答：如果在现代 GPU 上用更 aggressive CUDA kernel、persistent threads、cooperative groups、software binning/LOD，差距还剩多少。

第五，可扩展性上限在于 sorting 和 memory traffic 仍没有消失，只是减少和流水化。对于极大规模 Gaussian、超高分辨率、多视角并发或 VR 双目高刷新率，off-chip bandwidth 和 feature buffer 容量仍可能成为瓶颈。文中未充分说明这些 deployment 约束。

Takeaway

  • 1. 3DGS 的系统瓶颈应被看作 work generation 问题，而不只是 rasterization kernel 优化问题。
  • 越早减少 false Gaussian-tile work，越能同时降低 sorting、memory 和 alpha compute。
  • 2. 对透明 primitive rendering，排序不一定必须作为全局前置 barrier；只要最终消费顺序正确，可以把排序改成 progressive / demand-driven，与 early termination 绑定。
  • 这一 insight 可迁移到其他 ordered compositing、volume rendering、particle rendering workload。

一句话总结

GSCore 是第一类把 3D Gaussian Splatting 明确当作“透明椭圆 primitive 的有序体渲染 workload”来做算法-硬件协同加速的工作，其真正贡献在于通过形状感知 work generation、渐进排序和 subtile 级 compute gating 系统性消除移动 GPU 上的无效渲染工作。