精读笔记

Problem Setting

TemporalGS 实际解决的是连续 3DGS 渲染中的 test-time redundancy，而不是 3DGS reconstruction、compression 或训练效率。标准 3DGS 的 pipeline 对每一帧独立执行 preprocessing、tile sorting、rasterization；这在单帧 benchmark 上合理，但在真实 roaming 中很浪费，因为相邻帧共享大量 visible Gaussians、surface layout 和 appearance。

真正困难点在于，3DGS 的瓶颈不是一个单独 kernel，而是 Gaussian 数量、tile duplication、per-tile sorting 和 alpha blending 的组合成本。已有 pruning/compression 方法能减少 primitives，但通常需要训练或后训练，并且会改变模型质量；visibility post-processing 能减少视点相关冗余，但需要离线统计或 region baking；hardware/kernel 方法提升吞吐，却仍然按帧重算。该任务的关键矛盾是：不改变已有 3DGS 模型、不引入训练、不依赖离线 preprocessing，同时还要安全地跳过一部分当前帧计算。

Motivation

作者看到的缺口是：3DGS 渲染已有大量空间结构优化，但几乎没有利用连续帧之间的短时状态。vanilla 3DGS 把上一帧渲染过程产生的可见 surface、depth、贡献 Gaussian 和颜色完全丢弃；从系统角度看，这是把一个天然 stateful 的交互式渲染问题硬做成 stateless query。

已有路线不够的原因很直接：compression/pruning 改 representation，kernel/hardware optimization 改执行效率，RadSplat/OccluGaussian 这类方法改 visibility prior，但都没有系统利用上一帧作为当前帧的 online prior。TemporalGS 的动机不是“再快一点的 rasterizer”，而是把时间维度作为一等公民：连续视角下，变化区域才应该被完整渲染，稳定区域应当复用。

Core Idea

TemporalGS 的核心思想是：把 3DGS 从逐帧独立渲染改造成带短时记忆的增量渲染。参考帧仍然用标准 3DGS 渲染，并在渲染时缓存 geometry、appearance 和 contributed Gaussians；后续若干帧不再从零开始，而是用这些 temporal priors 判断哪些 Gaussian 可以剔除、哪些 tile 必须重渲染、哪些区域可以由上一帧 warp 得到。

这个方法改变的是信息流，而不是表示本身。prior work 多数试图让 Gaussian 集合更小、intersection 更准、sorting 更快；TemporalGS 则绕过一部分问题：如果某个 tile 的内容可以由前一帧可靠近似，就不必参与当前帧 sorting/rasterization。它引入的 inductive bias 是 local temporal coherence：用户视角变化足够小的时候，可见 surface 和 appearance 在短时间内保持稳定。这个 bias 比 learned compression 更 general，因为它不依赖具体 checkpoint 训练方式；也比纯 hardware optimization 更 scalable，因为它直接减少进入重计算路径的工作量。

Method

Temporal priors 的必要性在于把上一帧的渲染副产物变成当前帧的决策依据。TGB 用 depth mean 和 depth variance 描述上一帧看到的 surface envelope；它不是精确几何，而是一个保守的可见表面范围，用于判断当前帧中哪些 Gaussian 位于旧 surface 后方、哪些可能形成新前景。TAB 则把上一帧颜色作为可复用 appearance cache，使未选中 tile 可以通过 warping 近似，而不是重新 alpha blend。

Temporal dynamic culling 解决 Gaussian 级别的重复：adaptive frustum culling 用上一帧实际参与渲染的 Gaussian 范围扩展传统 frustum，避免边界 artifact；temporal occlusion culling 用 warped TGB 过滤明显在旧可见 surface 后面的新帧 Gaussian。它的核心变化是把 culling 从 purely geometric/frustum 变成 temporally informed visibility culling。

Selective rendering 解决 tile 级别的重复：不是所有 tile 都排序和 rasterize，只渲染 disocclusion、unmatched correspondence 或新前景相关的 tile，其余由 warped TAB 补齐。这个机制是整篇论文的主要加速来源，因为它直接跳过 sorting+rasterization 的高成本路径。adaptive reference insertion 则是安全阀：当 selected tiles 太多，说明 temporal prior 失效，系统回退到新的 reference frame，避免误差长期累积。

Key Insight / Why It Works

这篇论文真正有效的原因不是某个 culling heuristic 特别精巧，而是它抓住了 3DGS 交互渲染中的 compute mismatch：用户感知到的是连续视频流，但 vanilla 3DGS 的计算单位是独立帧。TemporalGS 把连续帧里的稳定内容从 full rendering path 中拿掉，这比单纯优化 kernel 更接近问题本身。

核心贡献最可能是 selective rendering + temporal appearance/geometry prior 的组合。SR 直接减少 per-tile sorting 和 blending，实验消融也显示它贡献最大；TDC 则主要减少 preprocessing 和部分 downstream Gaussian 数量，是重要但次一级的收益。AFC 更像 engineering heuristic，作用是让 frustum culling 在 3DGS 边界处不那么激进；它不是论文的本质创新。

从机制归类看，TemporalGS 属于 memory reuse / test-time compute allocation，而不是 learning-based acceleration。它没有学到新的 scene representation，也没有提升单帧渲染理论效率；它是用 temporal cache 做一种在线 retrieval：当前帧从上一帧检索可复用的几何和颜色，只对检索失败的区域重新计算。因此“training-free plug-and-play”的说法成立，但也意味着能力上限完全由 temporal prior 的可靠性决定。

需要直接指出的是，论文中的大部分增益很可能来自 smooth trajectory 和 large-scale scene 的高时空冗余，而不是算法在所有视角变化下都有鲁棒优势。大场景收益高并不意外：每帧可见集合相对全局集合更稀疏，遮挡更强，tile 复用空间更大。小场景收益较低也印证这一点。这里没有 benchmark leakage 的明显迹象，但 evaluation 明显偏向 TemporalGS 的假设条件：连续、平滑、相邻帧相似。

Relation To Prior Work

最接近的谱系不是 3DGS compression，而是 temporal coherence rendering、image warping、frame reuse、NeRF/graphics 中的 buffer reuse。与 LightGaussian/C3DGS/CP3DGS 的本质差异是，TemporalGS 不改变 Gaussian representation，也不通过训练压缩 redundancy；它在渲染时利用跨帧 redundancy。与 RadSplat/OccluGaussian 的差异是，后者更像离线/区域 visibility prior，TemporalGS 是在线、frame-to-frame 的 dynamic prior。

与 FlashGS/GScore/TC-GS 这类实现优化相比，TemporalGS 的新增信息不是更好的 GPU schedule，而是 temporal state。它们可以互补：implementation optimization 降低每次计算成本，TemporalGS 减少需要计算的内容。与 NeoG 的关系更微妙：两者都利用 temporal coherence，但 NeoG 主要围绕 sorting reuse/update，TemporalGS 则更激进地复用 geometry/appearance 并跳过部分 tile rendering，因此适用面更接近 pipeline-level acceleration。

看似新的部分中，image warping、depth buffer reuse、occlusion/disocclusion detection 都是经典图形学思想的重组；实质创新在于把这些思想嵌入 3DGS 的 tile-based software rasterization，并与 Gaussian-level culling 和 tile-level selective rendering 对齐。这不是理论突破，但属于对 3DGS pipeline 痛点非常贴合的系统性重构。

Dataset / Evaluation

评估覆盖了小规模室内/室外、大规模 aerial/street-view、室内遮挡场景，并且测试了多个 3DGS 变体和部分 hardware rasterization pipeline；这足以支持“plug-and-play across several existing 3DGS methods”的主张。尤其它能叠加到 LightGS、C3DGS、RadSplat 等方法上，说明它不是和某个 checkpoint 偶然绑定。

但 evaluation 主要验证的是平滑连续轨迹下的性能，而不是一般交互式相机控制。真实用户 roaming 有展示，但文中未充分说明轨迹多样性、急转向、快速 zoom、遮挡突变、thin geometry、specular-heavy scene 下的系统性结果。质量指标仍然是 PSNR/SSIM/LPIPS，对 temporal flicker、stitching artifact、latency jitter 的刻画不足，而这些恰恰是 temporal reuse 方法部署时最关键的问题。

实验消融支持 SR 是主因，TOC 次之，AFC 辅助；这让增益来源相对清楚。不过硬件 rasterization 部分的 claim 还偏弱：web-splat 中 float16 depth 导致收益有限，说明 portability 不是无条件成立，而依赖 backend 对额外 buffer/precision 的支持。

Limitation

TemporalGS 的根本前提是相邻帧共享足够多 geometry 和 appearance。相机运动快、视角跨度大、disocclusion 多时，selected tiles 增多，方法自然退化；这不是简单 limitation，而是方法定义本身的边界。作者用 adaptive reference insertion 缓解，但这本质上是检测 prior 失效后回退，不是解决失效。

另一个上限来自 3DGS depth 表达的不确定性。3DGS 是 alpha compositing 的半透明/soft primitive 表示，用单个 depth mean 和 variance 近似 visible surface，本身就是有损的；在多层结构、细杆、透明边界、强遮挡交界处，这个 TGB 可能给出错误 occlusion signal。文中未充分说明这些错误如何影响 temporal flicker。

Selective rendering 把 rasterization 问题部分转移成 warping 问题：省掉的 tile 不是免费消失，而是由上一帧颜色近似。强 view-dependent appearance、specular、high-frequency texture、快速视差变化时，warped TAB 可能有系统误差。论文说 stitching 不明显，但缺少 temporal artifact 的专门评估。

所谓泛化主要是算法先验泛化，不是 learned model 泛化。它对不同 3DGS 变体有效，是因为这些变体共享相同的渲染冗余结构；但如果底层 pipeline 已经 sorting-free、visibility-aware、LOD-aware 或有强 hardware rasterization optimization，TemporalGS 的边际收益会下降。增益在 web-splat 上不显著也说明它不是普适加速层。

Takeaway

• 第一，3DGS 加速不一定要继续压缩 Gaussian 或优化 kernel；把渲染从 stateless frame query 改成 stateful video stream，能直接暴露一类更大的冗余。
• 第二，TemporalGS 最值得迁移的 insight 是“用上一帧渲染副产物做 test-time compute allocation”：先判断哪里必须重算，再把 compute 集中到 disocclusion / unmatched / new surface 区域。
• 这一思想可迁移到 NeRF、4DGS、volumetric rendering、甚至 neural video rendering。
• 第三，这篇论文推动的是 3DGS deployment 视角的变化：从追求单帧 renderer 峰值 FPS，转向优化连续交互轨迹中的平均 compute 和 latency。

一句话总结

TemporalGS 是一类把 3DGS 连续渲染从逐帧独立计算改造成 temporal-cache-driven 增量计算的方法，真正贡献在于用 geometry/appearance priors 做 test-time memory reuse 和 compute skipping，而不是提出新的 3D 表示或更快的 rasterizer。