精读笔记
Problem Setting
AdaptiveSplat 处理的是 feed-forward 3D Gaussian reconstruction 中的可控 primitive allocation，而不是传统 3DGS compression。现有 feed-forward 模型通常按输入像素密集预测 Gaussian，优点是一次前向完成，缺点是 Gaussian 数量和图像分辨率绑定，无法根据场景复杂度调整。真正困难点在于：剪掉 Gaussian 很容易，但剪完之后表示的覆盖性、连续性和属性分布都会失配。低纹理区域被剪后会出现空洞，高纹理区域被误剪会丢细节；如果再用 per-scene fine-tuning 修复，就破坏了 feed-forward paradigm。因此关键矛盾是 controllability 与 feed-forward fidelity 之间的冲突：要减少 primitive，又不能把问题转移到 test-time optimization。
Motivation
已有路线不够的原因很直接：3DGS compression 的主流方法默认有 dense views 和 scene-specific optimization，优化目标是压缩一个已收敛场景；feed-forward reconstruction 的目标则是在少量输入下直接生成可渲染表示，两者问题结构不同。把 EAGLES、LightGaussian、PUP-3DGS 这类 pruning 方法直接套到 feed-forward Gaussian 上，本质上是在删除一个尚未为稀疏预算适配过的表示。作者抓住的缺口是 allocation signal：既有 feed-forward pruning 多看 opacity、overlap、voxel occupancy，但这些信号不直接表达“这个区域是否需要高表示密度”。他们用自然图像高频稀疏性作为出发点，把 texture complexity 当成 Gaussian density 的先验。这不是严格理论保证，但作为 inductive bias 很合理：低频区域更需要覆盖，高频区域更需要容量。
Core Idea
论文的核心思想是把 pixel-aligned Gaussian prediction 从均匀采样改成 texture-conditioned adaptive sampling。传统 feed-forward 3DGS 默认每个像素都有同等资格生成一个 Gaussian；AdaptiveSplat 则假设 Gaussian budget 应该按局部视觉复杂度分配：平滑区域保留少量代表性 primitive，并让它们变大以覆盖区域；纹理/结构复杂区域保留更多 primitive，以避免高频细节被过度平滑。
本质区别在于它不是 post-hoc pruning，而是 conditional re-generation。剪枝 mask 不只是删除索引，而是作为条件输入告诉 Gaussian head 当前 representation topology 已经改变，剩余 primitive 需要重新预测属性来承担更大的覆盖职责。这个建模方式比“找低贡献 Gaussian 删除”更接近 learned allocation policy：它重新组织了从图像特征到 Gaussian 属性的信息流，使输出表示依赖目标 budget 和保留结构。它的可扩展性来自不需要 per-scene optimization，只需一次前向生成 budget-conditioned sparse representation。
Method
方法机制可以压缩为三点。第一，texture energy estimation 负责给 allocation 一个局部复杂度排序；DWT 只是实现手段，核心作用是把 2D 高频响应转换为“哪些区域不该被激进剪枝”的信号。第二，SuperCluster pruning 负责让剪枝以区域为单位发生，而不是独立逐点删除；这避免了随机空洞，也让低纹理区域可以由少量 retained Gaussian 共同覆盖。第三，Adaptive Gaussian Head 负责解决剪枝后的属性失配：保留下来的 Gaussian 不再沿用 full-budget 表示里的尺度和 opacity，而是在 mask 条件下重新预测，使其适配新的稀疏拓扑。
最必要的是第三点。没有 adaptive head，方法退化成 texture-guided deletion，仍然会面临 coverage gap。texture 和 SuperCluster 更多是在约束“删哪里”，adaptive head 则决定“删完后还能不能成为一个新的有效表示”。训练时随机采样 pruning budget 的意义是让 head 学到一族 budget-conditioned representations，而不是只拟合某个固定稀疏率。
Key Insight / Why It Works
这篇最有价值的 insight 是：feed-forward 3DGS 的冗余不是均匀冗余，而是和局部频率结构强相关；因此 pruning 的单位不应是全局 importance score，而应是区域复杂度约束下的 allocation redistribution。它有效的主要原因不是 DWT 本身多强，而是把“局部 coverage”和“高频保真”分开处理：低纹理区域允许少量大 Gaussian 承担覆盖，高纹理区域保留密度承担细节。
我判断最大贡献来自 mask-conditioned adaptive Gaussian head。消融也支持这一点：去掉 head 后性能大幅掉，说明原始 Gaussian 属性无法承受 topology change。Texture ranking 的贡献存在但更像辅助 inductive bias；它帮助选择更合理的剪枝区域，但不是唯一可行信号。SuperCluster 是工程上合理的区域化剪枝策略，避免逐点 mask 的碎片化，但创新性有限。
这不是 scaling，也不是 retrieval，也不是 test-time compute；更准确说是 better inductive bias + representation alignment。它把 budget、mask、Gaussian attributes 对齐到同一个 feed-forward 预测过程中。所谓 controllability 也主要来自训练时对 β 的随机化，类似 budget-conditioned curriculum，使模型学会在不同稀疏度下重分配 primitive。需要警惕的是，部分增益可能来自重新训练一个更强的 Gaussian head，而不是 texture-aware policy 本身；附录中给其他 pruning mask 也接 head 后仍落后，但这些 baseline 是否同等调优，文中未充分说明。
Relation To Prior Work
它最接近三条线：feed-forward 3DGS reconstruction、post-hoc 3DGS compression、以及 importance/pruning-based sparse representation。和 pixelSplat/MVSplat/NoPoSplat/AnySplat 的差异在于，后者主要解决从图像到 dense Gaussian 的直接预测，Gaussian 数量基本由像素或点数决定；AdaptiveSplat 把数量控制纳入生成过程。和 EAGLES/LightGaussian/PUP-3DGS 的差异在于，后者压缩一个既有 representation，多数依赖 scene optimization 或全局 importance；AdaptiveSplat 学的是在前向过程中生成一个 already-adapted sparse representation。
看似新的部分里，DWT texture energy 和区域化剪枝都不是概念上新的，频率指导资源分配在图像/NeRF/压缩里很常见；SuperCluster 也是一种工程化的区域聚合。实质创新是把 texture-aware mask 与 Gaussian head adaptation 结合到 feed-forward pipeline 中，使 pruning 不再是删除操作，而是条件生成操作。技术谱系上，它属于 learned adaptive representation allocation，而不是传统 compression。
Dataset / Evaluation
评估覆盖面较广：sparse-view、dense-view、posed/unposed backbone、室内外视频、多视角数据、DTU cross-domain、Tanks and Temples latency 分析都有涉及，基本能支撑“方法可插入多种 feed-forward 3DGS pipeline”这一 claim。尤其高 pruning ratio 下的稳定性和 artifact 对比，确实验证了 adaptive allocation 比 post-hoc pruning 更适合 feed-forward 输出。
但 evaluation 也有明显限制。第一，很多 baseline 本来不是为 feed-forward sparse Gaussian 设计的，直接比较会天然吃亏；即使加入 fine-tuning，也不等价于训练一个同样 budget-conditioned 的 baseline。第二，主要指标还是 novel view synthesis 的 PSNR/SSIM/LPIPS，没有直接评估几何一致性、visibility robustness、动态光照或真实交互部署。第三，跨域 DTU 结果说明有一定泛化，但不能证明 texture prior 在更复杂材质和几何上稳定。benchmark 支持“这套机制在常规 NVS 数据上有效”，但还不足以证明它是通用 3D complexity estimator。
Limitation
核心前提是 2D texture frequency 可以代理 3D Gaussian density demand。这个前提有用但不可靠：低纹理几何边界、薄结构、透明/反射表面、specular highlight、阴影边缘、重复纹理都会让 DWT signal 和真实 3D 表示需求错位。作者也承认高光会误导 DWT，但这其实是方法上限而不是小 failure case：它说明 allocation policy 仍是 image-frequency-driven，而非 geometry/visibility-aware。
另一个限制是问题可能被部分转移到了 learned head。Adaptive head 学会用更大的 scale 和 opacity 填补低纹理区域，这在视觉指标上有效，但可能牺牲几何精度或 view-dependent consistency。文中未充分说明这些变大的 Gaussian 是否会在大 baseline、长轨迹、强视角变化下产生漂浮、over-blending 或 depth inconsistency。
泛化也要谨慎看。MASt3R/VGGT/NoPoSplat/AnySplat 等 backbone 本身带有强数据先验，核心能力可能主要来自 backbone 和训练数据覆盖；AdaptiveSplat 在其上学习的是 allocation adaptation。增益来源不清的部分包括：texture prior、mask conditioning、重新训练 head、budget randomization、以及更强 backbone 特征的共同作用。若换到非自然图像统计、工业 CAD、医学、室外大尺度稀疏纹理几何场景，方法的 assumption 可能明显变弱。
Takeaway
- 最值得记住的不是 DWT，而是“剪枝后的表示必须重新生成属性”：feed-forward sparse 3DGS 不能把 pruning 当 deletion，而应当当成 conditional representation allocation。
- 第二个可迁移 insight 是：resource allocation 可以由局部复杂度信号驱动，而不是由像素网格或全局 importance score 驱动。
- 这个思想可迁移到 point-based rendering、NeRF sampling、mesh simplification、token pruning、多分辨率 scene representation。
- 第三，未来更值得做的是把 texture prior 升级为 geometry-texture-visibility 联合 allocation policy。
一句话总结
AdaptiveSplat 是一篇把 feed-forward 3DGS 从均匀 pixel-aligned 生成推进到 texture-conditioned controllable allocation 的工作，真正贡献在于将 pruning 变成 mask-conditioned sparse representation regeneration，而不是事后删除 Gaussian。