精读笔记
Problem Setting
《L2D2-GS: Learning to Densify for Feedforward Dynamic Gaussian Scene Reconstruction》（arXiv preprint / 2026-06-30）关注的是动态城市级 Gaussian scene reconstruction 的 generalizable 版本：给定多帧、多视角、带动态对象的驾驶场景，模型需要在未见场景上快速产生可渲染的 3DGS 表示。真正困难不在于把图像编码成 Gaussian 参数，而在于三件事同时成立：高分辨率细节需要大量 primitives，长序列和动态对象要求跨时间/跨视角一致，自动驾驶场景又有大范围稀疏观测和遮挡。已有 feedforward Gaussian 方法把 primitive 数和输入分辨率或视角数强耦合，扩到高分辨率和 dense views 时内存爆炸且融合不稳；已有 generalizable optimization 方法能迭代 refine，但基本受初始点云支配，缺少可控的几何增容机制。这个任务的关键矛盾是：既想保留 per-scene 3DGS 的 adaptive capacity allocation，又不能为每个场景做长时间优化。
Motivation
作者真正抓住的是 3DGS 成功机制中的两个被 feedforward 路线丢掉的部分：error-feedback optimization 和 adaptive densification。前者已有 G3R / Flux4D 等工作开始 generalize，但后者在 feedforward setting 下仍没有自然监督，因为“某个新 Gaussian 是否有用”不是一个局部标签，而是经过后续优化和渲染后才显现的全局收益。另一个重要观察是动态街景早期优化非常不稳定：前景 Gaussian 会被高频残差拉成细长针状，sky / background 又会补偿低频错误，一旦形成这种错误分工，后续梯度就会指向坏局部最优。因而这篇的缺口不是缺一个更大网络，而是缺一种可学习的容量分配机制，以及一种限制早期错误几何自由度的 inductive bias。
Core Idea
核心思想是把 generalizable 3DGS 从“一次性预测完整表示”改为“有限步可学习优化 + 按需增密”的过程。模型先从稀疏几何先验得到 coarse Gaussian，用渲染误差梯度驱动 recurrent reconstructor 做若干步 refinement；随后 densification policy 在候选几何点中选择一小部分加入，再继续优化。这样模型不是试图一次性解决拓扑、属性和多视角融合，而是把问题拆成：先建立粗结构，再把额外 primitive budget 分配给当前重建最缺容量的区域。
这和 prior 的本质区别在于信息流被重新组织了。feedforward prediction 的信息流是图像特征直接到 Gaussian；G3R 类方法是渲染梯度到属性更新；L2D2-GS 进一步让渲染误差反过来监督“哪里需要更多表示容量”。这种设计引入了一个很强的 inductive bias：Gaussian 数量不是均匀随分辨率扩张，而是由重建收益驱动的稀缺资源分配。理论上它更 scalable，因为 primitive budget 与输入像素数解耦；也更 generalizable，因为 policy 学的是局部几何上下文和渲染收益之间的关系，而不是某个固定场景的 densification 轨迹。
Method
关键机制可以压缩为三类。第一，learned iterative optimizer：当前 Gaussian 被渲染到输入视角，计算 photometric loss 对 Gaussian 参数的梯度，再把梯度和当前状态送入 sparse 3D U-Net 预测 residual update。它解决的是 one-shot prediction 缺乏错误反馈的问题，本质上把网络训练成固定步数的优化器。
第二，policy-based densification：候选点来自 LiDAR 和 3D-VFM / 深度几何先验，policy 根据候选点与当前 coarse Gaussian 的局部关系预测选择概率，推理时 top-N 选点。这一步解决的是初始点云几何容量不足，但它不是自由生成几何，而是在大候选池里做 utility ranking。核心变化是 primitive budget 从“全局均匀初始化”变成“局部按需分配”。
第三，self-supervised reward attribution：先比较 densified 前后的渲染误差下降，再通过 rasterizer 的 mask channel 把 2D gain 反传到新增 Gaussian，得到每个 candidate 的 contribution score。这个设计绕开了 densification 没有 GT 标签的问题，使离散选择可以被 photometric improvement 间接监督。
第四，scale reparameterization：把三个 scale 轴改写为 global scale 加两个 anisotropy ratio，并让 anisotropy 从 isotropic boundary 缓慢展开。它解决的是早期 needle-like collapse；更准确地说，它给优化轨迹加了速度限制，防止模型在梯度最不可靠的初期过早进入高度各向异性形变空间。
Key Insight / Why It Works
最可能的核心贡献是 densification reward attribution，而不是又一个 sparse U-Net optimizer。它把 3DGS 中经验性的 split / clone / densify 操作改成了可训练的 policy，并且监督信号来自实际渲染收益。这一点重要，因为 dynamic urban scenes 的误差不是均匀分布的：车体边界、杆状物、远处结构、遮挡变化处才真正需要新增 primitive。让 policy 学会把有限预算投到这些区域，比单纯增加初始点数更有效。
第二个真正有效的机制是 reparameterization。它不是普通 regularization，而是改变优化可达空间：标准 exp scale 下，网络很容易用少数 Gaussian 的极端 anisotropy 去解释局部图像残差；一旦这样做，geometry 和 appearance 的责任分配就错了。L2D2-GS 通过限制 anisotropy 增长，迫使模型先解决低频几何放置，再逐步表达高频细节。这是一个 curriculum / optimization manifold bias，而不是简单防过拟合。
需要直说的是，方法相当一部分收益来自 test-time compute 和几何先验质量。它不是纯 feedforward，一次 reconstruction 有 12+24 步优化、渲染反传和 densification selection；这更像 learned optimizer amortizing per-scene optimization。policy 也主要在 LiDAR / VFM 候选集中做选择，因此能力边界受候选池 recall 控制。所谓“learning to densify”更准确说是“learning to select useful candidate geometry under a rendering-reward objective”。
辅助项里，entropy 和 depth consistency 更像训练稳定器；consistency penalty 消融收益很小，说明它不是主因。independent step weights 的消融下降很大，提示 learned optimizer 的 capacity 和 timestep specialization 可能贡献了相当多收益，论文对这部分与 densification policy 的归因仍不够干净。
Relation To Prior Work
这篇最接近 G3R / Flux4D / ReSplat 这一条 generalizable optimization 谱系，而不是 PixelSplat / MVSplat / AnySplat 那类纯 feedforward Gaussian prediction。它继承了 G3R 的关键范式：使用渲染梯度作为网络输入，让模型学会有限步优化；新增点在于把几何容量也纳入迭代闭环，而不只 refine 已有 Gaussian 属性。
和 per-scene 3DGS densification 相比，L2D2-GS 的新意不是“增密”本身，而是把 densification 的局部决策变成跨场景共享的 policy，并用渲染收益做自监督。这是对传统 densification heuristic 的 amortization。和 Generative Densification / GaussianLens 等学习式 densification 相比，它不强调 single-pass upsampling 或 object-centric local enhancement，而是放在动态开放街景的 iterative reconstruction loop 里。
也有不少思想是重组已有路线：candidate geometry 来自 LiDAR / foundation geometry，gradient-guided optimizer 来自 G3R，scene graph / dynamic nodes 来自自动驾驶 3DGS 系列，reward-style selection 类似 RL 语言但实际更接近 differentiable attribution + weighted ranking。实质创新在于把这些部件组织成一个闭环：渲染误差不仅更新属性，也监督容量增长。
Dataset / Evaluation
评估覆盖了 PandaSet full-sequence / short-sequence、Waymo zero-shot、补充的 DL3DV 多视角设置，基本能验证论文想强调的三个点：长序列动态街景、高分辨率/密集视角下的稳定性，以及一定跨数据集泛化。full-sequence 上的优势比 short-sequence 更大，这支持“densification 缓解长期几何缺失”的 claim；DL3DV 中 AnySplat 在 64 views 下退化，而 L2D2-GS 更稳，也支持“dense multi-view fusion 不能靠一次性预测硬吃”的判断。
但 evaluation 仍有明显边界。首先，Waymo zero-shot 只说明在相近驾驶域内有迁移，不等价于广义 open-world generalization。其次，动态对象依赖 GT cuboids / trajectories，评估没有充分覆盖检测/跟踪误差传播。第三，和 per-scene optimization 的比较把它们作为 upper bound，但 L2D2-GS 本身也用了非轻量 test-time optimization，因此速度/质量 trade-off 需要更细粒度分析。第四，候选几何先验的来源很强，尤其 LiDAR + MapAnything，使得 benchmark 同时在评估 reconstruction policy 和外部 geometry prior；增益来源不完全清晰。
Limitation
第一，方法成立依赖高 recall 的候选点集合。若 LiDAR 稀疏、VFM 深度失败、反光/透明/远距结构缺失，policy 没有机制凭空生成正确拓扑；它只能从候选中选。因此 densification 的上限基本由 external geometry prior 决定。
第二，generalizable 的含义有限。模型确实跨场景 amortize 了优化，但推理仍需要多步渲染、反传和更新，属于 learned test-time optimization。它把 per-scene optimization 从分钟级降到秒级，但没有消除 test-time compute。
第三，动态能力部分依赖显式 scene graph 和 GT trajectories / cuboids。对自动驾驶数据集这是合理设置，但如果没有高质量 tracking / boxes，论文没有证明方法仍能保持动态一致性。所谓 future extrapolation 更像在已有显式轨迹结构上渲染，不应解读为模型学到了强时序预测或 planning。
第四，增益归因不清。densification、更多候选点、step-specific optimizer、外部 3D-VFM、LiDAR 覆盖、更多迭代步都可能贡献结果。虽然消融支持各组件有效，但还不足以说明 policy 学到的是本质 densification 策略，而不是在特定几何先验和驾驶域分布上的 high-error visibility selection。
第五，reward attribution 是短期 photometric utility。它可能偏向当前视角高可见区域，而不是全局几何正确性；在长时间闭环、多轮 densification 或训练/推理分布偏移下，是否会导致局部最优，文中未充分说明。
Takeaway
- 最值得记住的不是具体网络，而是把 Gaussian primitive 看成稀缺资源：未来 generalizable 3D reconstruction 很可能不再追求一次性 dense prediction，而是学习在 error feedback 下动态分配表示容量。
- 第二个可迁移 insight 是，用渲染收益反投影来监督离散结构决策。
- 这种思路可以迁移到 point insertion、mesh refinement、neural field sampling、scene graph expansion 等问题：没有 GT 结构标签时，用最终任务收益做局部 attribution。
- 第三，optimization manifold 的设计很关键。
一句话总结
L2D2-GS 是把动态城市 3DGS 从一次性 feedforward 预测推进到“可学习优化器 + 可学习增密策略”的代表性工作，真正贡献在于用渲染收益监督 Gaussian 容量分配，并用受限参数化稳定早期几何优化。