精读笔记

Problem Setting

论文标题：DR-GS: Physically-Based Deformable and Relightable 2D Gaussians（arXiv preprint / 2026-06-30）。这篇论文真正处理的是 deformable Gaussian asset creation：从多视图图像重建一个对象后，希望它不仅能被 particle/mesh 驱动，还能在变形后对新光照和材质编辑产生物理合理响应。以前的 deformable GS 卡在 appearance state 的定义上：颜色/SH/radiance 被当作随几何一起搬运的属性，但 glossy 表面的高光、反射和阴影本来就是几何、视角、光照、可见性共同决定的结果。关键矛盾是 GS 的优势来自显式、快速、可编辑；而 relightable deformable object 又要求每一帧重新求解至少近似的 light transport。DR-GS 的任务不是普通动态重建，而是把 GS 从 snapshot renderer 推向可编辑、可驱动、可重光照的 asset representation。

Motivation

已有 deformable GS 主要沿 reconstruct-then-drive 走：先在静态光照下拟合一个好看的 Gaussian cloud，再用 MPM、PBD、mesh editing 等方式驱动。这个路线的问题不是 deformation 本身不够强，而是它默认外观可以和几何刚性绑定；一旦法线变化或环境光变化，baked illumination 就会暴露为错误纹理。另一边，inverse rendering GS 已经能做材质/光照分解，但大多假设静态几何，动态情况下 ray tracing、visibility、inter-reflection 和材质 lookup 都会变得昂贵且不稳定。作者看到的缺口是：需要一个共享表示同时服务 reconstruction、PBR、simulation/animation，而不是把 relighting 作为静态重建后的附加效果。

Core Idea

核心思想可以概括为：不要驱动颜色，驱动表面与材质；颜色在每个 deformation/light condition 下由物理渲染重新生成。DR-GS 把 Gaussian 的语义从 radiance primitive 改成 surface/material primitive：Gaussian 仍负责高效 rasterization 和几何承载，但 appearance 的主解释变量变成 albedo、roughness、metallic、normal、visibility、environment map。

这个改变的本质区别在于信息流重组。prior dynamic GS 的信息流是 image → colored Gaussians → deformation → render；DR-GS 的信息流是 image → geometry/material/light disentanglement → deformation of geometry → PBR re-evaluation。它引入的 inductive bias 是 rendering equation，而不是学习一个时变外观场。因此它的可泛化性来自物理可组合性：同一材质参数可以和新法线、新可见性、新环境光组合，而不需要训练时见过这些组合。

Method

方法上最重要的不是三阶段 pipeline 本身，而是每一步在修正哪个错误假设。静态重建阶段使用 2DGS/Ref-Gaussian 和 TSDF mesh，是为了把 splat 表示锚定到可估计 normal、depth、surface point 的表面几何上；没有这个约束，后面的 BRDF 和 visibility 都没有稳定几何语义。参数解耦阶段通过 deferred PBR，把 per-Gaussian radiance 替换为 per-Gaussian/per-mesh material parameters，并用 rendering equation 约束直接光、间接光和可见性；这一步解决的是 baked appearance 不能编辑、不能重光照的问题。动态驱动阶段用 GMLS 或 mesh binding 传播 deformation gradient，使 Gaussian 的位置、旋转、尺度随 simulation/animation 更新；它解决的是如何让物理形变作用在渲染 primitive 上而不重新训练。动态渲染阶段改用 mesh-based ray tracing、MIS 和 denoising，是为了把完整 light transport 的计算成本压到可交互范围；这里的核心变化是把高成本的 deforming Gaussian tracing 换成更成熟的 triangle acceleration。

Key Insight / Why It Works

这篇最有效的部分是 representation alignment：simulation 需要的是可变形几何，inverse rendering 需要的是材质/光照/法线，GS rendering 需要的是高效 surface primitives；DR-GS 让这三者共享一个近似一致的 surface/material state。它不是靠更大的网络或更多数据，而是靠更合适的物理归因结构，把原本混在 color 里的 illumination 拆出去。

真正的核心贡献应是“deformation-aware inverse-rendered GS asset”这个组织方式，而不是 MIS、SVGF denoiser 或 mesh ray tracing 单独某个模块。MIS 对 glossy 结果很关键，因为没有 specular/environment proposal，低样本 MC 很难打中高光；但这是经典 rendering 技术移植。mesh acceleration 对 FPS 很关键，但更像 engineering。learnable offset/opacity 提升 mesh robustness，也更像处理 TSDF mesh 不准的必要补丁。

方法为什么在 glossy deformation 上显著优于 prior：因为 prior 把 specular highlight 当纹理搬走，DR-GS 把它当光照积分结果重算。这个差异在 diffuse object 上可能不大，在 metallic/glossy 和强环境光变化下会被放大。因此论文的优势依赖 benchmark 中 glossy scenes 的诊断性；这不是坏事，反而说明它打中了 dynamic GS 最容易露馅的 failure mode。

需要警惕的是，material-light disentanglement 本身高度 ill-posed。文中展示了效果，但没有充分证明学到的 material 是唯一或物理真实的。很多增益可能来自强 initialization、环境光参数化、BRDF prior 和 rendering-time compute 的组合，而不是单一新表征。换句话说，它把 appearance generalization 的一部分问题转化成了 test-time rendering compute 和 classic PBR assumptions。

Relation To Prior Work

它最接近两条线的交叉：一条是 PhysGaussian/GSP/GaussianMesh/Mani-GS 这类 deformation-driven GS，另一条是 Ref-Gaussian/IRGS/GS-ROR2 这类 relightable inverse-rendering GS。相对第一条线，DR-GS 的本质新增信息是材质-光照-几何解耦和 deformation 后重新求解 light transport；不是简单多了一个 relighting head。相对第二条线，DR-GS 的新增点是把静态 inverse rendering 的结果变成可驱动 asset，并在动态阶段处理 visibility、attribute lookup 和效率问题。

看似新的部分很多其实是已有思想重组：2DGS surface normal、TSDF mesh、BRDF/PBR、MIS、SVGF、GMLS、mesh binding 都不是新概念。实质创新在于把它们放在一个 deformable GS asset pipeline 中，并明确把 baked radiance 从 dynamic representation 中移除。它属于“GS 从 view synthesis representation 向 editable physical asset representation 演化”的谱系，而不是纯粹的 dynamic scene reconstruction 或纯 inverse rendering。

Dataset / Evaluation

评估覆盖了 glossy synthetic、TensoIR/Shelly 细结构和 Sketchfab/Mixamo character，任务包括静态重建、relighting、deformation、material editing，覆盖面符合论文 claim。它确实验证了一个关键点：在 glossy/reflective objects 上，动态形变后重算 PBR 比搬运 baked texture 更可信。

但 evaluation 的硬伤也明显：动态 deformation 后缺 GT，核心动态 claim 主要靠视觉比较和 user study；这对“物理正确”只能提供弱证据。真实世界采集、复杂真实光照、真实材质标定、真机交互并没有充分验证。benchmark 更偏向能体现 PBR 优势的 glossy scenes，因此可以证明 failure mode 被缓解，但不能证明方法在广泛 real-world asset creation 中已经稳健。效率对比也要谨慎：它比 IRGS 快很多，但仍远慢于普通 GS/Ref-Gaussian；所谓 interactive 是在降低 sample 后配合 denoising 得到的折中。

Limitation

最核心限制是它依赖一组强前提：静态重建几何要足够好，normal 要可靠，TSDF mesh 要能支撑 ray tracing 和 material storage，材质要能被 Disney/metallic-roughness 风格 BRDF 解释，环境光要可估计。任一前提破坏，解耦就可能变成错误归因。

scalability 上限来自 rendering equation 本身。DR-GS 相比 vanilla GS 牺牲了最核心的实时高吞吐优势；低样本 MC + denoising 可以缓解，但不能消除复杂光照、复杂遮挡、多物体 inter-reflection 下的成本。动态阶段用 mesh acceleration 也意味着它并非完全 mesh-free；非流形结构虽然展示了 NVS，但真正 deformation + ray-traced relighting 的稳定性文中未充分说明。

泛化也应理解为物理组合泛化，而非学习到强语义能力。它对未见 lighting/deformation 的效果来自显式 PBR 假设，不来自数据驱动推理。增益归因不够干净：Ref-Gaussian pretraining、2DGS geometry、material parameterization、MIS、mesh tracing、denoising 都有贡献，哪些是不可替代核心，哪些只是 engineering，论文没有完全拆开。

Takeaway

• 第一，deformable GS 的下一步不应继续把颜色当作可搬运状态；对于可编辑 asset，状态变量应转向 geometry/material/light 的可组合表示。
• 第二，GS 和 classic rendering 的结合会越来越重要：GS 负责可优化显式几何与高效 splatting，PBR/ray tracing 负责补足物理一致性。
• 第三，真正可迁移的 insight 是 representation alignment：让 simulation primitive、rendering primitive、material parameter 共享一致语义，比再学习一个动态外观场更稳。
• 第四，未来更值得做的是减少对 TSDF mesh 和离线 inverse rendering 的依赖，并把真实采集下的材质-光照歧义、拓扑变化、自接触和复杂材质纳入评估。

一句话总结

DR-GS 是把 deformable Gaussian 从“带 baked color 的可动画点云”推进到“带可编辑材质并由 PBR 重算外观的物理资产”的系统化方法，核心贡献在于表征语义重组而非单个渲染模块创新。