精读笔记
Problem Setting
[MVFusion-GS: Motion-Variance Guided Temporal Attention for High-Quality Dynamic Gaussian Splatting]（arXiv preprint / 2026）
这篇论文表面上覆盖两个任务：dynamic scene reconstruction 和 distractor-free reconstruction；实际核心问题是 deformation-based 3DGS 中动态内容和静态背景的解释权竞争。尤其在 DeGauss 这类 dual-branch 框架里，一个区域到底由 dynamic Gaussian 解释，还是被 static Gaussian 吸收，直接决定背景是否干净、前景是否锐利。
真正困难点在于低幅度、短时、遮挡或跨视角稀疏的运动没有强 photometric evidence。标准 deformation field 只看局部坐标和时间，很容易把这类内容当成近似静止结构，从而留下 pseudo-static residual。以前方法卡住的地方不是没有足够的表示能力，而是 optimization 中缺少一个稳定的 motion-based assignment signal。任务的关键矛盾是：动态分支需要足够灵活以解释运动，但静态分支又会在优化中抢先吸收那些难解释的慢运动/弱运动内容。
Motivation
作者的核心观察相当明确：DeGauss 式动态/静态分解失败时，问题往往不在最终 compositing mask，而在 deformation branch 没有意识到某些 Gaussian 实际具有跨时间变化。也就是说，foreground residual 泄漏到 static branch，是 motion evidence 没有进入 deformation feature 的结果。
现有路线缺的是两类信息。第一，每个 Gaussian 的长期运动历史：它在整个序列里是否真的动过、动得多强、形变模式是否稳定。第二，当前时刻附近的局部 temporal context：某一帧的 motion 是否和邻近帧一致。标准 HexPlane/MLP 只把时间当 query variable，而不是把运动轨迹当对象属性。这就是作者选择 motion variance 和 temporal attention 的原因。
Core Idea
论文真正的核心思想是：不要只让 deformation network 从 $(x,t)$ 隐式学习 motion，而要把每个 Gaussian 的历史形变统计显式写回它的 latent representation。这样，Gaussian 不再只是空间点加时间查询，而是带有“我在这个序列中怎样运动过”的记忆实体。这个 inductive bias 对动态/静态分离尤其重要，因为动态性本质上不是单帧属性，而是跨时间属性。
与 prior 的本质区别在于信息流被重新组织了。4DGS/Deformable-GS/DeGauss 多数是前向查询：给定 Gaussian 和 timestamp，预测 deformation；MVFusion-GS 则增加一个自举闭环：先用当前 deformation field 采样轨迹，再把轨迹统计反馈给后续 deformation prediction。这有点像把 motion prior 从隐式 feature 中提取出来，变成可缓存、可注入、可复用的 per-Gaussian memory。理论上它更 scalable，因为不需要显式优化完整轨迹参数，只需低维统计；也更容易迁移到其他 deformation pipeline。
Method
方法层面最重要的不是 13D descriptor 或 Transformer 细节，而是三个机制性改变。
第一，Motion-Variance Guided Refinement 解决的是 motion identity 不清的问题。它用当前 deformation field 周期性采样每个 Gaussian 在多个时间点的 position、rotation、scale 变化，并压缩成运动方差签名。这个签名的作用不是精确描述轨迹，而是给 deformation feature 一个动态性先验：哪些 Gaussian 长期看起来像 mover，哪些更像 background。
第二，local variance dictionary 解决的是全局 motion signature 过粗的问题。全局方差能告诉模型“这个 Gaussian 是否动过”，但不能告诉它“当前时刻附近运动强不强”。局部方差相当于一个轻量 temporal memory，让当前预测知道附近时间的 motion intensity。
第三，MFTA 解决逐时刻 deformation prediction 的局部一致性问题。它让当前 token attend 到邻近时间 token，输入包括 deformation feature、预测形变和局部运动强度。它的核心变化是把当前帧预测从独立 query 变成局部 temporal aggregation。需要注意的是，这更像短窗口 temporal feature fusion，不是长期 motion reasoning。
Key Insight / Why It Works
最可能真正起作用的是 MVG，而不是 MFTA。MVG 给每个 Gaussian 添加了一个优化过程中原本缺失的 latent structure：跨时间运动强度。对于 dual-branch 分解，这个信号非常关键，因为静态/动态分配本来就是一个弱监督、容易局部最优的问题。只靠 photometric loss，静态分支吸收慢运动内容是很自然的；引入 motion variance 后，模型有了额外证据把 pseudo-static foreground 重新归到 dynamic branch。
从机制归因看，这不是简单 scaling，也不是单纯更大网络。它更接近 memory reuse + better inductive bias：用模型自身的 deformation 预测构造 per-Gaussian memory，再把 memory 作为 feature prior。它的有效性依赖一个 bootstrap 假设：baseline deformation 虽然不完美，但已经能产生足够可用的 motion signal。只要这个假设成立，variance prior 就能放大弱 motion cue，帮助分离；如果不成立，它也会放大错误。
MFTA 的作用更可能是辅助性的 temporal smoothing / local feature aggregation。消融显示它有帮助，但没有证据表明它学到了复杂运动规律。query-centered cross-attention 比 self-attention 好，说明结构上确实更适合当前时刻 refinement，但这仍然是短窗口局部依赖，不是全局轨迹建模。
训练 schedule 也可能贡献不小。先 geometry、再 base deformation、最后 motion-aware refinement，本质上是 curriculum：先让模型有一个尚可的 deformation field，再从中抽取 motion statistics。论文把它描述为实现策略，但它可能是稳定性的关键。若过早抽取 motion variance，descriptor 会噪声很大；补充实验中频繁更新变差也支持这一点。
需要直接指出：增益中有多少来自 motion-aware inductive bias，有多少来自额外 refinement capacity、缓存统计、三阶段训练和更多 compute，归因仍不完全干净。文中做了若干消融，但还不足以完全排除“更强 feature branch + temporal smoothing”解释。
Relation To Prior Work
这篇最接近 DeGauss，因为它继承了 dynamic/static dual-branch 和 mask composition 的问题设定；也接近 4DGS/HexPlane 系列，因为 deformation feature 仍然是主干。它不是一条全新的 dynamic representation 路线，而是 deformation-based Gaussian pipeline 的 motion-aware plug-in。
和显式轨迹方法如 SplineGS、Shape-of-Motion、Gaussian Marbles 的差异在于，MVFusion-GS 不直接参数化完整 motion trajectory，而是从 deformation field 中抽取低维统计作为先验。因此它更轻、更容易接入现有系统，但也更依赖已有 deformation 的质量。
和 WildGaussians、SpotlessSplats 这类 distractor handling 的差异是，后者更多依赖外部语义/robust masking 或 transient suppression；MVFusion-GS 则试图从 3D Gaussian 的运动行为内部推出动态性。这个差异是实质性的：它把 distractor-free reconstruction 从 image-level outlier handling 往 object/Gaussian-level motion attribution 推了一步。
看似新的部分中，Transformer attention 本身并不新，variance statistic 也不新；真正新增的信息是 per-Gaussian deformation-history-as-feature。也就是说，创新点不是模块形式，而是把 deformation prediction 的历史输出反馈进后续动态/静态分配。
Dataset / Evaluation
评测覆盖了两个互补场景：Neu3D 验证动态多视角视频重建，NeRF On-the-go / RobustNeRF 验证有 distractor 的静态背景恢复。这基本能支撑作者的主 claim：显式 motion awareness 同时改善前景 motion modeling 和背景纯净度。
但 evaluation 仍有边界。Neu3D 是同步多视角、相对受控的视频数据，motion evidence 较充分；NeRF On-the-go 和 RobustNeRF 主要验证 distractor removal，不一定能证明复杂非刚体运动建模能力。RobustNeRF 中 distractor 甚至可能不是连续运动，而是跨视角不一致，这时所谓 motion variance 更像一种不一致性检测，而非真实 motion reasoning。
实验没有大段数字也能看出趋势：相较 DeGauss，LPIPS 和 foreground-region 指标改善明显，说明背景残影确实减少、动态区域更清楚。plug-in 到 4DGS 的结果支持方法不完全依赖 DeGauss。但 evaluation 没有充分证明跨数据分布泛化，尤其没有在线场景、长序列、强遮挡或 monocular hard case 的系统验证。
Limitation
最大前提是 baseline deformation field 必须已经产生有意义的 motion cue。MVG 是从模型自身预测中抽取统计，不是外部监督；如果初始 deformation 欠拟合、错配或被遮挡误导，motion variance descriptor 会失真。论文也承认这一点，但影响比文中说得更根本：这是一个自举系统，错误 early motion prior 可能形成 confirmation bias。
第二，方法没有真正解决动态/静态 assignment 的离散重分配问题，而是用 feature prior 软性影响 deformation 和 mask。对于极弱运动、短暂出现、拓扑变化或长期遮挡，Gaussian 是否应该被 prune、split、reassign，仍然没有显式机制。作者在 future work 中提到 reassignment，说明当前方法只是缓解，不是根治。
第三，MFTA 的上限明显。短窗口 attention 对局部一致性有帮助，但它不形成长期状态，也不建模 object-level trajectory。所谓 temporal reasoning 更像局部 retrieval / smoothing，而不是 motion planning 或 causal dynamics。
第四，scalability 的代价被控制但没有消失。周期性全体 Gaussian 跨时间采样、缓存 descriptor、构造 temporal tokens，本质上引入了额外 offline compute 和 memory。它适合离线 reconstruction，不一定适合实时增量更新或大规模长视频。
第五，增益归因仍有不清楚之处。额外 residual branch、zero-init curriculum、统计缓存、attention aggregation 都可能贡献性能；论文消融虽说明 MVG/MFTA 有效，但没有完全隔离 representation capacity 与 motion prior 的影响。
Takeaway
- 1. 最值得记住的不是“给 3DGS 加 Transformer”，而是把 per-Gaussian 的历史 deformation 统计作为 latent prior 写回 deformation network。
- 这是一个可迁移的设计范式。
- 2. 对 dynamic/static decomposition，关键不只是 mask 或 robust loss，而是让模型在 Gaussian 层面知道哪些 primitive 具有跨时间动态性。
- motion attribution 可能比 pixel-level distractor suppression 更接近根因。
一句话总结
MVFusion-GS 是 deformation-based dynamic 3DGS 从纯隐式时空查询走向 per-Gaussian motion-memory refinement 的一步，真正贡献在于用自举的运动方差先验改善动态/静态归因，而不是模块层面的 Transformer 或统计细节。