IEEE Transactions on Robotics

HI-SLAM2: Geometry-Aware Gaussian SLAM for Fast Monocular Scene Reconstruction

作者：Wei Zhang, Qing Cheng, David Skuddis, Niclas Zeller, Daniel Cremers, Norbert Haala · 机构：Institute for Photogrammetry and Geoinformatics, University of Stuttgart, Stuttgart, Germany; Technical University of Munich, Munich, Germany; Karlsruhe University of Applied Sciences, Karlsruhe, Germany; Munich Center for Machine Learning, Munich, Germany

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：6478-6493

优化视觉定位建图状态估计

精读笔记

Problem Setting

这篇论文不是在单纯做 monocular reconstruction，也不是把 3DGS 塞进 SLAM。它实际针对的是 monocular dense SLAM 的一个长期硬矛盾：RGB-only 输入缺显式几何测量，tracking 需要稳定深度和尺度，reconstruction 又需要高频几何与 appearance；而 online 系统还必须能闭环、能增量建图、能在位姿更新后快速更新地图。

以前方法主要卡在三处。第一，traditional / learning-based dense SLAM 能给 pose 和 semi/dense depth，但最终地图表达不够适合高质量 surface / rendering。第二，implicit neural SLAM 几何较平滑但优化慢、边界受限、在线更新困难。第三，3DGS-SLAM 渲染高效，但如果让 3DGS 同时承担 tracking 和 mapping，在 monocular 下几何约束不足，容易出现漂亮但不准的 floaters / surface bias。

关键矛盾是：appearance representation 喜欢自由度，geometry reconstruction 需要强约束；monocular prior 能补几何，但有尺度和域偏差；dense BA 能估几何，但低纹理和遮挡区域不可靠。HI-SLAM2 的目标就是把这些互补信号组织成一个可在线闭环的系统。

Motivation

作者的核心动机可以概括为：现有方法缺的不是某一个模块，而是一个正确的信息流。map-centric SLAM 把 tracking、mapping、rendering 都压在同一个地图表示上，理论上优雅，但在 monocular 3DGS 中很容易因为几何未充分约束而把 appearance optimization 当成几何解释。反过来，DROID/HI-SLAM 这类 dense SLAM frontend 有很强的 correspondence 与 BA 能力，但如果最终地图仍是 implicit 或弱几何表达，就不能充分利用 3DGS 的高效渲染和显式可编辑性。

关键观察是：monocular depth/normal prior 虽然不 metrically reliable，但其局部形状和低纹理区域补全很有价值；dense SLAM 的 BA depth 虽有噪声，但在多视角约束下提供了相对可靠的几何 proxy。缺口在于如何把 prior 的“形状 bias”转成对 BA depth 和 3DGS map 有用的约束，同时避免把 prior 的错误尺度直接注入系统。

所以这篇的方向不是端到端学习一个更强地图，而是把 pretrained geometry prior、dense BA、Sim(3) pose graph 和 explicit Gaussian map 重新组合。这个选择很工程化，但抓住了 monocular SLAM 里最实际的瓶颈：尺度一致性、闭环后地图一致性、低纹理几何补全。

Core Idea

HI-SLAM2 的真正核心是 hybrid design：不要让 3DGS 负责 tracking，而是让 learning-based dense SLAM frontend 负责 pose/depth；不要相信 monocular prior 的绝对尺度，而是通过空间可变 scale grid 把它对齐到 BA depth；不要在闭环后重新训练地图，而是把 Gaussian primitives anchor 到 keyframes，并随 keyframe pose / scale update 显式变形。

这个设计改变了建模方式：3DGS 不再是一个同时解释观测、估计位姿、承载优化的统一 latent map，而是一个由 dense SLAM 生成的几何 proxy 驱动的显式 surface/appearance map。这样做的 inductive bias 更强：depth BA 保证多视角一致性，monocular prior 给低纹理区域形状补全，normal prior 约束 surface orientation，unbiased Gaussian depth 把 splatting 更接近 surface intersection，Sim(3) PGBA 则负责全局尺度一致。

和 prior 的本质区别在于信息解耦再重耦合：tracking 阶段不被未收敛地图拖累，mapping 阶段又能吸收 tracking 的几何估计；闭环后通过显式 deformation 立即传播全局修正。这比 implicit map 或 map-centric 3DGS 更 scalable 的原因不是表示能力更强，而是 update path 更短、状态变量更可控、局部错误更不容易通过 rendering loss 被固化。

Method

1) Depth prior alignment 解决的是 monocular prior 的非刚性尺度畸变。单一 scale/offset 只能修正全局尺度，无法处理图像不同区域的尺度偏差。scale-grid 本质上是给 prior 加一个低维 spatial calibration layer；低分辨率 grid 是关键，因为它既允许局部尺度变化，又不让 prior 完全自由到破坏 BA 可观测性。

2) JDSA 与 local BA 的交替优化解决的是直接联合优化容易 scale drift 的问题。这里的核心不是公式，而是优化分解：先用 reprojection 维持几何一致，再用 prior alignment 修正弱纹理/遮挡区域深度。它把 prior 从 hard observation 降级为 calibrated regularizer。

3) Sim(3) PGBA 解决 monocular 长序列的 pose 与 scale drift。选择 PGBA 而不是全 BA 是在线效率折中；保留 inactive dense correspondences 形成 relative pose factors，本质上是在压缩历史几何信息。它牺牲一点精度换全局可运行性，再由 offline full BA 修补。

4) Anchored Gaussian deformation 解决闭环后地图不同步的问题。显式 Gaussian map 的优势在这里被放大：keyframe pose 更新后，相关 Gaussian 的 mean/orientation/scale 可以直接变换，而不是重新优化网络权重。这是 3DGS 相对 implicit map 在 SLAM 场景中的实质优势。

5) Geometry-aware 3DGS losses 解决 3DGS 只会优化 appearance 的问题。depth loss、normal loss、scale regularization、unbiased rendered depth 都在把 Gaussian cloud 拉向 surface-like representation。normal prior 尤其是在低纹理平面区域提供 orientation bias，但它也会压制某些 appearance metrics，说明这是明确的 geometry-over-rendering 约束。

6) Offline refinement 解决的是 online budget 不足。post-keyframe insertion、full BA、joint pose-map-exposure optimization 都属于额外 test-time compute。它不是概念上最创新的部分，但对最终表格结果很重要。

Key Insight / Why It Works

最重要的 insight 是：monocular dense reconstruction 不应该把“深度网络输出”或“3DGS 渲染结果”当成几何真相，而应该把几何看作多种弱约束的对齐结果。HI-SLAM2 有效的原因在于 representation alignment：flow correspondence / BA depth / monocular prior / Gaussian rendering depth 被放在同一个几何坐标系中相互校准，而不是各自独立优化。

最可能的核心贡献是 scale-grid + JDSA 和 anchored Gaussian update。前者直接改善 monocular SLAM 的最根本不稳定源：prior scale inconsistency；后者使 3DGS 真正适合 SLAM 后端的全局位姿修正。unbiased depth rendering 也很关键，因为 3DGS 的 center-depth 对 surface fitting 有系统偏差，尤其当 Gaussian anisotropic 或 ray 远离 mean 时，几何监督会被错误深度污染。

Normal prior、exposure compensation、post-keyframe insertion、offline joint refinement更像增强项。它们对最终质量重要，但从思想上并不新。normal prior 是更强 geometry inductive bias；exposure 是真实数据 photometric nuisance 处理；offline refinement 是 test-time compute；post-keyframe 是 coverage 修补。这些贡献属于系统工程上的正确组合，而不是单独的算法突破。

这篇不是 scaling paper，但确实吃了 pretrained model 的红利：optical flow、depth prior、normal prior 都来自外部模型。所谓 RGB-only 超过 RGB-D 方法，需要谨慎理解：它不是只靠 RGB 几何可观测性，而是用大规模预训练 geometry prior 加 dense SLAM 优化把隐式外部知识注入系统。严格说这是 hidden supervision / foundation prior assisted monocular SLAM，不是纯几何 monocular SLAM。

它的成功更接近 better inductive bias + memory reuse + test-time optimization，而不是端到端泛化。dense correspondences 是 memory reuse，PGBA/Full BA 是 test-time compute，3DGS 是高效显式 memory，monocular priors 是 learned shape bias。系统把这四者组合得比较干净。

Relation To Prior Work

最接近的谱系有三条：DROID-SLAM / DPVO 类 learning-based dense visual odometry，HI-SLAM / NICER-SLAM 类 monocular neural SLAM，以及 MonoGS / Splat-SLAM / GLORIE-SLAM 类 3DGS-SLAM。HI-SLAM2 本质上是 DROID-style dense frontend + HI-SLAM-style prior-assisted depth + 3DGS explicit backend 的系统融合。

相对 HI-SLAM，真正不同是从 implicit map 转向 explicit Gaussian map，并引入空间 scale-grid prior alignment。前者带来渲染速度、增量生长、闭环后直接变形；后者改善 depth proxy，进而改善 Gaussian initialization 和 supervision。相比只是“把 NeRF 换成 3DGS”，scale alignment 和 pose-map hierarchy 才是更关键的变化。

相对 MonoGS 等 map-centric Gaussian SLAM，它的本质差异是 tracking 不依赖 Gaussian map。MonoGS 的优雅之处在统一表示，但 monocular 几何弱时容易不稳；HI-SLAM2 放弃统一性，换取 tracking 稳定和可扩展性。这是一个明确的系统设计取舍。

相对 Splat-SLAM/GLORIE-SLAM，它更重视几何约束和全局一致性，而不是只追求渲染质量。normal prior、unbiased depth、Sim(3) loop closure、joint refinement 都在把 3DGS 从 radiance representation 往 geometry-aware map 推。

很多组件并非全新：PGBA、Sim(3) loop closure、exposure compensation、TSDF fusion、normal regularization 都是已有思想。实质创新在于把这些机制以 monocular 3DGS SLAM 的约束结构重新组织，并证明这个组合能同时提升 geometry 和 rendering。

Dataset / Evaluation

评估覆盖面较广：合成室内、真实室内、室外车载、ETH3D tracking、ScanNet++ 激光真值以及自采机器人数据。这比很多 neural SLAM 只在 Replica/ScanNet 上跑要强，尤其 Waymo 和工厂大厅结果对系统鲁棒性 claim 有一定支撑。

实验基本支持三个核心 claim：1) tracking 精度受益于 dense frontend + loop/full BA；2) geometry 受益于 scale-grid/JDSA、normal prior 和 unbiased depth；3) 3DGS backend 带来较好 rendering 与较快更新。消融也覆盖了主要设计选择，没有只靠最终大表格堆结果。

但 evaluation 仍有明显限制。第一，最终数字混合 online 与 offline refinement，deployment 场景下如果只看 online 质量，结论可能弱一些。第二，与 RGB-D 方法比较时，RGB-D baseline 的实现和 tuning 可能不是最强组合；“超过 RGB-D”更多说明该 pipeline 很强，不等于 RGB-only 信息足以替代真实深度。第三，depth/normal priors 的训练数据覆盖未完全排除 benchmark overlap 或 domain bias，虽然作者用不同 prior 做了替换实验缓解这个问题。第四，动态场景、长期大规模 city-scale、强光照变化下的 relocalization 没有被充分验证。

Limitation

核心前提一：pretrained flow/depth/normal priors 在目标域可用。若 prior 在透明、反光、夜间、运动模糊、极端相机内参或低照场景崩溃，系统会把错误 shape bias 注入 BA 和 Gaussian map。文中展示 ETH3D 完全黑暗失败，这说明前端并没有真正解决感知不可观问题。

核心前提二：场景静态。3DGS map optimization 和 TSDF fusion 都假设多视角观测对应同一静态表面。动态物体不仅影响 photometric loss，也会污染 flow correspondences、depth proxy 和 Gaussian pruning。论文承认这一点，但没有提供机制性解决。

核心前提三：闭环检测足够可靠。当前 loop closure 依赖 optical-flow distance、姿态方向和时间间隔，缺少强 place recognition。对于长时、大视角差、遮挡或纹理重复环境，闭环召回和误检都可能限制全局一致性。作者提到 ETH3D failure 与 occlusion/lighting 相关，这不是小问题。

scalability 上限在 map size 和 optimization budget。3DGS 显式表示适合中小规模增量地图，但 city-scale 需要 submap、streaming、hierarchical optimization，否则 Gaussian 数量、keyframe states 和 offline refinement 会成为瓶颈。文中 city-scale degradation 说明问题已经出现。

增益归因不完全清晰。HI-SLAM2 同时更换表示、加入 scale-grid、加入 normal、unbiased depth、PGBA/full BA、joint refinement、exposure compensation。虽然有消融，但这些模块之间存在强耦合；某些提升可能主要来自更好的 tracking 或 offline compute，而不一定来自 3DGS 本身。

Takeaway

  • 1) Monocular dense SLAM 的可行路线不是让一个 map representation 解决所有问题，而是把 tracking、geometry proxy、scene representation 分工，再在后端重新耦合。
  • HI-SLAM2 是这个 hybrid paradigm 的强证据。
  • 2) 对 monocular prior 的正确用法是 calibration + weak supervision，而不是直接喂真值。
  • 空间低维 scale field 是一个值得迁移的思想：它承认 foundation depth 有局部尺度畸变，但限制其自由度以保持几何可观测性。

一句话总结

HI-SLAM2 是一篇把 learning-based dense SLAM、校准后的 monocular geometry priors 和可变形 3DGS 显式地图系统性对齐的 monocular Gaussian SLAM 工作，其贡献主要在信息流与几何约束组织，而不是单一表示或网络的新颖性。