IEEE Transactions on Robotics

How NeRFs and 3-D Gaussian Splatting Are Reshaping SLAM: A Survey

作者：Fabio Tosi, Youmin Zhang, Ziren Gong, Erik Sandström, Stefano Mattoccia, Martin R. Oswald, Matteo Poggi · 机构：University of Bologna, Bologna, Italy; Rawmantic AI, Chengdu, China; Google Zurich, Switzerland; ETH Zürich, Switzerland; University of Amsterdam, Amsterdam, The Netherlands

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：1405-1427

传感器视觉定位建图状态估计

精读笔记

Problem Setting

这篇论文解决的是“radiance-field-based SLAM 作为一个新范式该如何理解和评价”的问题，而不是提出一个新 SLAM pipeline。真正困难点在于：NeRF 和 3DGS 原本服务于已知位姿下的 novel view synthesis 或离线重建，而 SLAM 要在未知位姿、在线输入、噪声传感器、有限算力、动态场景和闭环修正下运行。这里的关键矛盾是：高容量可微场表示需要大量优化和良好覆盖；SLAM 则要求低延迟、增量更新和对未观测区域的不确定性保持克制。

传统 SLAM 卡在离散地图表达：点云、surfel、voxel、TSDF、octree 等在几何可解释性和实时性上强，但在连续表面、hole filling、view synthesis、appearance modeling 上弱。深度学习 SLAM 又常被训练数据、domain gap 和监督标注束缚。Radiance field 看似同时提供连续几何和可微渲染，但它把 SLAM 的困难从“数据关联 + 图优化”转移为“表示容量、在线优化、遗忘、闭环重写、算力和内存控制”。这正是本文试图系统化的核心问题。

Motivation

已有路线不够的地方不只是 reconstruction 不够 dense，而是 map 本身的信息组织方式不适合同时承担定位、建图、渲染和语义扩展。传统地图往往是几何存储结构；NeRF / 3DGS 让地图变成可查询、可渲染、可优化的 scene representation。作者的核心观察是：过去三年大量工作其实都在围绕同一个问题打补丁——如何把一个高质量 view synthesis representation 改造成在线 SLAM state。

关键缺口在于缺少一个研究者视角的归因框架：哪些 improvement 来自表示学习，哪些来自外部 tracker，哪些来自 loop closure / BA，哪些只是更强 depth prior 或 benchmark 友好。很多论文自称 radiance-field SLAM，但 tracking 的核心能力仍来自 ORB-SLAM、DROID、DPVO、ICP 或 IMU；radiance field 更多承担 dense map / rendering 层。本文的动机就是把这种混杂关系拆开，而不是继续按“用了 NeRF/用了 3DGS”粗暴归类。

Core Idea

核心思想是：用 scene representation 作为理解新一代 SLAM 的第一性变量。NeRF-style SLAM 的本质是把地图参数化为连续隐式函数，通过 differentiable volume rendering 把 pose error 映射为 color/depth residual，再反向更新相机位姿和场参数。它引入的 inductive bias 是连续性、view-consistency 和通过网络/feature grid 共享空间信息，因此在 sparse observation、hole filling 和高分辨率 mesh extraction 上有潜力。但这个 bias 也带来 oversmoothing、遗忘和优化慢的问题。

3DGS-style SLAM 的本质是从“隐式函数查询”切换到“显式可微 primitive splatting”。它改变了信息流：不是沿 ray 做大量采样并通过 MLP 解码，而是让 Gaussian primitive 直接参与 rasterization，photometric / depth residual 可以更直接地更新位置、协方差、颜色、opacity 等参数。它的 inductive bias 更接近显式几何 primitive，因此 rendering 快、梯度路径短、可解释性更强；但代价是 primitive 数量增长、内存失控、几何精度不等价于视觉质量。

和 prior 的本质区别在于，radiance-field SLAM 不再把 mapping 视为被动积累测量，而是把 map 视为一个可优化的生成式状态。这个改变很大，但也危险：一旦评价协议偏向重渲染训练视角，高容量地图就可能通过 memorization 获得漂亮指标，而没有真正提升 SLAM 的长期状态估计能力。

Method

作为 survey，本文的方法不在算法模块，而在组织原则和比较轴。

1. 按传感器切分：RGB-D、RGB、LiDAR 对几何约束的可观测性不同。RGB-D 的主要问题是在线融合、噪声和 scalability；RGB 的核心问题是尺度和深度歧义，因此大量方法引入 monocular depth、normal、flow 或外部 VO；LiDAR 的难点是 sparse long-range geometry 与 dense continuous map 的结合。这个切分是必要的，因为同一 representation 在不同观测条件下的瓶颈完全不同。

2. 按表示切分：NeRF-style、grid/hybrid、point-based、3DGS、submap。这个分类比按网络结构更有价值，因为它对应 map state 的可更新性、局部性、容量增长和闭环可修正性。单 MLP 紧凑但遗忘严重；feature grid 提升局部表达但受分辨率和内存限制；point / Gaussian 更自适应但需要控制增长；submap 解决 scaling 但引入 stitching 和全局一致性问题。

3. 把 tracking 和 mapping 解耦评价：这是本文比较中最重要的判断之一。很多系统 tracking 好，是因为借助外部 tracker、global BA 或 loop closure；mapping / rendering 好，则多半来自高容量表示。把二者混在一起会高估 radiance field 对 SLAM 本体的贡献。

4. 单独讨论 semantic、dynamic、uncertainty 和 event-based：这些不是附属应用，而是暴露 radiance-field SLAM 能否走向真实部署的关键压力测试。静态、短序列、indoor benchmark 上的 dense rendering 不能说明系统能处理开放动态世界。

Key Insight / Why It Works

最重要的 insight 是：radiance-field SLAM 的有效性主要来自 representation alignment，而不是“神经网络更强”。SLAM 需要一个能同时被图像误差监督、被几何约束约束、被 pose 优化反向影响的地图状态；NeRF / 3DGS 正好把 rendering residual 变成 map 与 pose 的共同优化接口。这种统一接口解释了为什么它们能自然连接 tracking、mapping、novel view synthesis 和 semantic rendering。

但具体性能增益要非常谨慎归因。当前 tracking 的 SOTA 倾向于 decoupled：前端用 ORB/DROID/DPVO/ICP/IMU 负责位姿，radiance field 负责 dense map。这说明 radiance field 本身尚未替代传统 state estimation；它更多是一个强后端表示。所谓“SLAM 被 NeRF/3DGS 重塑”，在 tracking 层面目前还不彻底，很多增益来自成熟 VO + BA + LC 的复用。

NeRF-style 方法真正有效的部分是连续隐式 prior 和多视角一致性，它让稀疏观测可以传播到未直接观测区域。但它的失败也同源：全局或半全局参数共享导致 catastrophic forgetting，ray marching 带来高 test-time compute，闭环后重写地图困难。很多改进如 hash grid、tri-plane、octree、submap，本质上是在给 NeRF 加 locality 和 memory management，而不是改变 SLAM 优化本质。

3DGS-style 方法真正有效的部分是显式 primitive + differentiable rasterization 的组合。它把渲染从 expensive ray sampling 变成更工程友好的 splatting，并让 photometric gradient 更直接流到局部 primitive。因此 rendering 指标强是合理的。但其 SLAM 上限受 primitive 管理支配：初始化、densification、pruning、opacity regularization、unobserved region 控制都很脆弱。很多 3DGS-SLAM 的 improvement 可能主要是 engineering around primitive lifecycle，而不是新的状态估计理论。

RGB-only radiance-field SLAM 里要特别警惕 hidden supervision。只要用了 DPT、ZoeDepth、Omnidata、optical flow、DROID、DPVO 或 semantic priors，几何能力就不再纯粹来自 RGB radiance field。这里的“泛化”很可能依赖外部 foundation / pretrained model 的数据覆盖，而不是在线 SLAM 自身学出了稳定几何。

Rendering evaluation 也有偏差。Replica training-view PSNR/SSIM/LPIPS 对高容量表示非常友好，可能奖励 memorization。它验证的是“能否重现已看过视角”，不等价于“能否构建准确、可更新、可闭环的长期地图”。文中对此有指出，但这个问题应被看作当前领域的核心评价缺陷，而不是小 caveat。

Relation To Prior Work

这篇论文处在 SLAM survey、neural implicit representation survey 和 3DGS survey 的交叉处，但它的真正差异是把 radiance fields 放回 SLAM 系统约束下分析，而不是只讲 rendering 或 reconstruction。传统 SLAM survey 关注 probabilistic formulation、feature/direct methods、graph optimization、sensor fusion；NeRF/3DGS survey 关注 representation、rendering speed、view synthesis quality。本文试图补的是中间层：representation 如何改变在线状态估计系统。

和 iMAP / NICE-SLAM 等早期 neural SLAM 的关系：这些方法证明了 implicit map 可以进入 SLAM，但也暴露了遗忘、慢优化和小场景限制。后续大量工作并不是完全新范式，而是围绕这些 failure mode 引入局部编码、稀疏结构、submap、global BA、external tracker。

和传统 dense SLAM / TSDF fusion 的关系：很多所谓 neural innovation 实际是经典思想重组。submap、keyframe replay、loop closure、pose graph optimization、TSDF prior、ICP、feature tracking 都是老问题的新表示版本。实质创新主要在于可微渲染把 appearance 和 geometry 联合进优化，以及 map 从离散几何结构升级为可生成的连续/显式 radiance representation。

和 3DGS 原始工作关系：3DGS-SLAM 把 offline known-pose Gaussian optimization 改造成 online unknown-pose joint optimization。真正新增的信息不是 splatting 本身，而是 Gaussian lifecycle 在 SLAM 中的管理：何时添加、何时剪枝、如何避免漂移后错误固化、如何把 depth/pose uncertainty 注入 primitive 更新。当前这部分大多仍是 heuristic-heavy。

Dataset / Evaluation

评价覆盖了 TUM RGB-D、ScanNet、Replica、KITTI、Newer College 等主流 benchmark，任务包括 tracking、mapping、rendering、semantic 和 runtime。覆盖面较广，足以支撑本文作为 survey 的横向判断：radiance-field SLAM 在 dense mapping / rendering 上进展快，但 tracking 和实时性仍依赖传统或外部组件。

但这些 benchmark 并不能完全验证“reshaping SLAM”的强 claim。第一，多数视觉结果集中在室内短序列，静态环境假设强；对长期运行、动态人群、光照变化、传感器退化、闭环后地图一致性缺少系统评测。第二，ScanNet 的 pose ground truth 本身来自 BundleFusion，作为 tracking 评价基准存在可靠性问题。第三，Replica 的高质量合成/重建环境对 rendering 和 dense mapping 友好，可能放大 radiance-field 表示优势。第四，rendering 多在 training views 上评估，不能充分说明 novel-view generalization，也不能说明地图几何真实。

性能评估使用统一硬件重跑部分开源方法，这是本文比较有价值的部分，因为很多论文只报告 rendering FPS 而回避 end-to-end SLAM throughput。结论也比较直接：多数方法离真实实时部署仍远，尤其是在 tracking 和 mapping 同时运行时。3DGS 的 fast rendering 不应被误读为 fast SLAM。

Limitation

这篇 survey 自身的限制在于，它虽然意识到增益归因复杂，但没有完全把 representation gain、external tracker gain、global BA gain、prior model gain 拆开。很多结论仍来自不同论文报告的结果，protocol 不完全一致，严格 causal attribution 做不到。文中未充分说明不同方法在相同 tracker / 相同 keyframe policy / 相同 compute budget 下的公平比较，因此部分排名只能作为趋势，而不是强证据。

Radiance-field SLAM 这个方向的隐含前提更值得注意：它假设场景大体静态、观测覆盖足够、GPU 资源充足、相机内参和同步可靠、短期优化不会被错误 pose 带崩。真实部署中，一旦有动态物体、反光材质、低纹理、快速运动、长期闭环、地图更新和遗忘并存，当前方法大多只是把问题转移到 mask、uncertainty、submap 或 external tracker 上。

scalability 上限也很明确。NeRF-style 的上限在 test-time compute、闭环重参数化和遗忘；3DGS-style 的上限在 memory、primitive explosion 和几何不稳定；submap 的上限在跨子图一致性和融合 artifact；RGB-only 的上限在 hidden depth prior 和尺度歧义。所谓泛化能力很多时候不是 SLAM 系统泛化，而是预训练 depth/flow/semantic model 的数据覆盖在起作用。

动态与语义部分目前更像功能扩展，而不是成熟 SLAM 能力。mask dynamic objects 可以提升静态地图，但不等于建模动态世界；object-level NeRF / Gaussian 可以重建对象，但长期身份维护、交互、可变形运动和规划接口仍文中未充分说明。语义 mIoU 如果依赖 DINOv2、SAM 或 hand-made masks，本质上也是外部先验注入，不能简单归因给 radiance-field map。

Takeaway

  • 1. 未来 radiance-field SLAM 的关键不在更高 PSNR，而在可更新、可闭环、可控容量的 map state。
  • 谁能原则性解决 map growth、forgetting 和 pose correction 后的 representation consistency，谁才真正推进 SLAM。
  • 2. tracking 和 mapping 必须分开看。
  • 当前最强 tracking 往往来自传统 / learned VO 与 BA/LC；radiance field 的主要贡献仍在 dense reconstruction、rendering 和 unified differentiable map。

一句话总结

这篇 survey 的价值在于把 NeRF/3DGS-SLAM 从“新表示带来漂亮重建”的叙事拉回到 SLAM 的状态估计约束下，指出当前范式的真正进展是可微可渲染地图表示的引入，而真正瓶颈仍是在线优化、全局一致性、容量控制和公平归因。