IEEE Transactions on Robotics

SceneFactory: A Workflow-Centric and Unified Framework for Incremental Scene Modeling

作者：Yijun Yuan, Michael Bleier, Andreas Nüchter · 机构：Tsinghua University, Beijing, China; Julius-Maximilians-Universität Würzburg, Würzburg, Germany; Zentrum für Telematik e.V., Würzburg, Germany; ENSTA, Institut Polytechnique de Paris, Palaiseau, France

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：3183-3201

定位建图状态估计

精读笔记

Problem Setting

SceneFactory: A Workflow-Centric and Unified Framework for Incremental Scene Modeling（IEEE Transactions on Robotics / 2025）实际面对的是增量场景建模里的“输入组合爆炸”和“任务 pipeline 碎片化”问题。传统系统通常默认某个固定输入：RGB-D SLAM、posed MVS、mono dense SLAM、NeRF-SLAM、LiDAR completion 等，然后围绕这个假设做紧耦合优化。问题是机器人场景里 RGB、depth/LiDAR、pose、intrinsics 经常部分缺失，尺度也从房间到建筑群变化；如果每种组合都重写 pipeline，系统不可维护，也很难吸收新模块。

真正困难不是把几个模块串起来，而是不同变量的可观性和误差传播完全不同。pose 可以由 sparse tracking 稳定获得，但 dense depth 需要足够 baseline；monodepth 有结构先验但没有可靠尺度；NeRF-like mapping 视觉质量高但依赖 bounded scenes 和大量训练；LiDAR sparse depth 有 metric scale 但空间覆盖稀疏。关键矛盾是：紧耦合优化有机会全局一致，但泛化和可替换性差；松耦合系统灵活，但容易把误差一层层传下去。SceneFactory 站在后者，但试图用强子模块把误差压住。

Motivation

作者对已有路线的不满主要不是精度，而是系统形态。Dense SLAM 和 neural SLAM 近几年有很多强结果，但大多是为单一输入条件设计：RGB-D 系统吃 metric depth，mono NeRF-SLAM 吃特定采集轨迹和 bounded scene，MVS 网络吃已知相机或训练分布，Gaussian/NeRF SLAM 在大尺度 sparse-view 机器人轨迹上经常崩。它们看起来像完整系统，但实际上很难作为通用场景建模基础设施。

这篇的核心观察是：一些成功系统已经隐含采用了 loose coupling，例如用 ORB-SLAM/DPVO 负责 tracking，再让 NeRF 或 fusion 负责 mapping。作者把这个现象提升为设计原则：与其在一个 monolithic objective 里同时处理所有变量，不如让 pose、depth、surface/color 分别由最合适的模块产生，并用依赖图组织调用。缺口在于现有工作没有一个统一 workflow 去覆盖 unposed / uncalibrated MVD、RGB-D/RGB-L/Mono reconstruction、depth-only SLAM、LiDAR completion 这些组合。

Core Idea

论文真正的核心不是某个单独模块，而是把 incremental scene modeling 改写成“依赖变量补全”。输入被抽象为 RGB image、depth image、pose、intrinsics 四类变量；应用请求只声明最终需要什么，系统根据缺失项动态选择 production line。这个建模方式改变了信息流：传统 pipeline 是固定顺序，SceneFactory 是 dependency graph；传统系统把任务绑定到传感器类型，SceneFactory 把任务绑定到中间变量的可用性。

这个思路理论上可能有效，是因为场景建模里的很多任务共享同一组中间状态：trackable image、camera pose、metric dense depth、surface/color representation。只要这些状态的接口足够稳定，不同应用可以复用同一状态补全器。它和 prior 的本质区别在于：不是为 dense mono SLAM 设计一个端到端系统，而是把 dense mono SLAM 变成“tracking + U²-MVD + ScaleCov + DM-NPs”的一个实例。inductive bias 也很明确：几何一致性由 test-time BA 保证，语义/单目先验只用于补不可观区域，视觉渲染只在已估计表面上学习颜色，而不是让渲染损失反向承担所有几何修正。

Method

1）统一 workflow：它解决的是多输入组合下系统冗余问题。SceneFactory 先检查 RGB、depth、pose、intrinsics 的可用性，再按依赖图调用 tracking、flexion、depth estimation、reconstruction。核心变化是任务不再对应固定 pipeline，而对应缺失变量的补全路径。

2）U²-MVD：它解决未定姿态、未定内参甚至未定尺度下的 dense depth。方法依赖 dense optical correspondence，并通过 dense BA 同时优化 pose、intrinsics、inverse depth。需要它的原因是普通 MVSNet 对相机参数和训练分布敏感，而纯 monodepth 缺尺度。这里的机制是把 learning flow 当作 dense measurement，再用几何优化恢复可观结构。

3）ScaleCov：它解决 MVD/DBA depth 的空洞和 sparse LiDAR completion。关键不是直接补 depth，而是补 monocular depth 到可靠观测 depth 的 scale map。这个设计利用了一个重要假设：monodepth 的跨结构相对尺度可能错，但单个结构内形状和共面性相对稳定。因此补 scale 比补 geometry 更稳。

4）DM-NPs + IPR：它解决 surface light field 依赖外部 surface provider 的问题。多分辨率 neural points 既作为颜色场特征记忆，也作为可 rasterize 的表面载体。IPR 通过 depth-adaptive coverage 和 first-layer detection 修正普通 point rasterization 的近远不均和多层混叠。核心变化是 SLF 从“附着在外部重建上的颜色模型”变成“可自给 surface query 的表示”。

5）Flexion：它解决 depth-only 时没有可匹配 RGB 特征的问题。将 depth 转成基于曲率/法向变化的 flexion image，本质是把几何图像转成更接近 SE(3)-invariant 的可跟踪纹理。这个模块更像连接件，创新性相对有限。

Key Insight / Why It Works

最值得看的 insight 是两个。第一，SceneFactory 没有让一个网络学习所有东西，而是把可观性不同的问题拆开：pose 用 tracker，dense geometry 用 correspondence + BA，missing geometry 用 monodepth scale prior，color 用 surface light field。这种 decomposition 很符合几何问题的结构，比端到端 neural SLAM 更不容易在尺度、内参、场景大小变化时崩。它的有效性主要来自 better representation alignment：每个模块输出的变量正好是下游需要的物理量，而不是隐式 latent。

第二，ScaleCov 的“补 scale 而不是补 depth”是很强的机制判断。直接用 monodepth 会引入跨物体/跨平面的尺度畸变；直接用 sparse/MVD depth 会有空洞；把可靠观测转成 monodepth 的 scale samples，再用 learned covariance 在语义一致区域传播 scale，本质是在保留 monodepth 局部形状先验的同时校准 metric scale。这比 naive completion 更合理，也比把 monodepth 当真值更安全。

第三，U²-MVD 的核心能力更像 test-time compute + dense correspondence retrieval，而不是 learned 3D reasoning。它依赖 DKMv3 这类强匹配模型提供足够正确的 dense flow，再用 DBA 消化。Ames room 例子很说明问题：DUSt3R 更像强 monocular prior，会把视觉错觉恢复成训练分布里的正常房间；U²-MVD 因为真正利用多视几何，可以恢复畸变结构。这是本文对 learned pointmap/monodepth 路线最有力的反驳。

但也要直说：很多性能很可能来自强外部模型和工程 scaling。DKMv3、Metric3Dv2、DepthCov kernel、DPVO、CUDA IPR、4090 GPU、专门设计的采集轨迹都在贡献结果。workflow 本身不产生几何信息，它只是减少系统冗余并允许强模块组合。论文没有充分做消融来精确归因：U²-MVD 中 flow quality、BA、intrinsics solving、ScaleCov 各自贡献多少；DM-NPs 中 representation、IPR、training trick 各自贡献多少，增益来源不清。

Relation To Prior Work

它最接近的谱系不是单一 MVS 或 SLAM，而是 loose-coupled dense SLAM：DROID-SLAM / sigma-fusion / NeRF-SLAM / Orbeez-SLAM / NSLF-OL 这一类把 tracking、depth、mapping 分开处理的系统。SceneFactory 把这种松耦合显式系统化。

相对 DROID-SLAM，它不是只做 tracking 和局部 inverse depth，而是把 dense BA 扩展成 unposed/uncalibrated MVD 模块，并在后面加 ScaleCov 补完整 metric depth。相对 MVSNet 系列，它不强依赖已知相机和训练相机分布，而是 test-time 解 pose/intrinsics/depth。相对 DUSt3R/pointmaps，它没有把几何主要交给大模型先验，而是更依赖多视一致性；因此在视觉错觉或训练分布外结构上理论上更可靠，但在少视图、模糊、弱纹理时也更脆。

相对 NICE-SLAM/NICER-SLAM/NeRF-SLAM/MonoGS，它不把 geometry/color 放进一个 volumetric rendering 或 Gaussian optimization 里，而是先生成 depth/surface，再学 surface color field。这牺牲了 NeRF-like global photometric refinement，但换来了速度、大尺度可扩展性和 bounded scene 约束的减弱。DM-NPs 的实质创新在于让 SLF representation 自己可 surface-query；IPR 是工程上重要但概念上相对直接的点 rasterization 修正。workflow-centric 框架本身更像系统设计创新，而不是新数学模型。

Dataset / Evaluation

评估覆盖面很广，基本围绕论文 claim 设计：MVD 用多类 indoor/outdoor/object 数据验证 unposed/uncalibrated depth；SLF 用 Replica/ScanNet 隔离测试 rendering block；dense SLAM 用 RGB-D、RGB-only、RGB-L，并加入作者自采中大尺度场景；还展示 LiDAR completion 和 depth-only SLAM。这个覆盖确实比常规 dense SLAM 论文更接近“统一框架”的主张。

最有价值的是作者自采 dense mono SLAM purpose dataset。论文指出现有 RGB-D reconstruction 数据经常有纯旋转和模糊，对 RGB-D 可接受，但对 dense monocular triangulation 不友好；而真实机器人场景往往是大尺度、非环绕、稀疏视角。这个观察是对当前 NeRF/Gaussian SLAM benchmark 偏差的有效批评。大尺度 palace/campus 例子也确实展示了 SceneFactory 与 bounded neural field 方法的差异。

但 evaluation 也有明显限制。首先，多任务覆盖并不等于每个任务都公平比较；很多 baseline 并不是为这些输入组合或大尺度采集模式设计的。其次，自采数据虽然重要，但采集轨迹显然更适合多视几何：强调 xy 平移、视线垂直运动方向、足够 baseline，这会放大 U²-MVD 优势。第三，monocular setting 下尺度对齐、ICP 对齐、trajectory-based alignment 会弱化一些系统性漂移的影响。第四，运行代价和部署条件没有被足够严肃地比较；4090 + 多个大型 pretrained models 与在线机器人实时系统之间仍有距离。

Limitation

核心前提很强：场景基本静态，图像有足够纹理和视差，dense optical flow 足够可靠，monodepth 在结构内部保持合理形状，tracking 给出的局部 poses/landmarks 可用于 scale recovery。任何一个前提破坏，workflow 只会把错误传给下游，而不是自动修复。

U²-MVD 的上限来自 correspondence 和可观性。纯旋转、窄 baseline、重复纹理、玻璃/反光、动态物体、强 motion blur 都会直接污染 DBA。文中有 cross-check、epipolar check、epipole check，但这些是过滤机制，不是从根本上解决不可观。内参同时优化也很脆，论文自己承认在 ScanNet blur 和 DTU object-level 上 intrinsic error 会放大。

ScaleCov 的泛化也不能过度解读。它依赖 learned covariance 的语义/结构相似性，如果测试场景超出训练语义或 monodepth 的局部结构本身错了，补出来的 scale field 会把错误传播得更平滑。它更像把 sparse metric anchor 传播到 monodepth prior 上，而不是独立恢复真实几何。

DM-NPs 的 mapping 没有全局几何后优化。它依赖输入 depth 的质量，错误 surface 会被直接写入表示；相比 NeRF-like 方法，它不会通过 photometric consistency 反复修正 geometry。因此它在 RGB-D 或高质量 MVD depth 下表现好，但 monocular depth 噪声大时上限明显。文中也承认 RGB-only Replica 上不如 NICER-SLAM。

所谓 workflow-centric 的通用性也有工程边界。模块可替换性需要稳定接口、误差模型和调度策略，但论文更多展示的是一组作者选定模块的组合。长期运行、loop closure 后地图更新、模块输出不一致时的冲突解决、动态场景下的状态维护，文中未充分说明。

Takeaway

  • 1）未来 dense SLAM/scene modeling 很可能继续从 monolithic neural optimization 转向“强几何模块 + 强 learned prior + 可替换 representation”的混合系统。
  • SceneFactory 的价值在于把这种趋势系统化。
  • 2）对 monocular dense reconstruction，单目先验最好不要直接当几何真值；更稳的用法是作为局部结构 prior，再用多视/metric observations 校准 scale。
  • ScaleCov 这个思想可以迁移到 sparse depth completion、SfM densification、robot mapping uncertainty propagation。

一句话总结

SceneFactory 是一篇把 dense SLAM / MVD / neural surface rendering 从紧耦合专用系统推进到 workflow-centric 模块化场景工厂的工作，真正贡献在于用依赖图组织 pose-depth-surface-color 的补全，并用 U²-MVD、ScaleCov、DM-NPs 证明这种松耦合混合几何路线在多输入和大尺度场景上比许多专用 neural SLAM 更可扩展。