IEEE Transactions on Robotics

GS-LIVO: Real-Time LiDAR, Inertial, and Visual Multisensor Fused Odometry With Gaussian Mapping

作者：Sheng Hong, Chunran Zheng, Yishu Shen, Changze Li, Fu Zhang, Tong Qin, Shaojie Shen · 机构：Department of Electronic Computer Engineering, The Hong Kong University of Science and Technology, Hong Kong; Department of Mechanical Engineering, The University of Hong Kong, Hong Kong; Global Institute of Future Technology, Shanghai Jiao Tong University, Shanghai, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：4253-4268

传感器视觉定位建图状态估计

精读笔记

Problem Setting

GS-LIVO: Real-Time LiDAR, Inertial, and Visual Multisensor Fused Odometry With Gaussian Mapping（IEEE Transactions on Robotics / 2025）

这篇论文实际处理的是一个在线系统问题：如何让 3D-GS 这种高质量但重 GPU、重优化的表示进入实时 LiDAR-inertial-visual odometry，而不是离线或低频地“跟在 odometry 后面建图”。真正困难点不在 Gaussian splatting 本身，而在三个冲突：全局地图持续增长 vs VRAM 有限；Gaussian 优化需要连续大批量参数 vs SLAM 地图存储天然稀疏离散；高保真 photometric map 需要反复优化 vs odometry 需要毫秒级更新。

以前方法卡在两端：传统 LIV/LIVO 系统，如 R3LIVE、FAST-LIVO 系列，定位强但地图表达仍是 colored point / surfel / patch，appearance cue 对位姿估计的利用比较局部、手工；GS-SLAM/NeRF-SLAM 系列地图表达强，但在线 map update 往往慢，或者依赖 RGB-D/视觉深度、离线优化、较强 GPU。GS-LIVO 的关键矛盾是：能否在不牺牲实时 LIVO 的前提下，把 dense differentiable rendering map 变成状态估计的一等测量源。

Motivation

作者的出发点很实际：vision-only 3D-GS 在 SLAM 中最难的是几何初始化、遮挡、densification 和大规模显存；但在 LIV 配置下，这些问题并不需要完全由视觉解决。LiDAR 给出稀疏但准确的几何锚，IMU 给出高频运动先验，camera 主要补 appearance 和 photometric constraint。于是 3D-GS 可以从“自监督重建全部几何”的问题，退化为“在可靠几何骨架上维护可渲染 appearance map”的问题。

关键缺口是在线性。已有 Gaussian-based SLAM 经常把 tracking 和 mapping 解耦：tracking 可以实时，Gaussian optimization 慢慢跑。机器人场景下这不够，因为地图一旦滞后，当前视觉测量和当前地图之间的闭环就弱了。GS-LIVO 的动机不是追求最高 PSNR，而是让 Gaussian map 的更新频率足够高，使它能参与 odometry，而不是只作为后处理重建结果。

Core Idea

论文真正核心不是“用了 3D-GS”，而是把 Gaussian map 变成一种双层工作集表示：全局层是 hash-indexed octree，负责稀疏空间中的长期存储、FoV 查询和 LoD；局部层是当前 FoV 内的 Gaussian sliding window，负责以连续内存形式驻留 CPU/GPU，并作为唯一实时优化对象。这个设计把 Gaussian-SLAM 的瓶颈从“优化全图”改成“维护活跃子图”，本质上是 working-set / memory reuse 思想在 3D-GS SLAM 中的系统化应用。

另一个核心思想是 representation alignment：LiDAR 初始化的 Gaussian 不是任意 blob，而是贴在表面法向上的薄片状 Gaussian；视觉优化的对象不是无结构点云颜色，而是可微渲染参数；状态估计的视觉 residual 不是 patch warp，而是 rendered image 与 real image 的 photometric mismatch。这样几何、外观和估计共享同一张 map，而不是传统系统里 LiDAR map、visual patch map、rendering map 各自分裂。

和 prior 的本质区别在于：它不是让 3D-GS 替代 SLAM 后端，而是让成熟 LIVO 提供稳定几何/运动骨架，再把 3D-GS 压缩进实时可维护的局部优化窗口中。这个 inductive bias 很强：世界由 LiDAR 可观测表面组成，Gaussian 是表面的局部 appearance carrier，而非自由漂浮的神经场参数。

Method

1）LiDAR-anchored Gaussian initialization：解决 vision-only Gaussian map 自举慢、densification 启发式强、几何容易漂的问题。LiDAR 点和法向决定 Gaussian 的均值、朝向和薄片尺度，camera 只初始化颜色/SH。核心变化是把 Gaussian 的几何自由度强约束到真实表面附近，减少 photometric optimization 的搜索空间。

2）Hash-octree global Gaussian map：解决大规模稀疏场景中全局 Gaussian 的索引和局部可见性查询。hash root voxel 适合稀疏空间，octree subdivision 提供有限 LoD。它的价值不是更高表达能力，而是让全局地图可以驻留 RAM，并按当前 LiDAR FoV 取出活跃部分。

3）Incremental Gaussian sliding window：这是系统实时性的关键。直接每帧从全局 map 重建当前 FoV Gaussian 会产生大量拷贝；论文利用相邻帧可见集高度重叠，只处理 ADD / DELETE / OVERLAP，并通过 compaction 保持连续内存。核心变化是把 GPU 优化对象从增长的全图变成大小受控的活跃窗口。

4）Rendering-based visual update in IESKF：用当前 FoV 的 Gaussian map 渲染图像，与真实图像形成 photometric residual，并将渲染投影、2D covariance 等对 pose 的 Jacobian 接入 IMU pose 更新。它替代了 FAST-LIVO 类 patch warping 的视觉残差。其必要性在于：如果 Gaussian map 只是建图结果，不反馈到 estimator，论文的定位贡献就不成立。

5）Sequential tightly-coupled fusion：LiDAR-inertial 提供稳定 prior，visual rendering residual 做后续修正。这里的紧耦合更多体现在滤波框架中的顺序更新，而不是全局 joint optimization。它牺牲了一些全局最优性，换取实时和部署可行性。

Key Insight / Why It Works

最重要的有效性来源是“把难问题分解给最擅长的传感器”：LiDAR 负责几何可观性和尺度，IMU 负责高频运动连续性，camera 负责 appearance refinement 和额外 photometric alignment。这样 3D-GS 的弱点——几何初始化和大规模优化——被 LiDAR/LIO prior 大幅削弱；3D-GS 的强点——可微、连续、photorealistic rendering——被用来构造视觉测量。

第二个核心是 memory reuse / active set optimization，而不是新的 Gaussian 数学。滑窗机制的贡献非常实质：它把复杂度从随全局地图增长，变成主要随当前 FoV Gaussian 数量增长。这个变化比具体优化器或 SH 初始化更关键。论文中很多实时性收益本质上来自 scheduling、memory layout 和 CPU/GPU 数据搬运策略，是 engineering，但不是低价值 engineering；在 Gaussian SLAM 中，这类工程组织就是能否部署的决定性因素。

第三个 insight 是 representation alignment。传统 patch-based photometric residual 在大视角、非平面、非 Lambertian 或 patch seam 上容易脆弱；Gaussian rendering 给出的 residual 更平滑、更 dense，也天然处理一定程度的视角相关 appearance。这里是否真的显著提升 odometry 精度，文中证据不算完全干净，但从优化 landscape 看，它确实可能比 patch warp 有更好的连续性。

需要直接判断的是：论文的定位优势很可能主要来自强 LiDAR-inertial prior 加上 Gaussian residual 的辅助，而不是 Gaussian map 单独带来的 tracking 革命。GS-LIVO 不是证明“3D-GS 比传统地图更适合状态估计”的终局证据；它更像证明“在强几何先验和良好内存调度下，3D-GS 可以被塞进实时 LIVO 闭环”。最核心贡献是系统结构和活跃 Gaussian 管理，而非 photometric loss 公式。

Relation To Prior Work

相近谱系有三条：NeRF/implicit SLAM、3D-GS SLAM、传统 LIV/LIVO。GS-LIVO 更接近第三条加上 Gaussian map，而不是从第一条演化来的纯 neural SLAM。

相对 NeRF-SLAM，它的本质差异是显式表示和局部可更新性。NeRF 类方法 memory compact 但优化慢，online high-frequency update 难；GS-LIVO 用显式 Gaussian 换取快速 rasterization 和局部参数更新，同时用 sliding window 控制显存。

相对 MonoGS、SplaTAM、GS-SLAM 等 Gaussian SLAM，差异在于传感器前提和地图调度。很多 GS-SLAM 依赖 RGB-D/mono tracking、keyframe/covisibility、depth loss 或 optimizer 直接估计 pose；GS-LIVO 用 LiDAR-inertial odometry 作为强 prior，并通过 IESKF 给 pose update covariance 语义。它不是单纯优化 camera pose，而是把 Gaussian residual 嵌进多传感器滤波器。

相对 R3LIVE、FAST-LIVO/FAST-LIVO2，GS-LIVO 的新信息是把 sparse/dense colored map 或 patch map 换成可渲染 Gaussian map，并用渲染 residual 替代 patch warp residual。hash-octree、FoV active map、局部子图、滑窗这些思想并不新；实质创新在于将这些 SLAM 中成熟的局部地图管理思想适配到 3D-GS 的 GPU 参数布局和在线优化需求上。

Dataset / Evaluation

评估覆盖面相对充分：有公开校园/户外航拍数据，有自采室内 motion capture，有 Oxford Spires 这类带高精轨迹的数据，也有 Jetson Orin NX 真机部署和导航 demo。这基本验证了论文的部署 claim，尤其是“嵌入式平台上在线 Gaussian map update”这一点。

但实验最强支持的是系统效率和显存控制，而不是所有定位精度结论。滑窗 ablation 直接展示了有无 sliding window 的 runtime/VRAM 差异，这部分可信且对核心机制有针对性。mapping quality 用 PSNR 等指标说明局部优化没有严重牺牲渲染质量，也合理。

定位对比的解释要谨慎。与传统 LIV 方法相比，GS-LIVO 同时维护更重的 dense map，因此时间略高是预期内；与 GS-SLAM 相比，它有 LiDAR/IMU 强先验，比较并不完全公平，但这正是其 problem setting。文中没有充分隔离 Gaussian visual update 对 odometry 的边际贡献：例如只用 LiDAR-inertial、用传统 patch visual update、用 Gaussian rendering residual 三者之间的干净对比不够突出。因此 localization gain 的归因仍不完全清晰。

Limitation

第一，方法强依赖 LiDAR 可观测几何。它解决的是 LIV 配置下的 Gaussian mapping/odometry，不是一般视觉 Gaussian SLAM。若 LiDAR 稀疏、远距离结构弱、玻璃/水面/动态物体多，Gaussian 初始化和后续 rendering residual 都会受影响。

第二，scalability 主要是显存和局部优化层面的 scalability。全局一致性、长期闭环、重复访问后的 Gaussian 融合/去重/appearance aging 没有被充分讨论。滑窗把不可见区域冻结在 RAM 中，这对实时有利，但也意味着全局地图不会持续联合优化，长期漂移下 map consistency 可能恶化。

第三，LoD 仍偏手工。室内外 root voxel、subdivision、window size 需要不同配置，作者也承认 indoor-outdoor transition 会失败。这说明尺度自适应还没有真正解决，当前系统的上限受参数调度影响明显。

第四，visual measurement model 的统计建模不够清楚。Photometric residual 进入 IESKF 时如何设置噪声、如何处理遮挡、曝光变化、动态物体、渲染不确定性，文中未充分说明。Gaussian rendering 是可微的，不等于 residual 是高斯、独立、可被滤波器正确解释。

第五，一部分增益可能主要来自 engineering / scaling：C++/CUDA、连续内存、局部窗口、低分辨率嵌入式设置、强同步硬件。这些很重要，但不应被误读为新的状态估计理论突破。

Takeaway

  • 1）Gaussian SLAM 真正要走向机器人部署，关键不只是表示能力，而是 active set、memory layout、CPU/GPU ownership 和 map lifecycle。
  • GS-LIVO 在这点上给出了一个很有参考价值的系统范式。
  • 2）LiDAR-anchored Gaussian 是比 vision-only densification 更适合机器人在线建图的 inductive bias：先把 geometry 锚住，再让 camera 优化 appearance 和局部 photometric consistency。
  • 3）未来更值得做的是自适应 LoD、长期一致性、loop closure 后 Gaussian map correction、动态/光照鲁棒的 rendering residual，以及 residual uncertainty 建模，而不是继续堆更复杂的 Gaussian appearance 参数。

一句话总结

GS-LIVO 是一篇把 3D-GS 从离线/低频建图表示工程化为实时 LIVO 活跃地图的系统论文，其真正贡献在于 LiDAR 锚定的 Gaussian 表示、hash-octree 全局存储与滑窗 GPU 工作集，而不是提出新的 Gaussian 渲染或状态估计理论。