IEEE Transactions on Robotics

End-to-End 2D-3D Registration Between Image and LiDAR Point Cloud for Vehicle Localization

作者：Guangming Wang, Yu Zheng, Yuxuan Wu, Yanfeng Guo, Zhe Liu, Yixiang Zhu, Wolfram Burgard, Hesheng Wang · 机构：Department of Engineering, University of Cambridge, Cambridge, U.K.; School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China; State Key Laboratory of Avionics Integration and Aviation System-of-Systems Synthesis, Shanghai, China; Electrical and Computer Engineering, University of California, Los Angeles, CA, USA; Computer Control and Automation, Nanyang Technological University, Singapore; Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg, Nuremberg, Germany

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：4643-4662

操作定位建图状态估计

精读笔记

Problem Setting

论文标题：End-to-End 2D-3D Registration Between Image and LiDAR Point Cloud for Vehicle Localization（IEEE Transactions on Robotics / 2025）。

这篇论文关注的是 LiDAR map + monocular image 的 cross-modal localization：地图由 LiDAR 构建，在线端只用 RGB image，在局部点云地图中回归相机/车辆位姿。真正困难点不是单纯的图像特征或点云特征，而是初始位姿误差较大时，RGB 纹理空间和 LiDAR 几何空间之间没有稳定、稠密、可微、可端到端训练的对应关系。

任务的关键矛盾是：要想做精确 6DoF pose，需要足够可靠的 2D-3D association；但 association 本身又依赖未知 pose。传统路线用 RANSAC/PnP 或优化 solver 来闭合这个循环，但这会把 matching、outlier rejection、pose estimation 分裂成多个目标不一致的模块。2D-2D depth-image 路线则回避 raw 3D association，把点云投影成 depth image，但大误差下投影 overlap 崩掉，导致它天然更像 calibration refinement，而不是 large-range localization。

Motivation

作者的核心观察是：现有方法缺的不是更强的 CNN/PointNet，而是一个能把 2D pixel 与 3D point 在同一几何坐标系中可微关联起来的中间表示。没有这个中间表示，网络要么只能学习 frustum classification / descriptor matching 这类间接目标，要么被迫依赖后处理 solver。

另一个关键缺口是大范围定位下不能丢掉 raw point cloud。把点云 rasterize 成 depth image 在小扰动时方便，但在 360° yaw、米级平移这类设置中，错误初始位姿会让大量真实点根本不落在当前 image view，对应关系在输入层就被破坏。I2PNet 的方向因此很自然：保留 3D 点结构，把 point-pixel matching 做成 latent cost volume，并用最终 pose loss 统一监督。

Core Idea

I2PNet 的核心不是“端到端网络”这个说法本身，而是把 2D-3D registration 的中间变量从显式 correspondence / depth image，改成 point-indexed 2D-3D cost volume。每个 3D point 作为 pose regression 的基本 token，在归一化相机平面上查询 image pixel candidate，并把 feature similarity、pixel normalized coordinate、point 3D coordinate 编码成隐式对应特征。这样，correspondence 不需要是 hard assignment，也不需要被 PnP 消费，而是直接变成可以被 pose loss shaping 的 latent variable。

这个建模带来的本质差异是信息流方向变了：prior work 通常是 feature → correspondence → solver → pose；I2PNet 是 feature → differentiable correspondence representation → learned outlier-weighted aggregation → pose。它引入的 inductive bias 是几何公共空间上的 soft matching，以及从 3D point domain 聚合 pose evidence。相比 depth-image 2D-2D registration，它保留了 3D 点的完整结构和大范围搜索能力；相比显式 2D-3D matching，它避免了 early hard decision。

Method

1）Normalized-plane cost volume：它解决的是 pixel plane 与不同相机内参耦合、3D point 连续坐标与 2D pixel 离散坐标难以精确对应的问题。点云投到 normalized plane，pixel 通过内参逆投影到同一平面，association 在这个空间中进行。核心变化是把“相机相关的像素位置”替换成“相机模型下的几何射线坐标”，提高跨内参一致性。

2）Soft point-to-pixel correspondence：每个 point 对候选 pixels 做 similarity + learned salience weighting，生成 point-wise IC feature。它解决 hard correspondence 不稳定的问题，尤其在跨模态和大误差条件下，正确匹配往往不应被过早离散化。

3）Coarse-to-fine association：coarse stage 使用更大搜索范围，fine stage 用 coarse pose warp 后在局部邻域重建 cost volume。它解决的是 association 与 pose 的循环依赖：先用粗粒度全局 evidence 找到可接受 pose，再把几何误差压小，使局部 correspondence 更可靠。这更像 learned iterative alignment，而不是单次回归。

4）Outlier mask：点云覆盖 360°，图像只覆盖前向视野，且存在遮挡和动态物体，所以大量 point-pixel association 必然是外点。mask 模块用 learned weighting 替代 RANSAC，使外点剔除也受到 pose loss 间接监督。它的核心价值是让 aggregation 不被视野外点和错误匹配污染。

5）PST/context embedding：通过邻域 IC 聚合，把单点匹配提升到局部 patch-level transformation evidence。这个机制的重要性在于，单个 point-pixel similarity 对 pose 约束很弱，局部几何一致性才更接近真实 registration signal。

Key Insight / Why It Works

最可能真正有效的部分是 normalized-plane 上的 point-indexed cost volume。它同时解决了三个问题：跨内参一致性、soft correspondence、保留 3D pose evidence。相比简单 cross-modal attention，它不是无结构融合，而是用相机投影模型限制了 attention/search space；相比 depth image，它没有把 3D 几何提前压扁成 2D raster。

第二个有效来源是 coarse-to-fine 的 curriculum。大范围定位中直接做 KNN local matching 很容易错；all-to-all coarse association 虽然工程成本高，但允许网络在没有好初始化时先建立弱全局对应。pose warping 后再做局部 KNN，本质上是把非凸 registration 拆成 learned initialization + residual refinement。这不是全新思想，来自 optical flow / scene flow / ICP-style refinement，但迁移到 raw 2D-3D image-point cloud registration 是合理且有效的。

第三个来源可能是 scaling / engineering：使用所有点而不是固定采样点，配合 stride-based sampling 和 projection-aware grouping，提高了点云覆盖和结构信息量。论文 ablation 显示点数增加确实带来收益，因此部分性能提升不能完全归因于 cost volume 的概念创新，可能也来自更充分的点云 evidence 和更高效的 point backbone。

outlier mask 是必要辅助，但不是最核心创新。它的作用类似 learned RANSAC weighting：如果 cost volume 已经提供了较好的 latent correspondence，mask 能提升聚合质量；如果 cost volume 本身错误，mask 没有独立几何保证。PST embedding 也是辅助增强，主要让 mask 和 pose aggregation 看到局部一致性，而不是改变问题本质。

需要警惕的是，文中的泛化结果虽然强，但仍可能部分来自驾驶场景结构先验和数据覆盖，而不一定说明模型学到了完全传感器无关的几何 registration。normalized plane 消除了内参尺度问题，但没有消除 LiDAR pattern、scene distribution、camera-LiDAR mounting、动态物体比例等 domain factors。

Relation To Prior Work

这篇工作最接近两条谱系：一条是 DeepI2P / CorrI2P 这类 2D-3D association + PnP/optimization 的模块化路线；另一条是 CMRNet 等 RGB-depth 2D-2D coarse-to-fine registration 路线。I2PNet 的位置可以理解为：把 2D-2D flow/cost-volume 的 coarse-to-fine 思想，移植到 raw 2D-3D point-pixel association，并去掉显式 solver。

和 DeepI2P/CorrI2P 的本质差异不是用了 neural network，而是 correspondence 不再是单独目标，outlier rejection 和 pose estimation 也不再是外部过程。所有模块被最终 pose loss 统一塑形，这允许前端 association 学会“对 pose 有用”的对应，而不只是 descriptor 上最近的对应。

和 CMRNet/RegNet 类 depth-image 方法的本质差异是表示域：I2PNet 不把 LiDAR 压成当前相机视角下的 depth map，而是在 3D point domain 中保留结构，再通过 normalized plane 和 image 建立关联。因此它更适合大范围 localization；depth-image 方法则更适合小扰动 calibration/refinement。

看似新的部分中，coarse-to-fine、pose warping、residual refinement、cost volume、learned outlier weighting 都有明确前史；实质创新在于它们被组织成一个 raw 2D-3D registration pipeline，并且 cost volume 的构造遵守相机 normalized plane 几何。这是“已有思想的正确重组 + 一个关键表示选择”，不是从零发明新的 registration theory。

Dataset / Evaluation

评估覆盖面比较充分：大范围 localization 在 KITTI/nuScenes，非车平台 M2DGR，小范围 localization 与 depth-image 方法对比，还扩展到 Argoverse/Waymo/Lyft5 泛化和 KITTI raw online calibration。就论文 claim 来说，这些实验基本支撑“raw 2D-3D end-to-end registration 比模块化或 2D-2D depth-image 路线更强”。

不过 evaluation 的核心 limitation 是多数位姿误差由合成扰动生成，局部点云地图和图像之间的 overlap、时间同步、地图新鲜度都相对理想。大范围 localization 的设置更像在已知局部 map crop 内做 registration，而不是完整 global localization。论文也承认不能处理公里级地图，需要 place recognition 提供 coarse location。

泛化实验有价值，尤其 M2DGR 非车平台结果说明方法不完全绑定 autonomous driving benchmark。但这仍不是部署级证明：训练在 KITTI 后测 nuScenes/M2DGR，表现下降但优于 baseline，说明 representation bias 比 prior 更稳；不等于可以跨天气、季节、夜晚、传感器布局、地图老化稳定工作。

在线 calibration 结果说明该架构能覆盖小扰动高精度场景，但这也可能是因为 calibration 本质是 localization 的较简单子问题：初始误差小、overlap 高、点云与图像同帧，和大范围 localization 的困难不完全相同。

Limitation

最大上限是 scalability：I2PNet 是 registration network，不是 global localization system。它需要输入局部点云地图，并依赖 fine-grained point feature extraction；面对公里级地图时，问题必须先由 place recognition/retrieval 缩小候选范围。因此它把 global search 问题转移给上游模块，而不是解决。

第二个前提是训练扰动分布和测试扰动分布要匹配到一定程度。coarse all-to-all association 可以覆盖大 yaw/translation，但不是无限范围；如果初始 local map crop 错误、overlap 很低，soft cost volume 会生成看似合理但无几何真实性的 latent evidence。

第三个问题是增益归因不完全清楚。性能提升同时来自端到端目标、normalized-plane cost volume、保留全部点、coarse-to-fine refinement、efficient point sampling/grouping。论文 ablation 证明每项有用，但没有完全分离“表示创新”与“更多点/更大模型/更强工程 pipeline”的贡献。部分收益可能主要来自 scaling 和更充分的点云覆盖。

第四，outlier mask 是 learned weighting，没有显式几何一致性约束。它在 benchmark 上有效，但在动态物体极多、地图变化、强遮挡、重复结构环境中是否会误把 spurious correlation 当 inlier，文中未充分说明。

第五，normalized-plane independence 只解决 camera intrinsic coupling，不解决 LiDAR vertical FOV、scan pattern、intensity distribution、camera mounting height、场景结构统计差异。所谓 generalization 更准确地说是比 prior 更强的 domain robustness，而不是严格的 sensor-agnostic registration。

Takeaway

  • 1）跨模态 localization 的关键不是把 image feature 和 point feature 融合得更深，而是找到一个几何上合理的公共空间，让 correspondence 成为可微 latent structure。
  • 2）raw 2D-3D cost volume 是比 depth-image 2D-2D registration 更可扩展的方向，尤其当初始位姿误差大、投影 overlap 不可靠时。
  • 3）端到端并不自动带来收益；真正的收益来自把 association、outlier rejection、pose regression 的目标统一，同时避免 early hard correspondence 和外部 solver 的不可微断点。
  • 4）未来更值得做的是 registration 与 retrieval/global localization 的耦合，以及加入更强的几何一致性/不确定性建模，而不是继续堆更大的 point-image fusion backbone。

一句话总结

I2PNet 是 2D-3D image-to-LiDAR localization 从“显式匹配 + 几何求解”向“几何约束下的端到端 latent correspondence + learned pose regression”演化中的一个关键节点，真正贡献在于 normalized-plane raw 2D-3D cost volume 这一表示选择。