IEEE Transactions on Robotics

COLA: COarse-LAbel Multisource LiDAR Semantic Segmentation for Autonomous Driving

作者：Jules Sanchez, Jean-Emmanuel Deschaud, François Goulette · 机构：Centre of Robotics, Mines Paris - PSL, PSL University, Paris, France; U2IS, ENSTA Paris, Institut Polytechnique de Paris, Palaiseau, France

会议/期刊：IEEE Transactions on Robotics · 发布日期：2025 · 页码：1742-1754

传感器视觉定位建图

精读笔记

Problem Setting

论文标题：COLA: COarse-LAbel Multisource LiDAR Semantic Segmentation for Autonomous Driving（IEEE Transactions on Robotics / 2025）。

这篇论文的真实问题设定是：自动驾驶 LSS 已经有多个大规模标注数据集，但训练范式仍然默认 single-source。模型在一个数据集上训练后，面对不同 LiDAR 线数、扫描模式、城市形态、交通参与者密度、标注 ontology 时性能显著下降。已有 domain generalization 方法大多试图从单个源域中“制造泛化”：通过 augmentation、domain alignment、多任务、几何扰动或 self-supervision 来逼迫模型不过拟合源域。

这篇论文反过来问：既然真实世界的 domain diversity 已经存在于多个公开数据集里，为什么不直接训练在这些域上？卡点是 label set 不一致。SemanticKITTI、nuScenes、Waymo、KITTI-360 等不仅类别名称不同，类别粒度、合并/拆分策略、背景定义也不同。简单 union 会造成过细、极不平衡且依赖目标标签空间；intersection 会丢掉大量有用类别；multi-head 训练在未知目标域推理时也没有自然的 label space。关键矛盾是：多源训练需要统一监督空间，但 fine-grained LSS 的监督空间天然是 dataset-specific 的。

Motivation

作者的动机不是提出更强 backbone，而是指出 LSS 领域的一个训练范式滞后：数据集增长很快，但方法仍围绕少数经典数据集做单源优化。domain generalization、source-to-source segmentation、pretraining 看似是不同子问题，但共同瓶颈都是模型缺少足够广的真实 domain coverage。

已有路线不够的地方在于：单源 DG 方法本质上在一个狭窄经验分布内学习不变量，很多所谓泛化只能覆盖人为设计的 sensor degradation 或 augmentation；UDA/SSDA 依赖目标域样本或伪标签质量；无监督 pretraining 学几何结构，但未充分利用已有 dense semantic labels。作者的核心观察是，自动驾驶数据集虽然 fine labels 不兼容，但在更粗的 ontology 层面高度一致：vehicle、ground、person、vegetation、structure 等概念几乎所有数据集都有。因此缺的不是数据，也不是模型，而是一个能把已有标注转成共同监督信号的低成本接口。

Core Idea

COLA 的核心思想是用 coarse labels 作为跨数据集语义汇聚层。它把每个数据集原本的 fine label tree 向上投影到七个粗类别：Vehicle、Driveable Ground、Other Ground、Person、Object、Structure、Vegetation。这个投影牺牲了 fine semantic resolution，但获得了跨数据集可训练性。换句话说，COLA 不是让模型直接学习每个数据集的完整标签体系，而是先学习自动驾驶场景中跨域稳定存在的语义骨架。

它改变的建模方式是：从“在一个域上学习细粒度分类器，然后希望泛化”变成“在多个域上学习共享 coarse semantic representation，再按任务需求恢复 fine labels”。这引入了一个很强但合理的 inductive bias：跨域稳定的信息主要存在于粗语义层级，而 fine taxonomy 更多是数据集标注协议的产物。相比 prior 的 union/intersection/multi-head，COLA 更 scalable，因为它不要求目标 label set 已知，也不需要对每对数据集手工定义 mapping，更不需要重标注。它的本质创新不是七个类别本身，而是把 label ontology 的降维作为 multisource LSS 的基础操作。

Method

方法上真正必要的机制可以压缩为三件事。

第一，coarse label remapping。它解决 label set disparity，使不同数据集可以在一个共享输出空间中联合训练。必要性很强：没有这个层，multisource supervised LSS 基本只能做 union、intersection 或 multi-head，而这些策略要么不可泛化到未知目标域，要么丢信息，要么推理阶段不自然。核心变化是监督信号从 dataset-specific fine labels 变成 domain-shared coarse labels。

第二，COLA-DG。它把多个训练数据集映射到 coarse space 后直接联合训练，并在未见过的数据集上用同一 coarse space 评估。它解决的是 domain generalization 中源域覆盖不足的问题。这里的机制不是复杂 DG algorithm，而是用真实多域数据替代单源 augmentation。它的核心变化是增加训练分布的 sensor / scene / appearance support。

第三，COLA-S2S 与 COLA-PT。二者都是两阶段思想：先通过多源 coarse segmentation 学一个跨域语义初始化，再用目标数据的 fine labels 进行恢复。区别是 S2S 允许目标集 coarse labels 参与第一阶段，PT 则假设目标数据预训练时不可见。它们解决的是 coarse labels 无法直接输出 fine classes 的问题。核心变化是把 coarse multisource learning 变成 representation initialization，而不是最终任务本身。

需要强调：backbone、epoch、reflectivity 使用等不是这篇论文的方法核心。论文贡献在数据和标签组织层，而不是模型结构层。

Key Insight / Why It Works

这篇论文最重要的 insight 是：在 LSS 中，domain robustness 很大程度上不是靠更复杂的 alignment objective 得来的，而是靠训练分布覆盖足够多真实 sensor-scene combinations。COLA 成立的原因是 coarse labels 把多数据集监督统一起来，使模型在训练阶段同时看到不同 LiDAR resolution、扫描形态、城市环境、道路布局和标注风格，从而减少对单一数据集统计规律的依赖。

我认为真正有效的部分是 data coverage + representation alignment，而不是 coarse labels 本身有多深的语义设计。coarse labels 的价值在于允许 scaling：它把原本不能拼接的数据变成可拼接数据。模型收益主要来自更多域、更大数据量、更少 label ontology conflict。论文中对 KITTI-360、nuScenes、Waymo 的增量实验说明 diversity 比单纯同域扩容更关键，但二者仍然纠缠，增益归因不完全清楚。

COLA-DG 的效果尤其说明，很多 3D DG 方法可能低估了真实多源数据的作用。过去用 degraded scans、adversarial perturbation、multi-view tasks 去模拟 domain shift；COLA 直接把不同域放进训练集。这更像 empirical risk minimization 在更宽 support 上的胜利，而不是新的泛化理论。

COLA-S2S 的收益可以理解为 curriculum / semantic prior：先学七类粗语义，模型已经知道哪些点属于地面、车、人、结构等，再用目标 fine labels 分裂这些粗类。对于 SRU-Net 这种容量和 inductive bias 更朴素的模型，收益明显；对 Cylinder3D 这种本身 source-to-source 强、且带有更复杂 voxel feature extraction 的模型，收益变小甚至不稳定。这说明 COLA 不是普适提升器，它更像对 representation 欠充分或数据不足场景有帮助的初始化。

COLA-PT 则是 supervised semantic pretraining 的一个反例：之前一些工作认为 geometric self-supervised pretraining 优于 supervised pretraining，但那是在 supervised data 较小或单源的条件下。COLA 表明，如果 supervised labels 可以跨多源粗粒度聚合，semantic pretraining 可以和 contrastive geometry pretraining 竞争甚至超过它。这里值得迁移的 insight 是：监督预训练失败不一定是监督信号本身的问题，可能是监督分布太窄、label ontology 太碎。

不过要直说：这篇论文的“方法”很可能主要是 scaling / data organization。它没有证明模型学到了某种新的跨域因果结构，也没有排除 benchmark-level domain overlap 的影响。所谓泛化更可能是训练覆盖扩展后的 interpolation，而不是强 out-of-distribution extrapolation。

Relation To Prior Work

最接近的路线有三类。

第一类是 single-source LSS domain generalization，例如 DGLSS、LIDOG、3D-VField、3DLabelProp。这些方法通常在一个源数据集上设计 augmentation、alignment 或 multi-task 机制，让模型对传感器差异更稳健。COLA 的本质差异是它不从单源中合成 diversity，而是利用真实多源 diversity。它属于更数据中心的 DG 路线，算法复杂度低，但对数据可用性要求高。

第二类是 multisource computer vision 中的 union / intersection / multi-head / ontology mapping。COLA 和这些工作共享“解决 label-space mismatch”的问题意识。不同点在于 COLA 选择了一个任务专用的 coarse ontology，而不是机械地取交并集，也不是每个数据集一个 head。union 和 MH 更依赖训练集标签全集，对未知目标域不自然；intersection 太保守。COLA 的实质创新是为自动驾驶 LSS 找到一个足够粗但仍有任务意义的公共 label layer。

第三类是 LSS pretraining，如 SegContrast、TARL、PointContrast 系列。它们主要使用几何或时序一致性构造无监督信号。COLA-PT 的不同点是重新利用已有人工语义标注，即 supervised multisource pretraining。看似是 pretraining 方法，实质是 label ontology 统一后的 supervised scaling。

因此，这篇论文不是一个 architecture paper，也不是一个新的 loss paper，而是一个 data/ontology-centric training paradigm paper。它把 2D multisource segmentation 中早已有的 label harmonization 思想移植到 3D 自动驾驶 LSS，并通过 coarse ontology 使其足够实用。

Dataset / Evaluation

评估覆盖了三个 claim：多源训练提升 domain generalization、多源 coarse initialization 提升 source-to-source segmentation、多源 supervised pretraining 有助于低标注或跨数据集 finetuning。训练集覆盖 SemanticKITTI、KITTI-360、nuScenes、Waymo，评估集包括 SemanticPOSS、PandaSet、ParisLuco3D 等，确实包含不同传感器、不同城市和不同场景密度。PandaFF 的 solid-state LiDAR 和 ParisLuco3D / SemanticPOSS 的密集城市环境对 domain shift 有一定说服力。

实验设计比较强的一点是使用多个 backbone：SRU-Net、Cylinder3D、KPConv，而不是只在一个架构上验证。另一个重要设计是尝试分离数据量和数据多样性，例如用 KITTI-360 作为接近 SemanticKITTI 的扩容项，再加入 nuScenes / Waymo 观察 sensor/scene diversity 的作用。

但 evaluation 也有明显限制。第一，COLA-DG 的评估是在 coarse labels 上完成的，这验证的是粗语义泛化，而不是常规 fine-grained LSS 的完整难度。第二，多源训练集和评估集虽然不同，但都属于自动驾驶道路场景，泛化范围仍在同一大领域内；这更像跨数据集 robustness，而不是开放世界泛化。第三，S2S / PT 的结果对架构和目标数据量敏感，尤其 Cylinder3D 上增益并不稳定，说明 claim 不能简单外推为“multisource 总是提升”。第四，增益里 size、diversity、label smoothing-like effect、coarse task simplification 仍然耦合，文中未充分说明各自贡献。

Limitation

最根本的前提是：所有数据集都能被合理映射到一个共同 coarse ontology，并且这个 ontology 对目标任务仍有足够语义价值。这个前提在自动驾驶 LSS 中成立，是因为场景结构高度规范；但迁移到室内、越野、机器人操作、多传感器非道路场景时未必成立。

第二，COLA 把 label inconsistency 转移成 coarse-label information loss。对于 DG 这可以接受，因为评估也在 coarse space；但对 fine segmentation，仍然必须通过 finetuning 恢复细粒度类别。如果目标 fine labels 很少，而 coarse class 内部需要复杂区分，例如 rider vs pedestrian、pole vs sign、barrier vs building，那么预训练可能产生错误聚类或限制表示分辨率。论文的 t-SNE 也显示了这种 coarse label bias。

第三，核心能力可能主要来自数据覆盖。COLA 的强处是让模型见过更多传感器和场景，而不是让模型理解了 domain shift 的机制。若未来有更大规模无监督 LiDAR foundation model，或者统一标注的大数据集，COLA 的相对优势可能下降。

第四，训练成本和数据管理成本被低估。论文说 remapping 几乎零成本，这对已有公开数据集成立；但真实工业部署中，数据许可、标注协议、质量控制、class definition drift、长尾类别维护都会使 coarse ontology 管理变成长期成本。

第五，真实部署问题没有完全覆盖。自动驾驶系统需要在 fine labels、长尾 objects、动态状态、实时约束和跨天气/跨时间条件下稳定工作。COLA 主要验证语义分割 mIoU，并没有证明其对安全关键长尾类别、temporal consistency 或 closed-loop perception stack 有直接收益。

Takeaway

  • 1. 对 LSS 来说，多源训练的最大障碍不是模型，而是 label ontology；一旦有合理的共享语义层，简单 ERM 就能显著改善 robustness。
  • 2. coarse supervision 是一种很实用的跨数据集接口：它牺牲粒度，换取 scale、domain diversity 和低成本复用已有标注。
  • 这个思想可以迁移到其他多数据集、多标注协议任务，如 occupancy、panoptic segmentation、BEV perception。
  • 3. supervised pretraining 不应该被过早判定为不如 self-supervised。

一句话总结

COLA 是一篇 data/ontology-centric 的 LSS 论文：它通过粗粒度标签统一把异构自动驾驶 LiDAR 数据集变成可联合监督的多源训练集，真正贡献在于证明 multisource data coverage 比许多单源泛化技巧更直接、更可扩展。