CVPR 2025 / 占用预测

DIO: Decomposable Implicit 4D Occupancy-Flow World Model

作者：Christopher Diehl, Quinlan Sykora, Ben Agro, Thomas Gilles, Sergio Casas, Raquel Urtasun · 单位：TU Dortmund University, Waabi, University of Toronto · 会议/期刊：CVPR 2025 · 方向：占用预测 · 发布日期：2025

世界模型3D/4D建模占用预测规划控制

精读笔记

Problem Setting

DIO: Decomposable Implicit 4D Occupancy-Flow World Model（CVPR 2025）。

这篇论文实际处理的是自动驾驶 4D world model 中一个非常具体但重要的问题：如何在不牺牲连续几何表达能力的前提下，让 occupancy forecast 具备 instance attribution。过去的 occupancy world model 可以预测未来哪里会被占据，但很难回答“这块占用属于哪个对象”；instance forecasting 可以回答对象身份，但通常被 box、track、trajectory set 限制，几何粗糙且未来空间表达有限。

真正困难点在于三个矛盾叠加：第一，LiDAR 观测稀疏且只看到表面，要补全当前形状；第二，未来 occupancy 是 4D 分布，不能简单用当前形状外推；第三，实例分解需要 identity，但 LiDAR self-supervision 本身只给 occupied/free，不给 instance。DIO 试图把几何细节来自 ray supervision、实例归属来自 box label、未来一致性来自 flow/occupancy consistency 这三类信号拼到一个 conditional implicit field 里。

Motivation

作者的核心观察是：scene-level occupancy field 的表示能力和 instance-level representation 的解释性长期分离。BEV/voxel occupancy 方法适合表达空间不确定性，但缺少对象归属；trajectory/box 方法适合规划解释，但把对象压缩成 centroid、box 或少量轨迹，丢掉形状和连续空间；UnO/4D-Occ 这类 LiDAR self-supervised 方法虽然更接近真实几何，但场景表示是 entangled 的，无法按对象拆开。

关键缺口不是“没有更准的 occupancy predictor”，而是没有一种低成本的方式把 4D occupancy field 条件化到某个实例上。DIO 的动机因此很自然：如果能用一个 source point 指定当前对象，再用 query point 查询未来 4D 空间，就可以把 panoptic-style decomposition 转化为 prompt-conditioned implicit querying，而不需要 dense instance mask label 或 CAD/mesh 监督。

Core Idea

DIO 最核心的思想是把实例分解从输出端移到输入条件端：模型不直接输出所有实例的 masks/fields，而是学习一个条件函数 f(X, q, s)，其中 q 是 4D query，s 是当前帧的 3D source point。若 s 落在某个对象上，模型预测“当前占据 s 的那个对象”是否会在未来占据 q；若 s 为空，则预测整个 scene occupancy。这相当于把 scene occupancy field O(q) 改造成 decomposable conditional field O(q | s)。

这个设计的本质区别在于它不需要固定数量的 instance slots，也不需要维护显式 track ID。实例身份由当前空间中的锚点定义，模型只需学习从 source point 指向对象 shape/motion 的条件映射。直觉上，这比 panoptic voxel grid 更可扩展，因为实例数只影响 query 次数；也比 box/trajectory 更 general，因为输出仍是连续 4D occupancy，而不是离散 box 或轨迹集合。

它引入的关键 inductive bias 是 instance permanence：source point 所指对象在未来保持身份，其 occupancy 可以通过 flow 在时间上传播。这种 bias 对自动驾驶场景很合适，因为大多数动态 actor 是刚体或近似刚体，且未来短时 horizon 内实例身份稳定。

Method

1. Source-point prompting：解决 scene occupancy 无法实例归属的问题。s 提供对象锚点，q 提供待查询 4D 位置。核心变化是将实例分解变成条件查询，而不是 dense panoptic prediction。这个机制也使模型可以接收 detector centroid 这类外部 prompt，方便接入现有感知系统。

2. Empty-source scene mode：解决 decomposable 模型可能只会实例、不懂背景的问题。s=∅ 时模型预测全场景 occupancy，包括背景和所有前景。这使 DIO 不是单纯 object completion model，而仍然是 scene world model。

3. Ray-based occupancy supervision + box-based grouping：LiDAR rays 提供真实几何上的 free/occupied 约束，box label 只用来告诉哪些 ray hit 属于哪个实例。这里的关键是没有把 box 当作目标形状，而是用 box 做弱 instance assignment。因此 DIO 可以学到比 box 更细的 object geometry，同时避免 semantic/panoptic point label 的成本。

4. Hard negatives / free-space source negatives：这些训练 prompt 的作用不是工程细节，而是防止模型学到捷径。例如“只要给 source point 就倾向预测 occupied”或“邻近实例混在一起”。这些负样本是 decomposable occupancy 能成立的必要条件，否则 conditional field 很容易塌缩成 scene field。

5. Flow consistency：没有真实 scene flow 标签，作者用 occupancy 自一致性约束 flow。它解决的是 occupancy forecast 的时间连续性问题，而不是提供完整 motion supervision。这个约束更像 regularizer：让模型预测的 flow 至少与自己预测的 occupancy 演化一致。

Key Insight / Why It Works

我认为 DIO 真正有效的核心不是 deformable attention 或 sparse backbone，而是“用 prompt 条件化 occupancy field + 用 box 只监督 instance grouping”的组合。这个组合把三种监督信号对齐了：LiDAR rays 学几何，boxes 学实例边界，source point 学可查询 identity。相比直接学 panoptic occupancy，这个 formulation 更容易，因为模型每次只需回答一个 source-conditioned binary occupancy，而不是一次性分割所有对象。

它本质上是一种 conditional retrieval / conditional field 建模：source point 从 scene representation 中检索出与某个局部对象相关的 shape-motion prior，再在 q 附近判断未来占用。这个机制对自动驾驶数据很吃香，因为对象类别、形状、运动模式高度重复，短时预测可以大量依赖数据覆盖和局部运动先验。所谓 open-set 能力也可能主要来自几何层面的相似性，而不是语义级泛化。

最可能的核心贡献：source-point prompted decomposable occupancy task formulation，以及训练 prompt 设计中正负样本的构造。没有这些，模型很难学会“同一个 scene 中只预测某个实例而不是全部 occupancy”。

可能只是辅助或 engineering 的部分：稀疏 3D backbone + dense BEV neck、多尺度插值、deformable attention。这些显然提升分辨率、感受野和效率，但它们更像把已有 LiDAR detection/implicit occupancy 工程组合到一个强实现里。论文没有充分隔离这些因素，因此增益中有多少来自建模思想、有多少来自 architecture/scaling，目前不清。

另一个需要直接指出的点：flow consistency 不是 flow ground truth。它约束预测自洽，但不能保证物理正确。若 occupancy 已经错了，flow consistency 可能只是让错误更平滑。因此 DIO 的“occupancy-flow”更像带 motion regularization 的 implicit occupancy forecast，而不是完整意义上的动态世界状态估计。

Relation To Prior Work

DIO 最接近 UnO 和 4D-Occ 所在的 LiDAR self-supervised 4D geometric occupancy 路线，但它在这条线上补上了 instance decomposition。UnO 的 implicit querying 解决连续空间和高分辨率问题，但场景是整体函数；DIO 把这个函数条件化到 source point 上，这是实质差异。

和 ImplicitO-4D 相比，DIO 不只是 supervised implicit occupancy 的改良。ImplicitO-4D 更依赖 box/semantic occupancy supervision，容易受 box 几何粗糙限制；DIO 用 LiDAR rays 学真实表面，用 box 提供弱实例分配，因此几何上更细。

和 panoptic scene completion 相比，DIO 没有 dense panoptic labels、mesh 或 CAD，而是用 prompt query 替代一次性 panoptic output。这一点像 Segment Anything 的 promptable segmentation 思想迁移到 4D occupancy，但 DIO 的 prompt 是 source point，不是 mask/box/text；这是已有 promptable paradigm 与 occupancy world model 的重组。

和 instance trajectory forecasting 相比，DIO 没有把未来压缩为轨迹或 box，而是预测 continuous occupancy field。它不是替代 tracking/forecasting pipeline 的全部，因为 source point 通常仍来自 detector，但它把 detector 输出从最终状态改成了查询条件，降低了 box bottleneck。

Dataset / Evaluation

评估主要在 Argoverse 2 Sensor 上，覆盖 occupancy completion、occupancy forecasting、LiDAR point cloud forecasting、object-centric rendering/open-set category 等任务。任务覆盖面比较合理，确实验证了 DIO 作为 LiDAR-centric world model 的多用途性，而不是只在一个 metric 上调参。

支持最强的是 instance-level occupancy 和 object-centric LiDAR forecasting：这些实验直接对应论文的核心 claim，即 decomposable occupancy 能补全并预测单个对象形状。DIO 在 detector prompt 下也表现好，说明方法不是只能吃 ground-truth source point，这一点对 deployment 很重要。

但 evaluation 仍有明显限制。第一，所有主要结果集中在 AV2，跨数据集泛化没有展示；open-set 只是 held-out 类别，不等于真实长尾开放世界。第二，occupancy pseudo-label 仍来自 LiDAR ray tracing + box filtering，本身只评估可见表面附近，对被遮挡区域、真正完整 3D shape 的验证有限。第三，planning/control 只是在动机中强调，没有闭环 planner 或安全指标证明。第四，DIO 与 baseline 的 architecture、历史帧数量、query strategy 可能不完全等价，增益归因存在混杂。

Limitation

DIO 把问题从“如何输出所有实例”转移成“如何获得可靠 source prompts”。在真实系统中，source point 通常来自 3D detector；detector false negative 会导致对象无法被查询，false positive 需要模型输出空，但这在复杂遮挡和长尾物体上是否可靠，文中未充分说明。

方法仍依赖 box labels。虽然比 point-level panoptic label 便宜，但不是纯 self-supervised。更关键的是，box label 被用来定义训练时 instance membership，因此如果 box 质量差、对象密集重叠、非刚体或异形物体超出 box，instance decomposition 的监督会变脏。

泛化能力不能高估。held-out Bicyclist/Stopsign/Dog 的结果说明模型学到一些 class-agnostic 几何 prior，但 AV2 内部类别共享传感器、城市、采样和运动分布。真正 out-of-distribution object、天气、传感器配置、城市域迁移没有验证。

长期预测能力也有限。DIO 的 horizon 是几秒级，且主要从过去 LiDAR 和场景上下文外推；它没有显式建模 agent intent、交互博弈、交通规则或 map-conditioned right-of-way。论文中关于 planning interpretability 的论述合理但未被实验闭环验证。所谓“世界模型”更准确说是短时 4D occupancy forecaster，而不是具备因果推理的 dynamics model。

scalability 上还有 test-time compute 问题。implicit field 的优点是可连续查询，但若 planner 需要对大量候选轨迹、多个对象、多个时间步做 dense collision checking，query 数量会快速膨胀。论文提到可按 ROI 查询，但系统级成本没有充分展开。

增益来源不清。DIO 同时使用更高效 sparse backbone、16 帧历史、多尺度 3D 特征、BEV dense context、prompt training、额外 box supervision。没有足够强的 ablation 来回答：到底是 decomposition formulation 带来的，还是更强 encoder / 更多历史 / 更好的 sampling 带来的。

Takeaway

  • 1. 最值得迁移的 insight 是：把 instance identity 作为 query condition，而不是作为 dense output slot。
  • 这个思路可以迁移到 occupancy、scene flow、risk field、cost map、甚至 planner query 中。
  • 2. Box label 更适合作为 instance grouping supervision，而不是 shape supervision。
  • 几何应尽量从传感器自监督中来，语义/实例只提供弱组织结构。

一句话总结

DIO 是 LiDAR self-supervised implicit 4D occupancy 路线向 promptable、instance-decomposable world model 的一次实质推进，核心贡献在于用 source-point 条件化把场景占用分解为可查询实例占用，但其预测能力和泛化上限仍很大程度依赖数据覆盖、box 弱监督和短时运动先验。