精读笔记

Problem Setting

FOMO-3D: Using Vision Foundation Models for Long-Tailed 3D Object Detection（CoRL 2025）。这篇论文解决的不是一般意义上的 LiDAR-camera 3D detection，而是自动驾驶 closed-set 3D detection 里最难被常规数据驱动方法覆盖的长尾类别：construction worker、child、stroller、debris、远距 person/cyclist 等。真正困难点在于这些类别在驾驶数据中样本少，LiDAR 几何上又常常稀疏、小、远、形状不稳定；因此模型既缺语义监督，也缺稳定 objectness。

以前方法卡在两个上限：一类是 reweighting/resampling/group-free header，本质仍在原始训练集里重排监督，不能创造长尾语义覆盖；另一类是 MMF/MMLF 这种 LiDAR-camera late fusion，它们默认 LiDAR detector 已经有足够 recall，camera 只是过滤或调分。但对小目标、远距目标、长尾目标，问题恰恰是 LiDAR proposal 根本没出来。

关键矛盾是：3D detection 需要 LiDAR 的几何可靠性，但长尾泛化能力主要存在于大规模图像模型的语义空间里。FOMO-3D 试图解决的是如何把这种 2D VFM prior 转成 3D detector 可用的 object hypothesis 和 feature evidence。

Motivation

作者的核心观察很直接：长尾 3D detection 缺的不是更复杂的 class-balanced loss，而是外部语义知识。OWL 这类 open-vocabulary detector 已经能 zero-shot 识别很多驾驶数据里罕见的视觉概念；Metric3D 这类 monocular depth foundation model 又能给 dense metric depth，弥补 LiDAR 投影到图像上的稀疏性。这两者天然适合补长尾 3D 检测的短板。

但已有多模态 fusion 框架没有很好承载这些先验。BEVFusion 类方法主要融合 dense image feature，不知道如何利用成熟 2D detector 的 box/objectness；MMF/MMLF 可以利用 2D detection，但通常是启发式 late fusion，不能从 2D proposal 生成新的强 3D hypothesis；camera-only 3D detector 又缺可靠几何。

所以这篇论文的缺口是：不是再设计一个 camera-LiDAR fusion backbone，而是设计一种让 VFM outputs 以不同粒度进入 3D detection 的机制——2D boxes 用于 proposal，image tokens 用于 semantic refinement，dense depth 用于 lifting/search。

Core Idea

核心思想是把 VFM 从“辅助特征源”提升为“proposal generator + semantic witness”。FOMO-3D 不再让 LiDAR detector 独占 object proposal 的入口，而是允许 OWL 基于图像直接提出 object hypotheses，再用 Metric3D 和 LiDAR 在 3D 空间中寻找其合理位置。这一点对长尾类别很关键：只要图像模型能看到并识别目标，即使 LiDAR branch 没有 objectness，系统仍有机会进入后续 3D refinement。

这个建模方式引入了一个新的 inductive bias：长尾类别的 objectness 更可信地来自大规模图像语义先验，而 3D 几何则由 LiDAR/Metric depth 事后校正。相比 prior 中“LiDAR first, camera adjust score”的范式，FOMO-3D 是“multi-source hypotheses, then cross-modal verification”。这使它在 rare/small/far objects 上更 scalable，因为新增类别或低频类别不完全依赖驾驶数据中的 3D box 统计，而可以借用 VFM 的语义覆盖。

理论上它成立的前提是 2D VFM 的 recall 足够高，且 2D box 与 3D object 存在可通过 frustum 约束恢复的位置关系。它不是让 monocular depth 一步到位预测 3D box，而是把不确定性限制在视锥内，再用 LiDAR BEV 和 attention refinement 去消解。

Method

方法上值得保留的机制只有几类。

第一，双 proposal 源。LiDAR branch 继续负责高精度常见物体和几何稳定目标；camera branch 则负责补 LiDAR missed proposals，尤其是长尾、小目标、远距目标。这里的核心变化是 proposal recall 的来源被扩展了，而不是简单融合两个传感器特征。

第二，2D-to-3D lifting 被设计成 frustum search，而不是直接相信 monocular depth。OWL box center 加 Metric3D depth 只提供初始 query 位置；随后在 2D box 对应的 3D frustum 内采样 BEV features，让 query 沿可能深度/空间区域聚合 LiDAR 与 lifted image features。这解决的是 Metric3D 深度误差不可避免的问题：深度估计不需要精确，只需要把搜索范围初始化到合理区域。

第三，refinement 阶段重新向原始 OWL image tokens 和 LiDAR BEV features 取证。camera proposal 的 3D box 可能不准，OWL box 也可能 false positive；refinement 的意义是让所有 proposals 在统一 query 空间里通过 object self-attention、LiDAR cross-attention、camera cross-attention 重新做分类和定位。它本质上是把 VFM prior 从 hard decision 变成可学习的 evidence source。

第四，frustum-constrained matching 是一个小但重要的训练 bias。camera proposal 的监督只允许匹配同一视锥里的 GT，避免 Hungarian matching 把某个 2D proposal 错配到空间上不可能的目标。这是对 2D proposal 几何来源的显式约束，比普通 set prediction 更符合该问题结构。

Key Insight / Why It Works

最核心的有效原因是它突破了 LiDAR proposal recall 上限。长尾 3D detection 的很多失败不是分类器把 rare class 分错，而是候选目标根本没有被提出。OWL 的 2D objectness 直接绕过了驾驶数据中 3D long-tail supervision 不足的问题，把 internet-scale semantic coverage 转成 3D detector 的候选入口。这比 MMF/MMLF 的 score adjustment 更本质。

第二个有效原因是表示对齐方式比较克制。论文没有尝试把所有 VFM feature 直接 dense lift 到 BEV 后端到端融合，因为 monocular depth 错误会污染 BEV；而是把 OWL detections 作为 sparse object queries，用 frustum attention 只在相关区域聚合信息。这是一个更适合长尾目标的 object-centric fusion：减少 dense fusion 的噪声，也让计算集中在 VFM 认为有 objectness 的区域。

第三，OWL feature 的作用可能比 OWL box score 更重要。消融中仅有 L proposal + camera attention 已经带来很大收益，说明 refinement 中的 image semantic evidence 对分类和误检抑制很关键。camera proposals 进一步提升 Few 和远距场景，说明两条路径分别解决 classification evidence 和 proposal recall。

但需要直说：这篇的“泛化”很可能主要来自 VFM scaling/data coverage，而不是 FOMO-3D 学到了一种全新的长尾表示学习机制。FOMO-3D 的贡献在于把这种外部覆盖接入 3D detection 的接口设计得有效，而不是创造了 long-tail learning 的新理论。所谓 long-tail generalization 更像是 external memory / retrieval-style prior reuse：看到罕见类别时，OWL 从大规模预训练中检索出语义 objectness，3D 模型负责落地到物理坐标。

Metric3D 的作用偏辅助但不可忽视。它不是最终几何 oracle，而是让 2D proposal 初始化和 pseudo point lifting 变得可操作。真正决定鲁棒性的还是 frustum attention 和 LiDAR correction。若 Metric3D 深度在某域严重偏移，方法会退化，但不会像直接 monocular 3D detector 那样完全崩，因为设计上保留了搜索和 LiDAR校正。

有些增益可能来自 test-time compute 和模型规模。OWL-Large + Metric3D-Giant 是非常重的外部模型，且推理离线缓存；这和普通 onboard detector 不是同等预算比较。论文承认不能实时，但实验对 compute-normalized gain 没有展开。因此部分性能应被理解为“用大规模离线视觉模型增强 3D detection”，而不是轻量 deployment-ready architecture 的胜利。

Relation To Prior Work

和它最接近的是三条线：第一是 Frustum PointNet/Frustum ConvNet 这类由 2D detection 生成 3D frustum 的早期方法；第二是 BEVFusion/TransFusion/CMT 这类 LiDAR-camera feature fusion；第三是 LT3D 里的 MMF/MMLF late fusion。FOMO-3D 本质上是这三条线与 VFM 的重组，但重组点很关键。

相对 frustum 方法，FOMO-3D 的新信息源是 OWL/Metric3D 这种 foundation prior，而不是普通训练集内 2D detector；同时它不是只在 frustum 内做 3D proposal，而是把 proposal 再放入 query-based multi-modal refinement。

相对 BEVFusion，它不是简单把 image features lift 到 BEV。BEVFusion 的隐含假设是 dense image feature 与 LiDAR BEV 在训练数据内可以学好对齐；FOMO-3D 的重点是长尾类别的 semantic prior 来自外部模型，因此更需要保留 OWL 的 objectness 和 token-level semantics，而不只是 dense backbone feature。

相对 MMF/MMLF，真正差别是 camera 不再只是 late-stage heuristic。MMF/MMLF 基本是在 LiDAR detections 上做过滤或重打分，仍假设 LiDAR recall 高；FOMO-3D 让 camera branch 产生新的 3D proposals，因此能恢复 LiDAR-only 完全 miss 的目标。这是实质创新。

相对 open-vocabulary 3D detection 工作，FOMO-3D 仍是 closed-set 任务。它没有解决 novel class 3D detection，而是用 open-vocab 2D prior 改善 closed-set long-tail。这一点定位很清楚，也更贴近自动驾驶数据 taxonomy 的工程现实。

Dataset / Evaluation

评估覆盖了两个互补场景：nuScenes 代表 urban 多类长尾，in-house Highway 代表远距和高速场景下的小/稀有目标。后者对论文 claim 比较重要，因为它检验了远距场景中 LiDAR 稀疏、2D 语义更有价值的设定，而不仅是 nuScenes 上调 benchmark。

实验基本支持“VFM prior + 合理 fusion 能改善 LT3D”这个核心论点。nuScenes 上 Few 类收益明显，Highway 上 person/cone/cyclist 等类别在长距 bucket 仍有提升；消融也说明 OWL 优于训练集内 DETR，camera proposal 和 camera attention 各有贡献。

但 evaluation 仍有几个限制。第一，nuScenes 的 long-tail 类别数量有限，且很多 rare classes 与 internet image data 高度常见，不能完全代表真正开放世界 rare event。第二，Highway 是 in-house dataset，分布、标注、prompt 调整和 failure cases 难以外部复现。第三，比较对象大多是训练在驾驶数据上的模型，而 FOMO-3D 使用了超大外部模型；这不是严格同 compute/data budget 的比较。

另外，benchmark 没有充分验证 prompt robustness、taxonomy mismatch、domain shift、夜间/恶劣天气、遮挡严重场景下的稳定性。它验证了在给定 prompts 和现有 VFM 上可以显著提升，但还没有证明这种方案对任意长尾驾驶概念都可泛化。

Limitation

最深层限制是依赖外部 VFM 的语义覆盖与对齐。OWL 如果没有见过某类对象，或把 dataset taxonomy 中需要区分的类别混在一起，FOMO-3D 很难自行纠正。例如 truck/trailer、emergency vehicle/car、barrier/debris 这类类别边界并不等同于 internet 语义边界。论文也提到 barrier/debris prompts 会产生大量 false positives，这说明 promptable detector 并不是免费 oracle。

第二，camera proposal 会引入系统性 false positives。OWL 在 2D 上的 duplicate/nearby false positives 会被 lift 成多个 3D hypotheses；refinement 虽可过滤一部分，但当 false positives 位于真实目标附近、共享同一 image evidence 时，query attention 可能反而强化重复检测。这个问题不是 NMS 调参能完全解决的，涉及 proposal-level uncertainty 和 multi-hypothesis assignment。

第三，scalability 的上限受 compute 和 pipeline 复杂度限制。OWL-Large 与 Metric3D-Giant 多相机推理远不能实时，论文实际更像 offboard perception / auto-labeling 方案。若蒸馏到小模型，长尾增益是否保留文中未充分说明。很多收益可能依赖大模型 test-time compute。

第四，所谓泛化可能主要是数据覆盖，而不是模型形成了新的 3D long-tail abstraction。VFM 预训练集覆盖了大量 person、child、construction worker、traffic cone 等视觉概念；FOMO-3D 是把这些 prior 接到 3D 上。若遇到真正罕见、非互联网常见、且视觉外观弱的对象，方法可能没有同样收益。

第五，Metric3D 作为 dense depth prior 的可靠性有域依赖。Highway 长距下深度误差已明显，需要更大的 frustum search；在更远距离、雨雾夜间、强反光、相机标定偏差下，lifting 初始化可能成为噪声源。方法把问题从“缺少长尾 3D 样本”部分转移为“VFM 先验是否可靠且可对齐”。

Takeaway

• 1. 长尾 3D detection 的关键瓶颈往往是 proposal recall，而不是 loss reweighting；允许图像 foundation model 主动提出 object hypotheses 是一个比 late fusion 更有效的范式。
• 2. VFM 接入 3D perception 时，最有价值的不是单一 feature backbone 替换，而是按输出形态分工：2D boxes 给 objectness，image tokens 给语义证据，dense depth 给几何初始化，LiDAR 给物理校正。
• 3. 对自动驾驶这类 closed-set 但 long-tail 的任务，open-vocabulary 模型的最佳用法可能不是直接做 open-set 3D detection，而是作为外部 prior 改善 closed-set detector 的低频类别。
• 4. 未来真正值得做的是 distillation、uncertainty-aware proposal fusion、prompt/taxonomy alignment，以及从 VFM false positives 中学习可靠拒识；否则该路线会停留在高算力 offboard perception。

一句话总结

FOMO-3D 是一篇把 internet-scale 2D foundation priors 系统接入 closed-set long-tailed 3D detection 的工作，其真正贡献是打破 LiDAR-first proposal recall 上限，而非提出新的长尾学习理论。