IEEE Transactions on Robotics

Toward Deep Representation Learning for Event-Enhanced Visual Autonomous Perception: The eAP Dataset

作者：Jinghang Li, Shichao Li, Qing Lian, Peiliang Li, Xiaozhi Chen, Yi Zhou · 机构：Neuromorphic Automation and Intelligence Lab, School of Artificial Intelligence and Robotics, Hunan University, Changsha, China; ByteDance, Shenzhen, China; Zhuoyu Technology, Shenzhen, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：1643-1661

优化传感器视觉定位建图状态估计

精读笔记

Problem Setting

论文标题：Toward Deep Representation Learning for Event-Enhanced Visual Autonomous Perception: The eAP Dataset（IEEE Transactions on Robotics / 2026）。

这篇论文真正处理的是“事件相机如何进入现代自动驾驶深度感知栈”的问题。已有 event vision 在自动驾驶中的尴尬点是：传感器物理特性很强，HDR、高时间分辨率、低延迟都很适合恶劣光照和快速相对运动；但任务级系统没有足够数据支撑，尤其缺少能训练 BEV 3D detector 和 object-level TTC estimator 的大规模真实驾驶标注。

困难点不在于事件数据是否有信息，而在于这些信息何时有效、如何和 RGB 互补、如何被深度模型稳定利用。RGB 在 tunnel、night、overexposure 下退化；event 在低相对速度或低纹理变化下稀疏。两者不是简单替代关系，而是强条件互补。以前 event TTC 多靠几何拟合和手工关联，能在干净小场景工作，但扩展到真实驾驶中的多目标、遮挡、噪声、非理想运动时就很脆弱。以前 visual 3D detection 虽然 BEV pipeline 成熟，但几乎没有事件增强训练数据。

所以关键矛盾是：事件相机的优势来自物理测量机制，但现代感知性能来自数据驱动表征；没有数据闭环，事件相机的优势无法变成任务指标上的稳定提升。

Motivation

作者的核心动机不是“事件相机比 RGB 好”，而是“现有感知系统在极端光照下缺一个可扩展的补充模态”。RGB SDR camera 的全局曝光导致同一帧内亮暗区域不可兼得，这不是简单增强算法能完全解决的问题；而 event camera 正好对亮度变化敏感并具备高动态范围。但已有 event 数据集要么分辨率低，要么缺 object-level TTC，要么不是自动驾驶场景，要么场景太受控，无法训练数据饥渴的 BEV / deep TTC 模型。

TTC 任务上的动机更明确：直接从图像或事件回归 TTC 是一个很难学的非线性映射，因为 TTC 混合了深度、相对速度、尺度变化、物体外形和 ego-motion。传统方法显式建模几何，但假设过强；纯 learning 方法可扩展，但缺少几何约束。作者想做的是把两者结合：保留几何中最稳定的部分，即 looming / visual height ratio，把它作为深度网络的中间归纳偏置。

因此关键缺口是两类：数据缺口和建模缺口。数据缺口由 eAP 解决；建模缺口主要由 Garl-TTC 的 geometry-aware representation 解决。

Core Idea

论文的核心思想可以概括为：把事件增强自动驾驶感知从“小规模几何优化问题”推进到“大规模监督表征学习问题”，并在关键任务上注入最少但有效的几何 inductive bias。

对于 3D detection，作者没有提出事件原生 BEV 理论，而是把 event voxel 当作一种与 RGB 对齐的前视输入，经过 feature extraction 和 view transform 进入 BEV detection pipeline。这里的本质变化是信息流：事件数据不再只是后处理或异常场景补丁，而是进入主干表征，参与 BEV 空间中的目标定位。这个部分的方法创新不强，但验证价值高，因为它回答了一个之前没有大数据能回答的问题：event 是否能在现代视觉 3D detector 中提供稳定增益。

对于 TTC，核心变化更实质：不让网络直接学 pixel/event 到 TTC 的黑箱映射，而让网络学习两个时间点的可见高度比，再通过几何公式映射到 TTC。这引入了明确的 latent structure：TTC 的主要可观测证据是物体投影尺度变化，尤其是轮廓高度变化。event 的高时间分辨率恰好更容易捕捉轮廓变化，因此这个 inductive bias 与传感器特性对齐。相比传统几何方法，它不显式估计 optical flow / depth / motion model；相比纯回归，它把学习问题压缩到更物理可解释的中间变量。

Method

1）eAP 数据集：解决的是监督学习入口问题。高分辨率 event camera、窄基线 RGB-event、前向多 LiDAR、硬件同步、3D box + object TTC 标注共同构成可训练的数据闭环。这里的核心变化是事件感知从 toy benchmark 变成可做 BEV detection / TTC 的真实驾驶 benchmark。

2）事件增强 3D detection：解决 RGB 在极端光照下失效的问题，同时避免 event-only 在低运动下稀疏的问题。方法上只是把 event voxel 编码为类图像特征，与 RGB feature 融合后进入 BEV view transform。机制上看，这是 complementary sensing，而不是 event 替代 RGB。Temporal BEV aggregation 进一步提升性能，但这部分更接近已有 BEV detection 的工程延伸。

3）Garl-TTC 的 height-ratio 表征：解决 direct TTC regression 难学的问题。TTC 与深度变化有关，而深度变化可通过物体投影高度变化近似观测。网络预测可见高度或高度比，再由几何关系得到 TTC。核心变化是把目标从抽象时间量转为视觉几何量，降低学习难度，并提升跨场景泛化。

4）foreground-aware distillation：解决高度估计依赖边界质量的问题。用 SAM 生成前景 mask 作为训练期监督，使 backbone latent feature 更关注 silhouette。这个机制不是为了分割本身，而是通过边界重建约束让表征保留对 TTC 有用的形状细节。推理时不增加成本。

5）late fusion：解决 RGB 与 event 统计分布差异的问题。实验显示 late fusion 优于 early fusion，说明两种模态的低层信号差异大，先各自编码再融合更合理。这是 representation alignment 问题，而不是简单通道拼接能解决的问题。

Key Insight / Why It Works

最重要的 insight 是：event camera 对 TTC 的价值不是“看到更多语义”，而是“更稳定地看到轮廓随时间的变化”。TTC 本质上依赖 motion-in-depth，而 motion-in-depth 在图像中的最直接证据就是 looming，即投影尺度变化。传统方法直接拟合几何模型，容易被噪声、遮挡和复杂运动破坏；纯深度回归又没有结构约束，容易学成 dataset-specific shortcut。Garl-TTC 把二者折中：让网络学习鲁棒的 silhouette / height representation，再用几何公式约束输出空间。

这也是为什么 event 输入在 small TTC 区间更有效：相对速度大时，物体边缘产生密集事件，事件流对尺度变化的时间采样更充分；而 large TTC / 低相对速度时事件稀疏，RGB 反而更稳定。这说明事件模态不是普遍更强，而是条件性更强。论文对这一点的实验观察是可信的。

3D detection 的增益机制则更朴素：RGB 退化时 event 提供可见边缘和运动结构，event 稀疏时 RGB 提供纹理和语义。RGB-E fusion 的收益本质是 failure mode complementarity。这里没有特别新的检测建模，更多是 data + sensor fusion scaling。Temporal aggregation 带来的提升也更像已有 BEV pipeline 的常规增益，不应被过度解读为事件特有贡献。

最可能的核心贡献排序：第一是 eAP 数据集本身，因为它打开了事件增强深度感知的训练可能；第二是 TTC 的 geometry-aware height-ratio 表征，因为它给出了事件数据和任务物理之间的正确接口；第三才是 RGB-E BEV detection baseline。SAM 蒸馏是有用辅助，但它是否是本质贡献存疑，可能只是提供更强形状先验 / hidden supervision。

需要警惕的是，所谓泛化提升可能很大部分来自数据覆盖，而不是模型已经学到普适几何。eAP 的主动驾驶策略刻意增加 critical TTC 分布，这对模型学习非常关键。没有更严格的跨城市、跨相机、跨安装位姿测试，很难判断 learned representation 的外推能力。

Relation To Prior Work

这篇工作处在三条技术谱系的交点：event camera datasets、visual BEV 3D detection、TTC estimation。

相对于 MVSEC、DSEC、M3ED、EvTTC 等数据集，eAP 的实质差异不是单项传感器规格，而是面向 object-centric autonomous perception 的标注组合：高分辨率 event + RGB + dense LiDAR prelabel/manual refinement + 3D box + object-level TTC。它补的是能训练任务模型的数据，而不是仅用于 low-level reconstruction / flow / depth 的数据。

相对于 visual 3D detection，本文没有改变 BEV detection 的基本范式。它更像把 event modality 接入成熟 BEV pipeline，并证明在 challenging illumination 下有收益。看似新的是 event-enhanced 3D detection；本质上是已有 RGB BEV detector 的 multimodal extension。实质新增信息是：在真实驾驶数据上，event 能否补 RGB 的 failure mode；答案是可以，但 event-only 并不强。

相对于传统 event TTC，Garl-TTC 的区别更关键。传统方法依赖 contrast maximization、affine / kinematic fitting、optical-flow-like geometry，通常需要迭代优化和简化运动假设。本文把几何假设变成 neural representation 的输出结构，而不是显式求解流程。这属于“geometry-guided deep representation learning”，不是纯端到端黑箱，也不是传统模型拟合。

相对于 learning-based frame TTC，本文新增的信息是事件模态与 height-ratio inductive bias 的耦合。单纯用网络回归 TTC 并不新；把目标重参数化为视觉高度比，并用 foreground distillation 强化边界表征，是更有价值的部分。

Dataset / Evaluation

eAP 的覆盖范围相对充分：高速、城市、夜晚、隧道、twilight、不同天气、critical TTC 主动采样，并提供 sequence-level split。它支持两个层次的任务：BEV 3D detection 和 object-level TTC。真实车采集、硬件同步、LiDAR-assisted annotation、edge deployment 都增强了 benchmark 的可信度。

评估基本支持核心 claim：RGB-E 在 HDR 子集上优于 RGB-only，说明事件确实能补光照退化；TTC 上 geometry-aware model 优于 direct regression 和传统 event TTC，说明目标重参数化有效；EvTTC / FCWD 的零微调测试提供了一定跨数据集证据。

但 evaluation 也有明显边界。3D detection 部分主要证明“能提升”，没有充分拆解增益来自 event HDR、temporal aggregation、数据规模、还是 fusion design。TTC 评估使用 object ROI / 2D box 输入，真实系统中 detector miss / jitter 对 TTC 的影响没有被充分闭环评估。EvTTC 的场景较受控，FCWD 是 frame benchmark，跨数据集泛化证据有价值但还不足以证明模型具备强外推。benchmark 是否覆盖强 ego-rotation、严重遮挡、cut-in、非刚体 VRU，文中未充分说明。

真机部分 TTC 达到约 200 FPS / 220 FPS 是重要工程证据，但 3D detection 在 A100 上仍较重，作者也承认边缘部署需要剪枝/量化。这说明低延迟 claim 主要成立于 object-level TTC network，而不是完整 event-enhanced 3D detection stack。

Limitation

最核心的限制是方法成立依赖一组几何和数据前提。

TTC 的 height-ratio 假设默认尺度变化主要来自沿深度方向的相对平移，且物体高度方向在图像中可稳定观测。强 ego-rotation、路面起伏、相机 pitch 变化、物体 yaw/pose 变化、遮挡、截断、box jitter 都会污染高度比。作者提到 ego-motion sensitivity，但这个问题比普通 limitation 更根本：它直接影响 geometry-aware formulation 的因果有效性。

object-level TTC 还把问题转移给了检测 / 跟踪 / ROI。论文假设 2D box 输入用于 crop，但真实 AEB/FCW 系统中 box 的误检、漏检、延迟、边界抖动会直接影响 height-ratio。当前实验更像“给定较好 ROI 的 TTC estimation”，不是完整 closed-loop collision prediction。

3D detection 的事件融合仍然是 frame-synchronized voxelization + CNN，没有真正利用事件异步性。事件相机最强的时间结构被压成帧式体素后，可能只剩 HDR edge/motion cue。所谓 event-enhanced BEV 目前更像 engineering fusion，而不是事件视觉范式创新。

增益归因不完全清晰。eAP 的数据规模、主动采样 critical TTC、强 LiDAR 标注、SAM 蒸馏都可能显著提升性能。模型是否真的学到可迁移的 TTC geometry，还是学到数据覆盖下的形状/运动模式，仍需更强 out-of-distribution 测试。核心能力可能主要来自数据覆盖。

此外，event-only 在低相对速度下天然弱，这不是模型可以完全解决的问题。未来如果要做稳定系统，事件相机更适合作为条件触发/补充模态，而不是主模态。

Takeaway

  • 1）这篇论文真正推动的是事件相机自动驾驶研究的数据闭环：没有 eAP 这类数据，讨论 event-enhanced deep perception 基本只能停留在小规模几何方法。
  • 2）TTC 的可迁移 insight 是：不要直接回归最终安全量，先找与任务物理强绑定、传感器可稳定观测的中间变量。
  • 这里是 visual height ratio / silhouette；其他任务也应寻找类似 latent structure。
  • 3）事件相机的系统定位应是 failure-mode complementarity：在 HDR、低光、高相对运动下补 RGB，而不是替代 RGB。

一句话总结

这篇论文是事件相机自动驾驶感知从小规模几何拟合走向大规模深度表征学习的基础性数据与方法工作，真正贡献在于 eAP 数据闭环和 TTC 的 geometry-aware 表征，而 3D detection 部分更多是事件模态接入成熟 BEV pipeline 的实证起点。