Science Robotics / Research Article

Microsaccade-inspired event camera for robotics

作者：Botao He, Ze Wang, Yuan Zhou, Jingxi Chen, Chahat Deep Singh, Haojia Li, Yuman Gao, Shaojie Shen, Kaiwei Wang, Yanjun Cao, Chao Xu, Yiannis Aloimonos, Fei Gao, Cornelia Fermüller · 单位：Department of Computer Science, University of Maryland, College Park, MD 20742, USA, College of Control Science and Engineering, Zhejiang University, Hangzhou, China, Huzhou Institute of Zhejiang University, Huzhou, China, College of Optical Science and Engineering, Zhejiang University, Hangzhou, China, Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology, Hong Kong, China, Institute for Advance Computer Studies, University of Maryland, College Park, MD 20742, USA, Institute for Systems Research, University of Maryland, College Park, MD 20742, USA · 来源：Science Robotics · 发布日期：2024-05-29 · DOI：10.1126/scirobotics.adj8124

强化学习机器人

精读笔记

Problem Setting

【Microsaccade-inspired event camera for robotics（Science Robotics / 2024）】

这篇论文解决的不是“事件相机做某个任务效果不好”，而是事件相机作为传感器的一个结构性缺陷：输出依赖相对运动方向，导致纹理表征不稳定。标准事件相机在亮度对数变化超过阈值时触发事件，所以它看到的不是场景边缘本身，而是“边缘 × 运动”的耦合结果。边缘与图像运动平行时，亮度变化几乎不发生，该边缘就从事件流中消失。

这会直接打击事件视觉中最基础的数据关联：角点、边缘、轨迹、光流、重建图像都不是稳定观测，而是随相机运动模式改变的条件观测。以前大量后端方法默认事件流里至少有足够可关联结构，但实际在慢速、静止、单向运动或纹理方向偏置场景中，这个假设不成立。关键矛盾是：事件相机的优势来自只响应变化，但机器人感知又需要稳定、持续、可关联的场景结构。

Motivation

已有路线的问题在于它们多数在“事件已经缺失”之后补救。基于 corner / optical flow 的方法依赖当前事件流中存在足够结构；map-based 或 reconstruction-based 方法通过历史累积增强稳定性，但慢速或静止时会被噪声和事件稀缺卡住；RGB-event fusion 可以补绝对亮度，但把系统重新拉回帧相机的动态范围、曝光和帧率限制。主动结构光、激光、偏振等路线虽然能制造运动无关事件，但通常绑定特定任务、光照和材质。

作者抓住的缺口是：事件缺失不是算法没挖够，而是 sensor 没采到。要想让事件相机在静止或任意运动方向下保持纹理，必须在前端主动制造相对运动，而且这个运动最好覆盖所有方向、可预测、可补偿、低惯量。microsaccade 的启发点不在于仿生形式，而在于主动打破“纹理与运动方向耦合”的不可观测性。

Core Idea

核心思想是用旋转楔形棱镜改变入射光方向，而不是移动整个相机。棱镜旋转会让静态场景在像平面上产生一个小幅、连续、近似圆形的运动轨迹。由于这个人工运动覆盖二维方向，场景中任意方向的边缘都会在某些时刻与图像运动方向不平行，于是都会触发事件。换句话说，它把标准事件相机的方向选择性观测变成周期性的全方向主动采样。

这个方法的本质区别在于它改变了事件生成过程，而不是在后端重建缺失信息。它引入的 inductive bias 是：场景纹理应当在短时间窗口内被一个已知、小幅、周期性的光学运动充分激发；该人工运动可由几何模型反演，因此事件可以被重新对齐到稳定坐标系。这比纯软件方法更 generalizable，因为它不依赖特定场景统计或学习到的补全先验；也比直接抖动相机更 scalable，因为运动部件更轻、轨迹更平滑、补偿更可控。

Method

方法层面可以压缩成三个机制。

第一，主动事件生成：旋转楔形棱镜在镜头前持续偏折入射光，使每个场景点在像平面上产生周期小运动。它解决的是标准事件相机在静止、慢速、单向运动下事件不足的问题。核心变化是事件流不再完全由机器人/物体外部运动决定，而加入一个已知的内源性激励。

第二，运动覆盖方向空间：棱镜诱导的轨迹近似圆形，因此在一个足够短的时间窗内包含多方向运动。它解决的是“某些边缘方向不可见”的问题。这里真正重要的不是旋转本身，而是人工运动方向集合覆盖了边缘法向空间，使事件生成对外部运动方向不那么敏感。

第三，几何补偿：利用楔形棱镜光学模型、编码器角度和一次性标定，把人工位移从事件坐标中去掉，使同一入射光方向触发的事件对齐到同一像素。它解决的是主动扰动带来的模糊和坐标漂移。没有补偿，AMI 只是制造更多事件；有补偿后，它才变成“更多且更稳定的纹理观测”。

论文中的 simulator、translator、下游算法适配主要是让系统可用和可复现，不是理论核心。

Key Insight / Why It Works

这篇最重要的 insight 是：事件相机的信息缺失可以通过前端主动激励解决，而且激励不必来自相机机身运动，可以来自可建模的光路变化。它不是在做 scaling、retrieval 或更大数据覆盖，而是在传感器层面加入了一个更好的 inductive bias：用已知的周期运动把原本由外部运动决定的事件触发过程标准化。

它有效的原因很直接：事件触发近似与图像亮度梯度和图像速度的内积有关。标准事件相机的问题是某些梯度方向与速度正交，内积为零；AMI 通过给速度项叠加一个旋转分量，使在时间积分意义上每个梯度方向都能获得非零响应。因此，边缘完整性和事件密度稳定性提升是机制必然结果，不是偶然 benchmark gain。

最可能的核心贡献是“可补偿的主动光学微运动”。仅仅产生更多事件不是贡献，直接震动相机也早有人做过；关键是它用低惯量光学元件产生平滑、可预测、可标定的运动，并把它映射回标准事件坐标。这使它能作为 plug-in 前端接入既有算法。

辅助部分包括多任务展示、数据 translator、simulator。这些提高影响力，但不是决定性创新。高层任务里的增益大概率主要来自输入表示质量提升，而不是高层模型获得了新的语义能力。所谓 human pose estimation 的改善，本质上是更稳定的 E2VID 重建图像喂给现成 OpenPifPaf；这里没有新的 recognition reasoning。

需要注意的是，这不是免费午餐。AMI 增加的是对同一场景纹理的主动时间采样，代价是带宽、功耗、补偿误差和潜在事件冗余。它更像 test-time sensing compute，而不是算法 compute：用硬件主动采样换取更好的可观测性。

Relation To Prior Work

最接近的谱系有三类。

第一类是纯软件事件关联、重建、tracking、SLAM。AMI-EV 与它们的本质差异是前端可观测性增强，而不是后端估计器增强。软件方法在事件缺失时只能依赖历史、先验或学习补全；AMI-EV 是让缺失事件实际发生。

第二类是 event + frame 或 event + active illumination。RGB/event fusion 补的是绝对亮度，牺牲一部分事件相机的 HDR/low-latency 纯粹性；结构光/激光等主动方案补的是任务相关几何观测，适配性较窄。AMI-EV 补的是通用纹理事件，因此更像通用传感器改造，而不是特定任务传感配置。

第三类是 saccade / camera shaking 式主动事件生成。这里看似都是 microsaccade inspired，但本质差别很大：移动整个相机带来惯量、振动、blur 和更复杂的外参变化；旋转棱镜只改变光路，机械负担小，而且诱导运动可由光学模型补偿。实质创新在于“光学微扫描 + 几何反演”这个组合，而不是仿生概念本身。

从技术谱系看，它属于 hardware-software co-design for event vision，更接近 computational imaging / active perception，而不是传统 event algorithm paper。

Dataset / Evaluation

评估设计总体支持核心 claim：AMI-EV 在静止、低速、方向不利运动下产生更稳定、更完整的事件纹理。作者没有只在单一任务上刷指标，而是从原始事件流、累计事件图、重建图像到低层 feature tracking、motion segmentation、高层 human pose 做了跨层验证。这种覆盖对证明“前端表示改善可迁移”是有价值的。

真实世界实验和真机系统是这篇的重要加分点，因为核心主张本来就是传感器层面的；只做仿真或 translator 不足以说明机械/光学方案可用。motion segmentation 中 AMI 不明显破坏动态目标检测，也说明人工运动在某些任务中可以被补偿或被算法容忍。

但 evaluation 也有明显边界。第一，高层任务的改善主要通过现成重建和检测算法间接体现，不能证明 AMI 对语义任务普遍有效。第二，很多指标如 entropy、ODS-F、NIQE 能反映纹理完整性，但与机器人闭环任务成功率之间仍有距离。第三，缺少长时间部署、强振动平台、户外极端光照、快速自运动与棱镜运动耦合下的系统性分析。第四，增益归因在某些任务中不够干净：更多事件、更高纹理完整性、更好重建质量、算法适配性之间的贡献没有完全拆开。

Limitation

核心前提是人工光学运动可以被准确建模、同步和补偿。只要编码器同步、棱镜姿态、内参、折射模型或机械稳定性出现偏差，新增事件就可能变成结构性噪声。文中给出的补偿误差对多数机器人视觉任务可以接受，但对高精度 optical flow、微小位移测量、事件相机作为高速测量仪器的场景可能不可接受。

第二个上限是带宽和能耗。AMI 主动制造事件，本质上会增加事件率；在低动态场景这是优点，在高纹理或高动态场景可能变成带宽压力和计算压力。功耗也从纯传感器级别提升到带机械执行器的系统级别，这对微型无人机、长期部署节点不友好。

第三，方法不是消除了运动依赖，而是加入一个强人工运动项并试图把它消掉。当外部运动与棱镜诱导运动局部抵消时，仍可能出现 perceptual fading；论文也承认有少数帧会退化。这说明可观测性增强是统计意义上的，不是逐时刻保证。

第四，固定频率/固定偏折角不是通用最优。不同任务对事件密度、边缘锐度、时间延迟、补偿误差的 trade-off 不同。文中虽然讨论了角度和转速选择，但自适应 sensing policy 文中未充分说明。

第五，当前 compensation-to-standard-format 可能不是最终形态。它为了兼容现有算法，把 AMI 编码的周期结构抹掉，同时引入离散和同步误差。真正更强的算法可能应该直接利用 AMI 相位信息，而不是把它还原成普通事件流。

Takeaway

  • 1. 这篇真正推动的是事件视觉前端的可观测性设计：不要总是在缺失事件上做后端补全，很多问题应在传感器激励层面解决。
  • 2. “主动制造可逆扰动”是可迁移 insight：如果传感器的观测对某些状态不可见，可以加入已知、低成本、可反演的微扰来提升可观测性；这不只适用于事件相机，也适用于深度、触觉、声呐、光场等主动感知。
  • 3. AMI-EV 的长期价值不在于把现有事件算法都跑得更好一点，而在于催生直接利用周期光学扫描相位的新表示和新估计器。
  • 4. 未来真正值得做的是自适应 AMI policy、无机械/低功耗光束 steering、以及端到端利用 AMI 编码的事件算法，而不是继续堆更多下游 demo。

一句话总结

这篇论文把事件相机的纹理不稳定问题从后端算法补救推进到前端主动光学可观测性设计，是一类“可补偿主动传感”路线在事件视觉中的强实证样例。