Science Robotics / Research Article

Fully neuromorphic vision and control for autonomous drone flight

作者：F. Paredes-Vallés, J. J. Hagenaars, J. Dupeyroux, S. Stroobants, Y. Xu, G. C. H. E. de Croon · 单位：Micro Air Vehicle Laboratory, Faculty of Aerospace Engineering, Delft University of Technology, Delft, Netherlands · 来源：Science Robotics · 发布日期：2024-05-15 · DOI：10.1126/scirobotics.adi0591

移动机器人飞行机器人仿生机器人强化学习微型机器人

精读笔记

Problem Setting

论文标题：Fully neuromorphic vision and control for autonomous drone flight（Science Robotics / 2024）。

这篇论文实际在解决的是一个系统级可部署性问题：如何在当前 neuromorphic processor 尚不成熟、SNN 难训练、I/O 很窄、可用 neuron/synapse 有限的条件下，让事件视觉到低层飞控形成真实无人机闭环。它不是追求 optical flow SOTA，也不是追求 learned control SOTA，而是证明一个以前大多停留在小 toy task 或半 neuromorphic setup 的东西可以在真实飞行中闭环。

关键矛盾是：事件相机和 SNN 的优势来自异步、稀疏、低延迟，但现有 learning-based event vision 往往把事件累积成 window 再用 ANN 处理；而真正 event-by-event / SNN pipeline 又受限于训练困难和硬件规模。无人机进一步放大这个矛盾：需要高频、低功耗、低重量，同时视觉输入高维、控制闭环容错低。

以前方法卡在两个地方：一类把视觉处理留给 conventional CV/ANN，只把控制或小部分处理放到 SNN；另一类虽然用 neuromorphic hardware，但任务感知维度低、动作空间低，离 3D ego-motion flight 很远。本文的目标就是跨过这个系统集成门槛。

Motivation

已有路线不够的原因不是单点性能不足，而是无法同时满足真实事件输入、可训练 SNN、硬件部署和飞行闭环。端到端从 event stream 到 motor command 在概念上最干净，但实际会要求高保真事件仿真、高频视觉渲染、长序列 SNN 训练和大网络部署，这在当前硬件/训练工具链下基本不可行。

作者的核心观察是：无人机下视平面飞行中，控制并不需要完整 dense scene understanding；只要得到与 ego-motion 相关的低维 visual observables，就足以做若干基础机动。换言之，把问题从“通用视觉控制”改写成“从事件中估计几何约束下的低维运动量，再跟踪这些量”。

真正缺口是一个可部署的 interface：既要足够几何化，使仿真控制不需要真实事件生成；又要足够神经形态化，使 raw events 到 observable 的映射能在 Loihi 上跑；还要足够低维，使控制器可简单到能和 spike decoding 合并。

Core Idea

核心思想是 split-and-merge：训练时把视觉和控制拆开，部署时把它们通过线性接口重新合并。视觉端在真实机载事件数据上自监督学 optical flow / ego-motion observable，避免事件相机仿真的 reality gap；控制端只看低维 visual observables，在快速无人机动力学仿真里学习线性控制映射，避免生成视觉事件。部署时利用几何变换和控制器都是线性的事实，把 spike decoding、ROI flow 到 observable、observable 到 control command 合成一个线性读出。

这个建模方式的本质变化是：不再把 neuromorphic policy 当作黑箱 visuomotor policy，而是强行插入一个几何上有意义、硬件上便宜、控制上可用的 latent variable。它引入的 inductive bias 很强：下视、平面、静态、四角光流足以编码未尺度化速度和 yaw rate。正是这个 bias 让网络小到可部署，也让 sim-to-real 可控。

和 prior 的本质区别不在 SNN neuron model，也不在 contrast maximization 本身，而在把已有 event optical flow、自监督 SNN、optic-flow-based flight control、Loihi deployment 组织成一个真正闭环的 sensorimotor system，并且让中间接口既可训练又可硬件合并。

Method

1. 视觉表示压缩：只处理图像四角 ROI，而非整幅图像。它解决的是 Loihi 可部署性和 200 Hz 带宽问题。为什么需要它：全分辨率 dense optical flow SNN 太大，事件 I/O 也扛不住。核心变化是把 dense vision problem 改成几何足够的 sparse flow sampling problem。

2. 平面 homography / visual observable 接口：四角 ROI flow 在静态平面假设下线性编码相机未尺度化速度和 yaw rate。它解决的是视觉到控制之间的 representation alignment。为什么需要它：如果中间表示不可解释，控制训练必须面对真实视觉仿真；如果中间表示太高维，硬件和控制都不可控。

3. 自监督 contrast maximization 训练视觉 SNN：它解决 event optical flow 缺少密集标注的问题，也避免依赖事件仿真。其有效性来自事件边缘运动导致的时空 blur：正确 flow 能把事件 warp 得更 sharp。这里不是新 loss，而是把它约束到可 Loihi 部署的 SNN 和四角 ROI 设置中。

4. 量化感知 SNN 训练：它解决 Loihi 整数权重、状态和 neuron dynamics 与软件训练不一致的问题。核心变化是把硬件误差提前纳入训练，而不是训练后硬映射。该部分更偏 engineering，但没有它部署性能会掉。

5. 仿真中进化线性控制器：它解决控制参数学习和 sim-to-real 的问题。选择进化算法和线性映射不是因为最强，而是因为控制维度低、目标简单，并且线性控制可与视觉 decoding 合并。这里的能力上限也由此被限制。

6. 线性合并：这是系统层面的关键 trick。它减少了 Loihi 输入输出 spike 通信和额外编码开销，使 pipeline 在真实闭环频率下可运行。这个机制比单个网络结构更重要。

Key Insight / Why It Works

最重要的原因是问题被重新参数化了。作者没有让 SNN 学“飞行”，而是让 SNN 学一个在该场景下强几何约束的视觉量；也没有让 controller 从 pixels/events 学动作，而是从低维 visual observables 学 setpoint tracking。这是典型的 latent structure / representation alignment，而不是纯 scaling。

真正核心贡献是 interface design：四角 optical flow → planar ego-motion observable → low-level control。这个接口同时满足三个约束：视觉可由事件自监督学习，控制可在廉价仿真中训练，硬件部署可通过线性合并减少通信。没有这个接口，fully neuromorphic 端到端大概率会被事件仿真、SNN BPTT 和 Loihi I/O 卡死。

视觉 SNN 本身并不是性能最强；表格里 ANN Conv-GRU 明显更准，Conv-RNN SNN 也可更强。本文选择 Self-RNN SNN 更多是因为 Loihi compatibility 和资源约束。因此“视觉算法创新”不是主贡献，主贡献是受硬件约束下找到足够好而非最优的表征。

控制部分更不是强 RL/control 贡献。线性 controller 在真实水平飞行高速度 setpoint 下达不到目标，PI 明显更快且能消除稳态误差。这里的 learned controller 更像是为了保持 fully neuromorphic / linear merge 的系统设计选择，而不是比传统控制更好。

能耗结果的技术含义也要拆开看：Loihi 的动态推理功耗很低，证明稀疏事件 + SNN 在芯片级确实有优势；但系统级收益受 idle power、host CPU、USB I/O、PX4、整机动力功耗影响。论文对 chip-level inference efficiency 的 claim 支撑较强，对 insect-scale system-level autonomy 的外推还偏愿景。

泛化方面，方法的 robustness 主要来自几何 inductive bias 和事件相机对高动态范围/低延迟的传感特性，不是来自大规模 data coverage。不同光照和 flicker 测试有意义，但仍在同一类平面纹理场景内。若换成非平面、动态障碍、弱纹理、多高度复杂环境，当前机制是否成立文中未充分说明。

Relation To Prior Work

这篇属于 event-based vision、SNN optical flow、optic-flow MAV control、neuromorphic hardware deployment 的交叉谱系。最接近的路线包括：EV-FlowNet / contrast maximization event optical flow，自监督 SNN optical flow；optic-flow divergence landing；Loihi 上的 neuromorphic UAV 控制；以及更早的低维 neuromorphic robot navigation。

看似新的部分很多其实是已有思想重组：contrast maximization 不是新，planar homography / optical-flow observables 不是新，evolutionary controller 不是新，Loihi LIF 部署也不是新。真正新增的信息是：这些组件经过强约束重组后，能否在真实无人机上构成 raw-event-to-control 的闭环，并达到 200 Hz 级别。

相对 prior 的本质差异是复杂度层级。过去 neuromorphic robot work 常是低维输入、简单分类、light following、单轴 landing，或者视觉仍由 conventional pipeline 完成。本文把视觉估计和控制都推入 neuromorphic pipeline，且控制 3D ego-motion observables，而不是只控制一个 divergence 或 roll angle。

相对 learned end-to-end visuomotor policy，它更保守也更实际：放弃端到端表征自由度，换来可解释中间变量和 sim-to-real 稳定性。相对传统 optical-flow flight control，它新增的是 SNN/event/hardware execution，而不是控制理论本身。

Dataset / Evaluation

视觉数据来自真实无人机搭载 DVS 240 在同一室内平面纹理环境采集，约 40 分钟，训练/测试分开，并用 mocap 只做评估。这个设置非常契合论文目标：避免事件仿真误差，验证真实事件到 flow observable 的估计能力。但它不是跨场景视觉泛化 benchmark。

真实飞行评估是论文最有价值的证据：闭环控制不依赖外部定位，能完成 hover、landing、横向运动、yawing 同时运动和方形轨迹；还测试了光照变化和 flicker。它确实支持“在受约束环境中 fully neuromorphic vision-to-control pipeline 可工作”。

但 evaluation 不支持更强 claim：比如通用自主飞行、复杂场景导航、避障、长期状态估计、规划能力。任务覆盖主要是 ego-motion setpoint tracking；环境主要是静态平面地面；真实控制还依赖 PX4 低层 controller 和 IMU 姿态。

与 PI controller 的对比反而暴露了 learned linear controller 的上限：视觉估计可用，但控制器不是最佳，稳态误差明显。这个结果很诚实，也说明论文的贡献不应被解读为 learned neuromorphic control 超越经典控制，而是 neuromorphic closed-loop feasibility。

Limitation

最核心限制是强环境假设：下视相机、静态平面、纹理丰富地面、无遮挡、可由四角光流解释 ego-motion。这个假设一旦破裂，四角 ROI 的 low-dimensional observable 可能不再代表真实运动，controller 没有机制区分视觉异常、动态物体或非平面结构。

第二个限制是控制表达能力。线性 controller 加上无积分项导致稳态误差，真实动力学/drag mismatch 无法自我修正。文中 PI controller 的表现说明，不是视觉估计完全限制了性能，而是为了 neuromorphic 合并牺牲了控制能力。

第三个限制是 scalability。当前 SNN 通过裁剪 ROI、限制事件数、低分辨率、self-recurrence、量化来适配 Loihi。这证明了可部署性，但也意味着方法扩展到更大 FOV、更复杂 motion、更高语义任务时可能迅速撞到 neuron/synapse/I/O 墙。所谓 fully neuromorphic 的范围也仅到 vision-to-control command，传感预处理、host 通信和 autopilot 仍非神经形态。

第四个限制是增益归因不完全清楚。低功耗来自 Loihi、稀疏事件、很小网络、ROI 裁剪和简单线性控制的组合；到底哪部分在系统级最关键，文中没有完全拆开。芯片动态功耗优势很强，但整机功耗和硬件重量层面的最终收益仍需未来硬件验证。

第五，泛化证据有限。光照/flicker 测试说明对事件统计扰动有一定鲁棒性，但不等于跨纹理、跨场景、跨高度、跨动态环境泛化。核心能力可能主要来自几何先验和训练/测试环境重合，而非 SNN 学到了更一般的视觉运动理解。

Takeaway

  • 1. 这篇真正推动的是 neuromorphic robotics 的系统可行性边界：从 toy neuromorphic control 往真实 raw-event-to-control 飞行闭环推进了一步。
  • 2. 最值得迁移的 insight 是 split-and-merge：用可解释、低维、线性的中间表征把真实感知学习和仿真控制学习拆开，再在部署时合并以降低 I/O 和延迟。
  • 这个思想可用于其他资源受限机器人，不限于 SNN。
  • 3. 强 inductive bias 比端到端自由度更重要。

一句话总结

这篇论文不是提出最强事件视觉或最强无人机控制器，而是在强几何先验和硬件约束下，把自监督 SNN 视觉、低维 ego-motion 表征和线性控制重新组织成首个有说服力的真实无人机 fully neuromorphic vision-to-control 闭环。