Science Robotics / Research Article

Learning sensorimotor control with neuromorphic sensors: Toward hyperdimensional active perception

作者：A. Mitrokhin, P. Sutor, C. Fermüller, Y. Aloimonos · 单位：Department of Computer Science, University of Maryland, College Park, MD 20742, USA · 来源：Science Robotics · 发布日期：2019-05-22 · DOI：10.1126/scirobotics.aaw6736

强化学习机器人

精读笔记

Problem Setting

这篇论文实际解决的是 sensorimotor representation alignment：如何让 DVS 感知、机器人动作/速度和时间历史在同一个空间中被表示、绑定、检索和更新。

关键矛盾不是事件相机速度估计本身，而是 active perception 中“感知是高维异步流、动作是低维连续控制、历史是变长序列”这几类对象的结构不兼容。传统路线一般是：事件流先变成图像/体素/光流特征，控制量另行编码，然后通过神经网络或滤波器后融合。这种 pipeline 可以工作，但绑定关系只存在于模型参数里，不是表示空间的原生操作；一旦需要记忆某次感知-动作经验、反向查询、在线追加经验或跨模态组合，就会变得笨重。

作者真正想做的是把 active perception 中的“what / when / how / where”都变成同一种可代数操作的对象。本文只验证了其中一个简化切面：DVS motion perception 与 ego-motion/action variable 的绑定和检索。

Motivation

已有路线的问题在于缺少统一表示。视觉、动作、时间、语义、位置通常各自有自己的 embedding，然后靠 concatenation 或网络融合。这种方式对 supervised prediction 足够，但对 active perception 不够自然，因为 active perception 需要的是一种可以把感知和动作经验写入、取出、组合、比较的记忆结构。

作者的核心观察有两个。第一，DVS 更接近“运动视觉”，事件流直接编码亮度变化和运动边界，因此比 frame-based RGB 更适合与自运动、导航、避障这类动作变量绑定。第二，高维二值向量天然具备近似正交、抗噪、可叠加和可反绑定的性质，适合做跨模态统一货币。

关键缺口不是缺一个更深的网络，而是缺一种 representation-level 的 sensorimotor binding primitive。HBV 被用来填这个缺口：它让“感知-动作对”变成一个可以被写入 memory、用 Hamming 距离近似检索的对象。

Core Idea

论文的核心思想是：不要把感知和动作分别编码后再交给模型学融合，而是从表示层面强制所有 modality 进入同一个高维二值空间，并且让绑定、顺序、集合、记录这些结构通过固定代数操作完成。XOR 负责可逆绑定，permutation 负责位置/顺序，consensus sum 负责 superposition memory。这样感知-动作关联可以被构造成固定维度的 memory record，而不是网络隐层中的隐式相关性。

这个建模方式引入的 inductive bias 很明确：高维随机空间中不同原子几乎正交，因此大量对象可以被叠加而不立即混淆；只要某个绑定项在查询时被部分抵消，正确项会从随机噪声中显著偏离 0.5 Hamming distance。这使得系统更像 associative memory / content-addressable memory，而不是端到端函数逼近。

和 prior 的本质区别不在于 DVS time image 或速度估计，而在于把 sensorimotor association 设计成可组合、可逆、固定长度的符号-分布式混合表示。它可能更 scalable 的地方是 memory 写入和在线更新非常便宜；但它的 generalization 更接近“在设计好的离散/连续 HBV 空间中做近邻泛化”，不是深度模型意义上的层级抽象泛化。

Method

1. 结构化 HBV 编码：解决“随机向量没有数值语义”的问题。对于强度、速度这类连续/有序变量，作者不是直接随机分配 HBV，而是通过距离结构或能量最小化让相邻数值在 Hamming 空间中也相近。必要性在于后续检索依赖 Hamming 距离；如果编码不保序，速度 bins 和强度 bins 的相似性会丢失。

2. 用 permutation 编码空间与时间：解决“固定长度向量如何表达位置和顺序”的问题。图像中的像素值通过行/列 permutation 放到相应位置，序列通过重复 permutation 表示时间顺序。核心变化是图像/历史不再是矩阵或变长序列，而是同维度 HBV；平移、拼接、删除可以用向量操作近似实现。

3. 用 XOR binding 构造感知-动作记录：解决“跨模态如何绑定且可反查”的问题。速度分量、视觉 time image、时间/字段 identifier 被绑定进同一个 data record。给定视觉向量，可以通过与字段标识反绑定并做最近邻检索找回动作变量。这里的本质是 key-value memory，而不是传统回归模型。

4. 用 consensus sum 聚合经验：解决“多条经验如何在线写入固定容量 memory”的问题。多条感知-动作记录被叠加到一个 HBV memory 中，查询时正确项表现为对随机噪声的统计偏置。它带来的变化是训练近似变成单遍写入；代价是容量有限，且噪声随写入项增加而上升。

5. DVS time image 作为事件流中间表征：解决“异步事件如何进入 HBV 图像编码”的问题。time image 把局部时间戳投影成图像平面信号，保留运动信息并降低处理复杂度。这个部分更偏 engineering bridge，不是 HBV 理论的核心。

Key Insight / Why It Works

最核心的有效性来自高维空间中的统计分离，而不是神经网络学习能力。随机 HBV 之间的 Hamming 距离高度集中在 0.5 附近；一旦查询中有一项被正确反绑定，结果会对目标向量产生可检测偏置。换言之，系统利用的是“随机噪声中的弱相关可被高维平均放大”这一机制。

这本质上是 retrieval + representation alignment。感知-动作绑定后，推理过程更像从 associative memory 中取出与当前视觉模式最相关的速度类，而不是学习一个具有强外推能力的动力学模型。所谓 memory 可以压缩很多帧，也依赖于 superposition 后目标项仍能在 Hamming 统计上显著偏离随机项；容量曲线显示这有上限。

最可能的核心贡献是：把 DVS motion perception 和动作变量放进一个可反绑定的 HDC/HBV memory 框架，并展示这种框架可以单遍写入、快速查询、跨模态绑定。最不核心的部分是用 MLP 学 HBV 到速度的回归；这更多是在证明 HBV 没有完全破坏信号，而不是 HAP 的关键。

论文中一些 claim 需要降温。active perception 的大部分高层问题——主动选择视角、控制传感器、长期规划、目标驱动感知——在本文没有真正验证。MVSEC ego-motion 结果更像低维 motion class retrieval；泛化可能主要来自事件视觉中的运动模式和训练/测试分布相近，而不是表示本身具备强语义迁移能力。增益来源不清：DVS 的 motion bias、time image 表示、HBV 保序编码、少样本 memory retrieval 各自贡献没有被干净拆开。

Relation To Prior Work

这篇论文处在三条谱系的交叉点：Kanerva-style hyperdimensional computing / vector symbolic architectures，event-based vision for motion perception，以及 active perception / sensorimotor coupling。

和传统 event-based learning 相比，它没有重点追求更强的光流、深度或 ego-motion 网络，而是把事件相机输出变成可绑定 memory 的对象。和 CNN/RNN/SLAM 类方法相比，它弱化了层级特征学习和几何建模，强调在线写入、近似检索和跨模态组合。

和经典 VSA/HDC 相比，很多操作并不新：XOR binding、permutation sequence encoding、superposition memory 都是已有思想。本文的实质新增在于把这些操作系统性放到 DVS sensorimotor setting 中，并用真实机器人/DVS/MVSEC 任务展示它们不只是玩具符号结构，而能承载一定真实运动估计信号。

看似新的“hyperdimensional active perception”更多是一个研究纲领，而非完整方法论。它真正新增的信息是：事件视觉的稀疏运动结构与 HDC 的高维绑定/记忆机制可能天然匹配；这是比单纯把 RGB feature concat 到 policy 更底层的一种融合方式。

Dataset / Evaluation

评估覆盖了自采 quadrotor DVS 数据和 MVSEC 车载事件相机数据，包含真实传感器和真实运动轨迹，这一点比纯仿真或 toy HDC 任务更有说服力。实验也展示了少量样本、单遍构造 memory、快速查询这些特性，确实支撑了“HBV 可以做在线 sensorimotor memory”的 claim。

但评估没有充分支撑完整 active perception。任务主要是被动给定事件流后估计速度/ego-motion，没有闭环控制，没有主动选择感知目标，没有长期策略优化，也没有证明 memory 会改善未来感知行为。它验证的是 representation and retrieval，非 active control。

和深度方法的比较也需要谨慎。CNN 对 time image 的速度回归略好于 HBV+MLP；HBV 在 MVSEC 中强调少训练样本和推理速度，但不同训练量、监督形式、离散化策略和任务设置并不完全对齐。benchmark 更支持“这是一种高效少样本替代路线”，不支持“整体优于深度事件视觉”。

跨场景方面，MVSEC day/night 子集给了一定分布变化，但训练样本来自同类驾驶数据，且任务是低维自运动估计。泛化是否来自 HBV 表示本身，还是来自运动模式在数据集中足够重复，文中未充分说明。

Limitation

1. 方法成立依赖良好的原子编码。数值变量需要在 Hamming 空间中保序，图像位置需要 permutation 设计，速度需要 binning。很多“泛化”其实被前置到编码设计里；如果编码不合理，HBV 的随机正交性只会带来不可解释噪声。

2. 容量不是免费午餐。固定 8000-bit memory 能叠加很多项，但随着记录增加，正确项偏置会被 consensus 噪声淹没。论文给了容量趋势，但实际系统中长期在线运行会面临遗忘、冲突、重写和 memory management 问题。这里没有真正的 lifelong memory 机制。

3. 泛化更像局部检索。给定视觉模式找速度，核心能力可能主要来自数据覆盖和相似事件模式的重复出现。对于 novel dynamics、复杂交互、遮挡、语义变化或 long-horizon planning，这种 memory retrieval 不一定能外推。

4. 对高密度视觉不占优。作者也承认 RGB frame 的 dense information 更适合 CNN。HBV 目前缺少局部卷积、层级组合、多尺度结构这类强视觉 inductive bias。把整张图压成一个 HBV 会牺牲可学习的局部结构，除非发展新的 HBV convolution / hierarchical HDC。

5. active perception claim 偏大。本文没有展示 agent 根据任务目标主动决定看哪里、何时看、如何移动传感器。所谓 HAP 更像表示层 proposal；控制层和规划层尚未形成。

6. 增益归因不清。DVS、time image、HBV binding、少样本 memory、速度离散化共同作用，但消融不足。某些结果可能主要来自事件相机对运动估计的强先验，以及任务本身可由近邻匹配解决。

Takeaway

  • 1. 最值得记住的是“sensorimotor fusion 可以被设计成可反绑定的 memory operation”，而不必总是作为网络隐层中的 latent fusion。
  • 这个 insight 可以迁移到触觉-动作、语言-动作、导航记忆等场景。
  • 2. DVS 与 HDC 的组合有天然匹配点：事件流稀疏、时间精度高、强调运动；HBV 固定长度、抗噪、适合在线写入。
  • 未来如果要做低功耗、边缘端、在线适应的机器人系统，这条路线值得关注。

一句话总结

这篇论文是把 hyperdimensional computing 从符号式/记忆式表示推进到事件视觉 sensorimotor binding 的早期尝试，真正贡献在于提出一种可在线写入、可反绑定、固定维度的感知-动作记忆机制，而不是完成了完整的 active perception 或控制学习框架。