精读笔记

Problem Setting

这篇论文真正处理的是一个硬件受限的三维感知问题：在微型机器人/边缘平台上，如何同时获得宽视场、运动敏感性、深度估计和低能耗。传统 CMOS 双目或 optical flow pipeline 的瓶颈不是算法是否可用，而是信息表示过重：先读完整二维帧，再经 ADC、存储、ISP、内存访问和后端计算得到运动/深度。对于小型自主系统，这个 pipeline 的数据搬运成本比感知本身更像主问题。

关键矛盾是：复眼结构天然适合宽 FoV 和 motion cue，但单目复眼对静态深度弱；双目视觉有深度，但如果仍按传统成像方式实现，就丢掉复眼在边缘低功耗上的优势。论文试图把这两个优点合并：用双目重叠 FoV 解决深度，用 in-sensor temporal encoding 避免完整图像计算。真正困难点在于如何不显式计算 disparity / optical flow，却仍保留足够的几何和时序信息供小模型回归 3D 状态。

Motivation

作者的出发点不是单纯仿生，而是利用螳螂视觉中的一个结构性缺口：多数昆虫复眼依赖 motion parallax，静态深度能力弱；螳螂的左右复眼有较大重叠 FoV，可以形成 stereopsis。这个观察对人工系统的意义在于：复眼的宽 FoV/稀疏方向采样不必与双目深度互斥。

已有路线的问题有两类。人工复眼/事件式或类神经视觉通常能降低数据量，但深度感知能力有限或依赖运动；传统双目/ToF/CMOS optical flow 能给出几何量，但硬件复杂且需要高带宽 readout。作者认为缺的是一种“传感器端已经带时序记忆和压缩编码”的双目复眼，而不是又一个后端 stereo network。

Core Idea

核心思想是把“运动线索的形成”前移到传感器内部。每个像素不是只输出当前光强，而是通过 ReRAM 保存上一时刻的光刺激，再在下一时刻用正/反偏读出组合状态。这样，传感器输出天然包含 temporal transition：目标是否进入、离开、持续存在或不存在。它相当于把两帧差分、短时记忆和部分编码压进像素器件物理过程。

第二个关键是用左右两个半球复眼提供重叠 FoV 下的双目几何约束，但不显式做视差匹配。左右眼各自产生低维行/列汇聚的 encoded cue，后端小 CNN 只学习从这些 cue 到 3D 坐标与速度的映射。和 prior 的本质区别是：它不是优化 stereo/flow 算法，也不是先重建图像再推理，而是重新组织了感知信息流——用硬件结构和器件状态定义一个低维、任务相关的表示。

Method

1. 半球形复眼几何：解决宽 FoV 与方向采样问题。每个像素通过微透镜限制 acceptance angle，形成类似 ommatidium 的离散方向通道。其作用不是提高图像质量，而是把空间方向编码到像素位置和表面法向中，为后端学习提供稳定几何先验。

2. 1P-1R 像素级短时记忆：解决 optical flow 需要连续帧比较的问题。ReRAM 在 t1 被光生电流编程，t2 读出时结合当前光照状态，直接区分时序变化。核心变化是避免把 t1/t2 两帧都搬到外部存储再比较，减少 memory traffic。

3. One-shot 行/列读出：解决二维阵列逐像素 readout 的数据量问题。作者把 16×16 阵列压成行/列方向的 1D 汇聚特征。这个操作牺牲了部分空间可分辨性，但保留了对单目标位置/运动足够的投影信息。

4. 双目共享特征提取 + 融合回归：解决左右眼信息对齐与资源受限推理问题。左右 CNN 共享权重，相当于假设两眼传感器统计和特征结构一致；融合层学习双目几何反演。所谓 federated split learning 在本文更多是一个训练/部署框架包装，机制上最关键的是 Siamese-like 双目编码与局部小模型回归。

Key Insight / Why It Works

最重要的有效性来源不是网络结构，而是 representation engineering：把任务从 dense image understanding 降成了受控几何下的低维状态回归。对于单个简单目标，行/列投影 + 左右视角差异已经足以定位目标中心和运动方向；完整图像中大量纹理、背景和像素级细节对这个任务是冗余的。因此它能在小模型和低功耗硬件上工作。

第二个关键是 memory reuse。ReRAM 不是作为通用存储器，而是作为像素内 temporal state，使得“上一帧”不需要经过外部 memory hierarchy。这一点是论文最实质的硬件贡献：减少数据搬运，而不是减少一次 MAC。能耗优势主要来自把前端 preprocessing 物理化/局部化。

第三，双目复眼引入了很强的 inductive bias：固定 baseline、固定半球几何、固定 acceptance angle、固定目标尺度范围。网络学到的是这个传感器几何下的 inverse mapping。这个 bias 在受控任务上非常有效，但也意味着泛化能力高度绑定硬件标定和训练分布。

需要直说：FSNN/FSL 部分的“算法新意”相对弱。左右眼共享 CNN 再融合，本质接近 Siamese stereo/regression；FSL 的叙述更像资源受限训练/部署语境下的工程选择。性能提升的主因更可能是传感器端编码 + 数据维度压缩 + 仿真数据覆盖，而不是 federated split learning 本身。

此外，0.3 cm 级误差不能被解读为通用 3D perception 能力。它更像在已知传感器模型、简单目标、受限空间和充足仿真数据下，学习了一个稳定几何查表/回归器。若背景复杂、多目标或遮挡出现，1D 汇聚编码会产生不可逆混叠，这一点文中未充分说明。

Relation To Prior Work

这篇工作处在三条谱系的交叉点：人工复眼/仿生曲面传感器、in-sensor/near-sensor computing、双目/optical-flow 视觉。和传统人工复眼相比，它的新增点是引入螳螂式 stereoscopic overlap，使复眼不只做 motion parallax，而能估计 3D 位置。和事件相机或 neuromorphic vision 相比，它不是异步事件流，而是用 ReRAM 在像素内存储上一时刻并做受控读出，更偏器件级 temporal encoding。

和传统 stereo/optical flow pipeline 的本质差异在于没有显式几何求解，也不保留 dense image。它把计算从后端算法迁移到传感器物理状态和读出方式中。这个思路和近年的 computing-in-sensor、memristive vision sensor 一脉相承；真正新增的信息是把这种像素内记忆编码与双目复眼几何结合，并在真器件上演示了 3D tracking。

看似新的 FSL 叙述需要谨慎看待。FL/SL 本身不是本文原创，左右眼作为 agents 的设定也没有充分显示出比普通双分支网络更本质的优势。实质创新主要在硬件-表示协同，而不是学习算法。

Dataset / Evaluation

评估由两部分构成：器件级验证和 tracking 任务验证。器件级部分较扎实，证明了 1P-1R 像素、阵列编程、复眼成形、行/列 readout 的可行性。tracking 部分则主要依赖 Unity/ray-tracing 生成大规模训练/测试数据，并基于实验传感器模型进行仿真或半实物验证。

这支持了“在已知几何和受控任务下，该编码足以做低功耗 3D tracking”的 claim，但不足以支持更强的“真实三维场景通用感知” claim。测试目标多为简单物体，空间范围、目标尺度、光照、背景和运动模式都比较受控。文中提到不同形状和光照下性能接近，但没有展示复杂纹理背景、多目标、遮挡、动态光照、器件老化或跨设备迁移。

能耗对比展示了该路线的潜力，但对比基线是传统 CIS + optical flow/processing pipeline，天然会放大数据搬运差异。是否公平计入全部外围控制、模型训练、标定、传感器驱动和实际部署开销，文中未充分说明。

Limitation

1. 表示不可逆压缩带来的上限很明确。行/列汇聚对单目标中心定位足够，但对多目标、遮挡、复杂背景会混叠。这个问题不是后端网络能轻易解决的，因为信息在 readout 阶段已经丢失。

2. 泛化强依赖传感器几何和训练分布。网络学习的是固定 baseline、固定半球半径、固定 pixel FoV、固定目标尺度范围下的 inverse mapping。一旦器件形变、装配误差、ReRAM 漂移或 microlens 非均匀性改变，映射可能需要重新校准。

3. 真实世界闭环能力未被充分验证。论文展示的是 sensing/tracking，不是机器人导航中的长期状态估计、planning 或 closed-loop control。不要把它解读成完整 robotic perception stack。

4. FSNN/FSL 的增益归因不清。低功耗和低延迟主要来自前端 in-sensor encoding 与数据压缩；后端学习框架是否必要、是否优于更简单的 MLP/几何查表/轻量 stereo regressor，文中没有做足够消融。

5. 深度能力来自双目重叠 FoV，但重叠 FoV 与总 FoV、baseline、分辨率之间存在硬件 trade-off。论文展示的 2 cm baseline 和 16×16 阵列适合近距离小范围 tracking；扩展到更远距离或更高精度时，可能需要更大 baseline、更高像素数或更复杂读出，能耗优势可能被削弱。

6. 目标识别与 tracking 被弱化为简单目标的坐标/速度回归。所谓 spatiotemporal perception 没有覆盖语义、场景结构、复杂光流场或目标关联，因此能力边界应理解得比较窄。

Takeaway

• 1. 最值得迁移的 insight 是：不要总把低功耗视觉理解为“更小的 CNN”，更关键的是改变传感器输出的表示，使其直接服务于任务变量。
• 2. 像素内非易失状态适合承担短时视觉记忆，尤其适合 optical flow、motion detection、change detection 这类本来就依赖时间差分的任务；它的价值在于减少数据搬运，而不是模拟神经元概念本身。
• 3. 双目/多传感器系统可以不必显式重建 dense disparity。
• 只要任务是低维状态估计，硬件几何先验 + 学习型 inverse mapping 可能更高效。

一句话总结

这篇论文的核心贡献是把螳螂式双目复眼几何与 ReRAM 像素内时序记忆结合起来，将 3D tracking 从后端密集视觉计算转化为传感器端低维时空编码加小模型回归，是 computing-in-sensor 路线在仿生双目感知上的一次有说服力但场景边界很窄的推进。