IEEE Transactions on Robotics

PS3N: Probabilistic Spiking Structured State-Space Networks for Event-Based Visual-Tactile Slip Detection

作者：Senlin Fang, Yilin Li, Peng Wu, Yiru Wang, Shu Zhang, Zihan Wang, Bozhan Cao, Hoiio Kong, Zhengkun Yi · 机构：Faculty of Data Science, City University of Macau, Macau, China; Guangdong Provincial Key Laboratory of Robotics and Intelligent System, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, Shenzhen, China; Xinyang Agriculture and Forestry University, Xinyang, China; Beijing Normal-Hong Kong Baptist University, Zhuhai, China; Shenzhen University of Advanced Technology, Shenzhen, China; University of Nottingham Ningbo China, Ningbo, China; Key Laboratory of Biomedical Imaging Science and System, Chinese Academy of Sciences, Shenzhen, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：2196-2214

操作触觉传感器视觉

精读笔记

Problem Setting

论文标题：PS3N: Probabilistic Spiking Structured State-Space Networks for Event-Based Visual-Tactile Slip Detection（IEEE Transactions on Robotics / 2026）。

这篇论文真正处理的是事件视觉-触觉滑移检测中的“短时状态转移识别 + 长序列高效训练 + 多模态可靠性变化”问题。滑移不是常规视频分类：正样本时间窗极窄，标签高度稀疏，预测早晚都可能影响机器人控制价值。因此模型需要同时具备毫秒级时间定位、对局部瞬态事件的敏感性，以及对 ego-motion、光照、反光、透明物体导致的伪事件的抑制能力。

以前方法的卡点很清楚：ANN/3D CNN/Transformer 可以并行，但对事件数据的稀疏异步结构不够友好，容易把事件帧当普通视频处理；SNN 更自然，但 recurrent LIF 的逐时间步状态更新导致训练慢、长序列扩展差；已有 visual-tactile event slip 工作的数据覆盖太窄，很难判断模型是否真的学到滑移机制，还是记住特定物体/场景。这个任务的关键矛盾是：越想保留事件/SNN 的时间精度，越容易陷入串行递推；越想并行训练，越容易丢掉 spike-like 的时间归纳偏置。

Motivation

作者的动机不是单纯提高分类精度，而是试图把 SNN 的事件友好性和 SSM/卷积模型的并行性合并起来。核心观察是 LIF 膜电位的 leak integration 本身就是指数衰减的线性动态系统；如果去掉 reset 造成的 piecewise nonlinearity，并用概率 firing 替换硬阈值，就可以把时间递推展开成因果卷积。

另一个缺口在 benchmark：已有 event-based slip detection 多集中在有限物体或单一材料，缺少透明、金属、强反光、低光照、不同 post-grasp motion 的真实机器人数据。对滑移检测来说，这不是数据集“更大一点”的问题，而是决定视觉/触觉模态可靠性是否会随时间和环境切换。DTMF 的动机正来自这里：视觉和触觉不是固定互补，而是 time-varying reliability 的专家系统。

Core Idea

PS3N 的核心思想是把 SNN 的时间状态更新从 autoregressive computation 改写成 structured convolution。传统 LIF 是按时间步递推膜电位并触发 spike；PS3N 则先用指数衰减核把输入电流序列卷积成整段膜电位轨迹，再并行计算 firing probability。这个改变的本质是：时间记忆不再存放在 recurrent execution 中，而是显式编码在 decay kernel 里。

这个设计引入的 inductive bias 很适合滑移：滑移早期信号通常是局部、短程、快速衰减的动态变化，而不是需要几百步累积的长期语义依赖。local decaying kernel 相当于强迫模型关注最近窗口内的事件变化，并按时间距离指数衰减；这比通用 Transformer 的全局 attention 更强约束，也比传统 SNN 更可扩展。DTMF 进一步把多模态融合从静态 feature 合并改成逐时间步置信度分配，使视觉在可见运动阶段、触觉在接触微滑阶段分别占优。

Method

方法层面值得保留的机制只有几个。

1. LIF dynamics 的线性化：作者将膜电位更新写成 u_t = A u_{t-1} + B x_t，并移除 reset。reset 是传统 SNN 中阻碍并行化的核心非线性之一；去掉后，膜电位轨迹可以被展开成输入历史的指数加权和。这个操作解决的是训练结构问题，而不是表达能力问题。

2. 卷积式 SSM：将全历史衰减和写成 causal convolution。全局核理论上保留长记忆，但计算代价随序列长度上升；local decaying kernel 用固定窗口 K 截断历史，把复杂度转成 O(TK)。这一步的核心变化是用一个显式的短程时间先验替代递推隐藏状态。

3. PSM：用 Logistic CDF 形式表示膜电位超过阈值的概率，替代 Heaviside spike。它解决两个问题：硬阈值不可导，以及传统 surrogate gradient 的不精确。更重要的是，它给模型输出不确定性提供接口。但这里要注意：概率 spike 是否对应真实 epistemic/aleatoric uncertainty，文中未充分说明。

4. DTMF：每个模态输出均值和方差，置信度大致按 mean / uncertainty 计算，再归一化作为 gating 权重。这不是复杂的 cross-modal reasoning，而是 uncertainty-weighted late fusion。它的必要性来自视觉/触觉可靠性随材料、光照、接触阶段变化，而固定 concat/attention 未必能稳定处理这种时间变化。

Key Insight / Why It Works

最可能真正有效的是 temporal inductive bias，而不是“概率 SNN”这个命名本身。滑移检测需要识别短时间窗内事件率和局部运动模式的突变；指数衰减卷积天然强调近期变化、抑制远期无关历史。这比 Transformer 在小数据长序列上更不容易过拟合，也比 3D CNN 更接近 LIF 的动态记忆形式。

PS3N 的效率增益基本来自把 recurrent SNN 改成并行卷积，这是结构性收益，不是调参收益。28× 训练速度提升并不神秘：它本质上避免了 time-step-wise forward/backward 和 BPTT。这里的贡献更像“把 SNN 中可线性化的部分抽出来，用 SSM/conv 实现”，属于 memory reuse / better computation graph，而不是新的神经动力学理论。

性能增益可能有三类来源。第一是更合适的短程动态 bias，尤其对 sparse event frame 有利。第二是 local kernel 的正则化作用，使模型在小数据上比 ViT/Swin 更不容易学到背景运动或物体外观 shortcut。第三是 EVTS 数据覆盖让模型学到了更多材料/光照条件下的 slip cue。但第三点也意味着部分提升可能主要来自 data coverage，而不是模型本身的泛化能力。

DTMF 的 recall 提升符合预期：多模态 late fusion 往往会增加对弱 slip signal 的敏感性，从而减少漏检；precision 稍降也说明它不是神奇地提高判别边界，而是在 recall-precision tradeoff 上偏向机器人安全需求。文中把 variance 当 reliability 使用，但没有充分证明该 variance 已被校准。因此 DTMF 的“uncertainty-aware”更稳妥地理解为 learned confidence gating，而不是严格贝叶斯不确定性建模。

需要警惕的是，PSM 和 activation reparameterization 的理论包装可能大于实际贡献。真正决定效果的可能是：2D spatial encoder + decaying temporal convolution + late fusion，而不是 stochastic spike sampling。若没有更细粒度消融，例如 deterministic sigmoid firing、普通 TCN decay kernel、SSM without spiking terminology 的对比，增益归因仍不完全清楚。

Relation To Prior Work

这篇最接近的技术谱系不是传统机器人触觉网络，而是 SNN 与 structured state-space / temporal convolution 的交叉。它借用了 S4 类模型的核心思想：把线性状态递推转成卷积，从而并行化长序列建模；同时保留 LIF 中 leak integration 的形式，使其看起来仍属于 spiking/event-driven family。

与传统 SNN 的本质差异是执行图：传统 SNN 的时间状态是运行时递推产生的，PS3N 的时间状态是卷积一次性生成的。与 TCN/1D temporal conv 的差异则在 kernel 形状：PS3N 使用 LIF 启发的指数衰减核，而不是完全自由学习的 temporal filters。这个 bias 更强，也更可解释，但表达上限可能低于自由卷积或 attention。

与已有 visual-tactile fusion 工作相比，DTMF 的新增信息在于按时间变化的 modality reliability，而不是简单 feature-level interaction。它不像 cross-attention 那样建模复杂跨模态 token 对齐，而是把问题简化为两个专家的动态加权。这种简化在 slip detection 中可能正合适，因为任务目标是及时检测状态转移，不需要丰富语义融合。

看似新的部分中，SSM 化、局部卷积、概率激活、uncertainty gating 都不是全新思想；实质创新在于把这些机制组合到 event visual-tactile slip detection 中，并针对 SNN 的训练瓶颈给出一个工程上有效的替代路径。

Dataset / Evaluation

EVTS 是论文很重要的一部分。它覆盖真实 UR5 + Robotiq 抓取、腕部事件相机、Evetac 事件触觉、30 个物体、透明/金属/常见物体、三种光照和三种 post-grasp motion。相比此前 LEGO 或少量物体设置，它确实更能暴露视觉退化、触觉接触变化、ego-motion 干扰等实际问题。

评估协议使用 slip onset 附近 [-50ms, +20ms] 的窗口，这符合控制任务中“早于宏观滑移做反应”的需求。但这也会鼓励模型在 onset 前预测；论文中所有模型都出现接近 -10 到 0 ms 的分布，不应被过度解释为模型真正预知了未来，而是标签设计与事件信号早期变化共同造成的结果。

实验基本支持“PS3N 比 recurrent SNN 更高效、比通用 ANN 在该数据上更稳”的 claim，也支持“DTMF 比固定融合更适合 time-varying modality reliability”。但 evaluation 仍主要是离线检测。闭环抓取成功率、grip force adjustment 的实际收益、不同机器人/传感器布局下的 transfer，没有被充分验证。cross-domain transfer 有展示，但不是论文主实验核心，且结论仍偏有限。

Limitation

第一，PS3N 的成立依赖短程记忆假设。local decaying kernel 对滑移合理，但对需要长时间上下文、阶段性任务历史或复杂接触序列的机器人任务可能不够。它把 recurrent SNN 的长程状态建模问题转移成了 kernel window 选择问题。

第二，去掉 reset 后，模型与生物/传统 LIF 的关系被弱化。它保留的是 leak integration 形式，而不是完整 spiking neuron dynamics。因此“preserving temporal precision of SNN”需要谨慎理解：它更像 LIF-inspired temporal filter，而不是原生事件驱动 SNN。

第三，uncertainty 的可靠性没有充分闭环。PSM 输出方差是否校准？不同模态方差是否可比较？DTMF 里的 alpha/beta 是否对结果敏感？文中未充分说明。如果方差只是训练中形成的 gating feature，那么 DTMF 的理论解释会弱一些。

第四，EVTS 虽然更丰富，但仍可能存在 benchmark overlap：同一物体、类似抓取姿态、固定机器人和传感器几何可能让模型学习到场景特定 shortcut。Grad-CAM 显示关注接触边界是正向证据，但不能排除模型利用特定物体运动模式或事件强度分布。

第五，实际 deployment 与离线 benchmark 有距离。论文使用 100 Hz 事件离散化，远低于事件相机本身能力；同时 gripper 控制延迟约束闭环频率。也就是说，传感器低延迟优势在当前系统中没有完全转化为控制闭环优势。

Takeaway

  • 1. 对事件序列任务，很多 SNN 的优势可以被重新表达为结构化时间滤波器，而不必坚持逐时间步递推。
  • LIF-inspired decay kernel 是一个值得迁移的 inductive bias。
  • 2. 在小规模真实机器人长序列数据上，强约束的 temporal convolution 往往比大 Transformer 更可靠；这里的 generalization 更可能来自合适 bias + 数据覆盖，而不是模型规模。
  • 3. 多模态机器人感知中，关键不是“融合更多模态”，而是识别每个时间点哪个模态可信。

一句话总结

PS3N 是一篇把 SNN 的 LIF 时间记忆改写成可并行 SSM/衰减卷积、并用不确定性 gating 做事件视觉-触觉滑移检测的工作，真正贡献在于用更合适的短程时间归纳偏置和真实多条件数据集推进了事件式机器人滑移感知，而不是提出了全新的 spiking 理论。