精读笔记

Problem Setting

[论文标题] E-TraMamba: A New Paradigm for Efficient Long-Term 3D Feature Tracking with Event Cameras（arXiv preprint / 2026-07-07）

这篇论文解决的不是一般 point tracking，而是 event-dominant 条件下的长时程稀疏 3D feature tracking：输入是高频、异步、稀疏且噪声较重的事件观测，输出要维持少量几何点在时间上的稳定 2D/3D 轨迹。真正困难点在于，事件流本身缺少稳定 appearance frame，局部观测容易受高速运动、遮挡、纹理稀疏和事件噪声影响；而 tracking 又需要跨较长时间范围累积证据，否则很容易漂移或提前丢点。

以前方法卡在一个很典型的三角矛盾：RNN/handcrafted tracker 可以在线、便宜，但长期记忆和全局一致性弱；Transformer/track-any-point 路线能做全局交互，但在高频事件 token 上成本过高；event-assisted 方法用 frame anchor 稳定外观，却牺牲了事件相机最重要的异步低延迟属性。因此本文的关键矛盾是：如何在不退回帧式离散化、不引入二次 attention 成本的情况下，给 event feature tracking 足够长的时空记忆。

Motivation

作者的核心观察是，event tracking 的瓶颈不是单帧或短窗口内的局部匹配，而是长时间窗口内的状态维护。事件相机产生的是连续变化的局部证据，天然更像一个动态系统，而不是一组需要两两 attention 的离散帧 token。若每个 feature trajectory 可以被看作随时间演化的 latent state，那么 SSM/Mamba 这种线性递推模型就比 Transformer 更贴合问题结构。

关键缺口在于：已有 event-dominant tracker 虽然摆脱了 frame dominance，但没有一个足够 scalable 的长程建模 backbone。ETAP、DeepEvT 等更多是在事件 token 表示和 tracking supervision 上推进；E-3DTrack 解决了 3D event feature tracking 的 benchmark 与 pipeline，但长程依赖仍不够强。E-TraMamba 试图补的是“高频事件序列上的长期状态建模器”，而不是一个新的 detector 或 matching trick。

Core Idea

论文真正的核心思想是：把 feature tracking 从“局部 patch matching + 短程更新”改写成“轨迹 token 的状态空间演化”。每个 tracked point 在每个时间窗口被表示成一个 token，token 中融合局部事件证据、相邻窗口 correlation、reference template、位置编码以及深度/视差几何信息；随后用 Mamba 沿时间和空间两个逻辑轴递推更新这些 token。这样，历史证据不通过显式 pairwise attention 保存，而通过 selective state 进入后续预测。

这个建模方式引入的 inductive bias 很明确：轨迹是连续动力系统，点的运动状态可递推，局部事件观测只是状态更新的输入。与 Transformer 的区别不是简单“复杂度更低”，而是信息流被重新组织了：Transformer 偏向在所有 token 间建立显式关联，Mamba 偏向把历史压进可选择性更新的 latent memory。对于 event stream，这种 memory reuse 可能更自然，因为高频窗口之间相邻状态高度相关，重复计算全局 attention 的边际收益不高。

它可能更 scalable 的原因也在这里：当时间窗口拉长时，Transformer 的时空交互成本迅速变大，而 SSM 的递推结构允许更长上下文进入同等预算。它可能更 generalizable 的部分来自几何/运动状态偏置，而不是 Mamba 名字本身；如果事件 tracking 的主要困难确实是状态延续和噪声平滑，那么这种结构会比纯 attention 更稳。

Method

方法上值得保留的机制只有几类。

第一，track token 是把异步事件压缩成轨迹相关证据的接口。事件 patch 给局部时空外观，correlation 给短程位移一致性，reference template/affine alignment 给较稳定的外观锚点，position/depth/disparity 给几何约束。它解决的是事件观测过稀疏、单独 patch 不足以判别轨迹身份的问题。核心变化是：模型不是直接在全局事件图上推理，而是在 point-centric representation 上建模。

第二，四向 Mamba scanning 是长期依赖和跨点一致性的主体。时间正反向扫描让同一点的过去/未来窗口互相校正，空间正反向扫描让同一时刻不同点之间交换上下文。它解决的是单点独立 tracking 容易 drift、遮挡时缺少全局约束的问题。核心变化是：跨时空关系被转成若干条 1D 状态递推，而不是二维/四维 attention。

第三，spline 初始化和 affine predictor 更像 motion prior / search-space reduction。它们不是概念上最核心的创新，但可能对结果非常关键：在高速度事件下，如果候选 patch 中心偏太远，后面的 Mamba 再强也只能处理错误 token。这里的作用是把问题从大范围 correspondence search 变成局部 residual refinement。

第四，统一 stereo 与 monocular+depth 配置的意义主要是让模型可用不同几何来源恢复 3D。它不是一个新的 3D reasoning 机制；更准确地说，是把已有深度/视差作为 token 条件，让 tracking head 输出几何一致的轨迹。

Key Insight / Why It Works

最可能真正有效的部分是“point-centric token + state-space memory”的组合，而不是单独某个模块。事件流的高频性意味着相邻窗口之间状态变化通常连续，很多信息不需要重新全局匹配；Mamba 的选择性状态更新刚好适合做这种历史压缩和噪声平滑。它本质上是在用 better inductive bias 和 memory reuse 替代 Transformer 的 brute-force retrieval。

第二个有效来源是 representation alignment：事件 patch、correlation、template、position/depth 被放进同一个 token，让 Mamba 处理的是已经对齐到 track hypothesis 的信息，而不是原始异步事件云。这大幅降低了序列模型的负担。换句话说，Mamba 并没有直接解决原始 event correspondence；它解决的是“给定一组 reasonably aligned track tokens 后，如何长期稳定地 refine”。这是很重要的边界。

第三个有效来源可能是数据和过滤。EvD-PointOdyssey 的构造非常干净：可见性、深度有效性、最大位移、平均位移、非重叠窗口、点数上限都被严格控制。这会让模型学到稳定的运动和几何统计，但也可能把真实事件 tracking 中最难的 failure recovery、长遮挡、点消失/重现、强噪声数据关联排除掉。因此一部分性能提升可能主要来自 data coverage + clean supervision，而不是模型本身的通用长程推理能力。

消融结果支持 Mamba 在更长窗口下比 Transformer 更合适，但也暴露了一个细节：短窗口时 Transformer 反而略好，说明 Mamba 的优势不是普遍表达能力更强，而是预算受限时能用更长上下文。Temporal encoding 去掉后反而更好，也说明时序结构主要已经由扫描顺序和状态递推编码，额外显式时间编码可能是冗余甚至干扰。

需要直接指出：文中对增益归因不够清楚。Mamba、window size、spline prior、affine/template、depth conditioning、自建训练数据同时变化，很难判断“2× longer feature lifetime”到底是哪一个因素主导。尤其 EvD-PointOdyssey 上 RMSE 大幅下降，可能不仅是 backbone 贡献，也可能来自 depth-conditioned representation 与训练/测试分布更一致。

Relation To Prior Work

这篇最接近三条线：event-dominant feature tracking（DeepEvT、ETAP、E-3DTrack）、track-any-point/point tracking 的 token refinement 范式（CoTracker/SpatialTracker 类思想），以及 Mamba/SSM 在 tracking 中的长上下文建模。它不是凭空发明一个 tracking formulation，而是把 point-centric tracking token 与 SSM sequence model 结合到 event-based 3D tracking 中。

和 event-assisted 方法的本质差异是，它不把 frame 当作主时间轴，至少在叙事上更强调事件窗口和连续 tracking。和 ETAP/DeepEvT 的差异在于 backbone 的长期建模方式：从 RNN/Transformer 式短程或 attention 式交互，转向 selective SSM 的线性递推。和 E-3DTrack 的差异在于不是只做 stereo event 3D tracking pipeline，而是把长期 feature evolution 显式放进模型结构。

看似新的部分中，multi-scale cue fusion、correlation、template alignment、position encoding、multi-stage refinement 都不是本质新东西，更像已有 point tracking 工程经验迁移到事件域。实质创新主要有两个：一是把 Mamba 用到 event-driven feature-level 3D tracking，而不是 object-level tracking；二是构造 EvD-PointOdyssey，把 PointOdyssey 的长程点轨迹和事件/深度合成结合，为稀疏 3D event tracking 提供更大规模监督。

Dataset / Evaluation

评估覆盖了真实 stereo event 3D benchmark 和自建 semi-synthetic monocular+depth benchmark，表面上同时验证真实数据和大规模合成数据。但两个设置并不完全同构：E-3DTrack 是 stereo event 3D，EvD-PointOdyssey 是 monocular+depth 且多数 baseline 只能做 2D projection evaluation。因此它验证了“模型在两个相关任务上强”，但没有完全验证“同一个 event-dominant 3D tracker 可跨传感器设置无缝泛化”。

E-3DTrack 上的结果比较能支持长期 3D 稳定性 claim，尤其 feature age 和 TFR 在严格阈值下提升明显。EvD-PointOdyssey 上的结果更复杂：它证明自建数据和 depth-conditioned token 能带来很强 2D projection tracking，但由于数据由作者生成且过滤较强，benchmark 难度和真实部署分布仍需要谨慎看待。

效率 claim 有一定支撑：在相近延迟下使用更长时间上下文，是 Mamba 相对 Transformer 的合理优势。不过 FLOPs 表里 Mamba win=8 与 Transformer win=8 并没有更低，真正优势来自窗口拉长后仍可控，而不是每个设置都天然更省。

评估最大的 limitation 是缺少真正在线、长序列、点增删、遮挡后重捕获、未过滤真实事件噪声和动态场景的压力测试。当前 benchmark 更像 clean long-window refinement，而不是完整 SLAM/VO 前端中的 feature lifecycle 管理。

Limitation

第一，方法依赖初始 track hypothesis 和局部窗口提取。如果初始化偏离或点已经丢失，point-centric token 会把错误局部证据送入 Mamba，状态模型可能只是稳定地延续错误。论文没有充分讨论 failure recovery。

第二，所谓 long-term 仍是窗口化 long-term。模型使用固定窗口和滑窗 overlap，并不是维护无限时域的 persistent memory。Mamba 的线性复杂度允许更长窗口，但 tracking 上限仍受窗口长度、stride、patch radius 和候选点生命周期限制。

第三，泛化证据不够强。EvD-PointOdyssey 是 semi-synthetic，事件由固定阈值模拟，轨迹经过严格过滤；真实事件相机存在阈值不均、噪声、timestamp jitter、不同光照与 sensor artifact。核心能力可能主要来自数据覆盖和干净 supervision，而不是学到了普适 event dynamics。

第四，增益归因不清。Mamba backbone、affine predictor、spline interpolation、reference grayscale patch、depth/disparity 输入、multi-stage refinement 共同作用。文中未充分说明哪些模块在真实困难 case 中不可替代，哪些只是 engineering。

第五，3D reasoning 可能被高估。对于 stereo，3D 很大程度依赖视差；对于 monocular+depth，深度直接作为输入。模型更多是在做 depth-conditioned tracking/refinement，而不是从事件中自主恢复完整 3D 几何。

Takeaway

• 1. 对高频事件 tracking，最值得迁移的 insight 是：不要把所有 token 做 attention；把轨迹当作可递推状态，用 SSM 做 memory reuse，可能是更自然的长程建模方式。
• 2. point-centric representation 仍然是关键。
• Mamba 的价值建立在 token 已经对齐到 track hypothesis 的前提上；未来改进应关注初始化、重捕获和 token 可靠性估计，而不只是换 backbone。
• 3. 数据构造可能和架构同等重要。

一句话总结

E-TraMamba 是把 event-based 3D feature tracking 从局部匹配/attention refinement 推向线性状态空间轨迹建模的一步，真正贡献在于用 SSM 的长期记忆和大规模合成几何监督重组了事件跟踪的信息流，而不是单纯提出一个新模块。