精读笔记
Problem Setting
这篇论文解决的不是一般意义上的 event tracking，而是面向几何后端的长时 3D sparse feature tracking：给定事件流和双目/深度信息，维持一批特征点在时间上的 3D 一致性。真正困难点在于事件流高频但稀疏、异步且噪声大，局部 patch 证据经常不稳定；而 3D 轨迹又要求跨窗口累积状态，不能每个短片段独立匹配。
以前方法卡在两个方向：event-assisted 方法仍被帧时间戳锚定，牺牲了事件相机最有价值的 temporal fidelity；event-dominant 方法虽然直接处理事件，但 RNN 记忆容量有限，Transformer 的时空 attention 对 N 个点、T 个时间步成本过高。这个任务的关键矛盾是：越需要长时间上下文来避免漂移，计算越容易被高频事件和多点轨迹拖垮。
Motivation
作者的动机可以概括为：event camera 已经把观测频率提高了，但主流模型没有相应的长程状态机制。高频事件并不自动带来长时稳定；如果模型只能看短窗口，或者靠二次 attention 才能看长窗口，那么在实时 tracking 中就会被迫牺牲 temporal horizon。
核心缺口是一个介于 RNN 和 Transformer 之间的建模器：既要有可持续更新的隐状态，又不能像 vanilla recurrence 那样快速遗忘；既要能传播长程依赖，又不能像 attention 那样随时空 token 数二次增长。Mamba 被放进来，本质上是为了填这个 architecture gap，而不是因为 event tracking 本身天然需要某个特定 Mamba trick。
Core Idea
论文真正的核心思想是把事件特征跟踪重新写成“轨迹 token 的状态空间演化”。每个点在每个时间窗口被编码成 token，token 中混合局部事件观测、相关性、位置以及几何深度/视差信息；随后不是显式做全局匹配，而是让 Mamba 在时间和空间两个轴上递推式地更新这些 token。这样，历史信息通过 state 被压缩和复用，当前事件证据只负责校正状态。
这和 prior 的本质区别在于建模假设不同。Transformer tracker 假设所有时空 token 之间都可能需要显式交互；RNN tracker 假设单条序列可由短状态递推；E-TraMamba 假设 feature trajectory 是一个带选择性状态更新的连续动力过程，并且点集之间存在可通过空间扫描传播的弱结构。这个 inductive bias 更适合长窗口、高频、低延迟场景，因为它把“长程上下文”从 pairwise retrieval 变成了 latent state propagation。
Method
关键机制一：track tokenization。它解决的是事件流不可直接作为稳定轨迹状态的问题。局部事件 patch 给当前观测，correlation 给短时运动一致性，位置/深度/视差给几何锚点，reference template 给跨时间外观参照。核心变化是把异步事件压成点级时序 token，使后续模型处理的是轨迹状态而不是原始事件云。
关键机制二：spatial-temporal Mamba refinement。它解决的是长窗口内状态传播成本过高的问题。时间方向扫描让单点轨迹保留历史，空间方向扫描让同一时刻的多个点共享结构上下文。这里的重点不是“四方向”本身，而是用线性 state update 替代显式 all-pairs attention。
关键机制三：局部运动先验和 affine/template 对齐。它解决的是窗口间初始化不稳、局部事件证据易抖的问题。直观上，这部分把大位移和局部形变先用低成本几何/运动假设吸收掉，让 Mamba 主要做 residual refinement。它很可能是性能稳定性的关键工程组件，但概念新意弱于 Mamba 化的轨迹状态建模。
关键机制四：统一 2D/3D regression supervision。它解决的是仅靠 2D reprojection 难以约束 3D 漂移的问题。通过同时约束 2D、disparity/depth 和 3D 坐标，模型被迫学习几何一致的 latent trajectory，而不是只优化图像平面上的短期贴合。
Key Insight / Why It Works
最可能真正有效的部分是“长程状态复用 + 几何 token 对齐”的组合，而不是单独某个模块。事件 tracking 的失败通常不是某一帧/窗口完全看不到点，而是连续小误差在长时序中积累成漂移。Mamba 的作用是让历史状态以线性成本持续存在，并根据当前 token 选择性更新；这比短窗口 CNN/RNN 更能抑制漂移，比 Transformer 更能扩展到较长 temporal horizon。
但需要直接指出：论文的增益并不干净地归因于 Mamba。数据侧引入 EvD-PointOdyssey，且有严格轨迹过滤、深度监督、可见性筛选、运动幅度约束；模型侧又加入 spline 初始化、affine template、correlation 和 depth/disparity。很多提升可能来自 representation alignment 和 supervision cleanliness，而不是 state-space 本身。尤其 EvD-PointOdyssey 上 RMSE-2D 的巨大提升，很可能混合了深度条件、数据分布匹配和更干净标签的收益。
从机制上看，它不是 retrieval-heavy 方法，也不是 test-time compute 方法，更接近 better inductive bias + data coverage + memory reuse。Mamba state 给的是压缩历史，不是显式检索相似帧；四方向扫描给的是结构传播，不是真正的全局几何 reasoning。所谓 long-term modeling 是否真的形成了可解释的长期动力状态，文中未充分说明。
Temporal encoding ablation 反而很有信息量：去掉显式 temporal encoding 后性能更好，说明模型主要依赖扫描顺序和运动 token 自身，而不是绝对时间位置。这支持了“事件 tracking 里相对连续性比显式时间标签更重要”的判断，也暗示部分设计可能是冗余的。
Relation To Prior Work
最接近的谱系有三条：event-based feature tracking、track-any-point / point tracking、Mamba-based tracking。E-TraMamba 的位置是在 event-dominant sparse 3D feature tracking 中引入 SSM 序列骨架，而不是发明新的事件表示或新的几何求解器。
相对 DeepEvT / ETAP，它的本质差异不是“用了更强 backbone”这么简单，而是把点轨迹建模从短时局部更新或 attention matching 转成可线性扩展的状态演化。相对 CoTracker / SpatialTracker 这类 frame-based point tracker，它没有追求 dense all-point association，而是服务于 sparse、几何可靠、事件驱动的轨迹维护。相对已有 Mamba object tracking，它把 Mamba 从 object-level dense appearance tracking 下沉到 feature-level geometry tracking，这是应用层面的实质迁移。
看似新的部分里，多尺度 token 融合、correlation、reference template、affine 对齐都不是新思想，更像把既有 tracking 稳定器重新组合到 event 3D setting。实质创新主要是：在 event 3D feature tracking 里明确采用 selective SSM 作为长时序骨架，并配套构造一个能训练这种模型的半合成 3D 事件数据集。
Dataset / Evaluation
评估覆盖了真实 stereo event 3D benchmark 和作者自建 monocular+depth 半合成数据，表面上同时验证真实世界和大规模训练。E-3DTrack 上的提升更能支撑“真实 event 3D tracking 有收益”；EvD-PointOdyssey 更适合支撑“数据规模和统一 2D/3D supervision 有价值”。
但 evaluation 对核心 claim 的支撑仍不完全。首先，自建数据集既是贡献也是潜在偏置来源：轨迹被严格过滤为全程可见、位移受控、深度有效、窗口不重叠，这会显著降低真实 tracking 中最难的丢点、重关联和遮挡恢复问题。其次，EvD-PointOdyssey 用 2D projection 评估已有方法，而 E-TraMamba 训练/输入中显式使用 depth，这种比较虽然形式公平，但能力来源并不对称。
消融提供了一个关键证据：短窗口 Transformer 不差，Mamba 的优势主要在窗口拉长后出现。这确实支持 scalability claim。但文中没有充分拆开数据、几何输入、局部运动先验和 Mamba backbone 的贡献，因此很难判断 SOTA 主要来自新 backbone，还是来自更完整 pipeline 和更强数据。
Limitation
方法成立依赖几个强前提：有稳定初始化点，有可靠 stereo 或 depth，有相对干净的局部事件 patch，有窗口内可连续的运动轨迹。真实部署里这些前提经常同时被破坏：点会失活、遮挡后重现、事件噪声受阈值和照明影响、双目标定和深度估计会漂，动态场景还会破坏几何一致性。
scalability 的上限也不是只由 Mamba 决定。虽然序列建模是线性的，但 patch extraction、per-point CNN、correlation、双目/深度输入和多方向扫描仍随点数与窗口增长；当从几十个点扩展到 SLAM 中数百/数千个候选点时，瓶颈可能转移到 token 构造和数据关联。
泛化结论需要谨慎。EvD-PointOdyssey 的事件由固定阈值合成，且轨迹筛选偏向平滑、可见、几何干净的点；真实 event camera 的 contrast threshold、hot pixels、timestamp jitter、lens/IMU coupling 都没有充分体现。核心能力可能主要来自数据覆盖和监督质量，而非模型产生了更强的几何推理。
另一个限制是任务被转化得更容易了：通过深度/双目和严格可见性，很多 3D ambiguity 被外部信息解除。模型更像是在做带强几何先验的 trajectory refinement，而不是从纯事件中解决完整 3D feature tracking。
Takeaway
- 1. 对 event tracking，长程状态建模比更复杂的局部事件编码更可能成为下一阶段瓶颈；Mamba/SSM 是合理方向，因为它把 temporal horizon 从 quadratic attention 中解放出来。
- 2. 真正可迁移的 insight 是：把 sparse tracking 表示成 point-level state tokens，并让历史状态被持续复用；这可迁移到 event VO、低延迟 SLAM、甚至高频机器人触觉/神经形态传感序列。
- 3. 未来更值得做的是拆分归因：分别验证 Mamba state、depth supervision、trajectory filtering、affine prior、数据规模的贡献，而不是继续堆完整 pipeline。
- 4. 如果这个方向继续演化，关键不会只是更大的 Mamba，而是处理真实 deployment 中的点生命周期管理：出生、死亡、遮挡恢复、重关联、在线不确定性和后端几何耦合。
一句话总结
E-TraMamba 是把 event-based 3D feature tracking 从短窗口匹配/attention 建模推进到线性状态空间轨迹建模的一步，真正贡献在于引入可扩展的长程状态复用范式，但当前性能提升仍混合了数据、几何监督和工程稳定器的收益。