精读笔记

Problem Setting

论文实际处理的是全景 ERP 视频里的在线 MOT 身份连续性问题，尤其是 seam crossing、遮挡和密集交互共同导致的 association failure。真正困难点在于：传统 TBD tracker 的状态空间默认水平坐标是欧氏线性变量，但 ERP 左右边界在物理世界中相邻；因此 Kalman velocity、box center、IoU、distance cost 在 seam 附近都会给出错误几何关系。以前方法即使加入 appearance 或 depth，也通常仍在 UV 平面里做匹配，导致 depth 只能补充局部歧义，不能修复底层拓扑错误。这个任务的关键矛盾是：全景相机提供更长时间可见性，但投影拓扑又让普通 2D tracking 的连续性假设失效。

Motivation

作者的动机不是“全景 MOT 需要更多 cue”，而是已有路线缺少与全景拓扑一致的状态表示。OmniTrack 类方法已经意识到 panoramic setting 的特殊性，但很多 tracking-by-detection pipeline 仍然把 ERP 当成宽图像处理；这样在普通区域还能工作，一到 seam 就出现坐标跳变和 IoU 断裂。另一方面，depth-aware MOT 的常见做法是把当前帧深度作为 pairwise cost，默认深度观测稳定，但单目/zero-shot depth 在视频中存在尺度抖动，直接做相邻帧差值会把 measurement noise 注入 association。作者真正抓住的缺口是：identity preservation 需要轨迹级几何状态，而不是帧级几何观测。

Core Idea

CylindTrack 的核心思想是把 panoramic MOT 的关联空间从 bounded image plane 转移到一个更符合 ERP 拓扑的 cylindrical state space：水平位置用可展开的角度状态连续演化，只有投影回图像时才 wrap；深度则从检测属性变成轨迹隐状态，用历史滤波后的预测参与匹配。这样做的本质变化是把“当前检测之间的相似性匹配”改成“拓扑一致状态预测下的 observation assignment”。它引入了两个强 inductive bias：水平周期性和深度时间平滑性。前者直接修复 seam 处的几何不连续，后者让 depth cue 从易抖动的 auxiliary feature 变成可累积的 identity constraint。相较 prior，区别不在于用了 Kalman 或用了 depth，而在于它把 motion model、overlap metric、angle cost、depth state 放到同一个 trajectory-level 几何框架下。

Method

方法中真正必要的机制有三类。第一，TCMM 解决的是水平坐标拓扑错误：把 box center 映射为 longitude，并在 unwrapped angular space 中维护 Kalman state，避免 seam crossing 时速度估计出现近似一个图像宽度的假位移。第二，周期 overlap / angular consistency 解决的是 motion prediction 与 association metric 不一致的问题；如果只改 Kalman 不改 IoU，预测连续但匹配仍断裂，如果只改 IoU 不改状态，历史运动仍不可信，这也解释了消融中单独组件收益很小。第三，DTM 解决的是 depth observation 过短视的问题：用 1D depth Kalman filter 预测轨迹深度，再与当前检测深度比较，本质上是把 monocular depth 从 noisy measurement 变成 temporal latent state。SSTC 则是在 detector 侧提高 depth observation 质量：Temporal Mixer 抑制 query-level frame fluctuation，SGA 注入 ERP spherical geometry prior。它有用，但更像为 DTM 提供更干净 measurement，而不是 tracking 机制的核心。

Key Insight / Why It Works

最重要的 insight 是：全景 MOT 的一部分 ID switch 不是 appearance/re-ID 问题，而是坐标系错误造成的伪运动和伪距离。TCMM 有效，是因为它在 association 前消除了 seam 处的拓扑奇点；这属于 better inductive bias，而不是 scaling。论文中最可能的核心贡献是“motion state + overlap metric + angular cost”的一致周期建模，尤其是消融显示只做其中一半几乎不够。DTM 的有效性来自 memory reuse / latent structure：它利用轨迹历史对 depth 做低通滤波，使 depth 更像稳定的 ordinal/radial cue，而不是每帧独立估计。SSTC 的定位要更保守：它可能改善 representation alignment，但也可能主要是 detector engineering，尤其参数、计算、query projection 改动与 depth quality 提升纠缠在一起，增益来源不完全清楚。论文没有显示需要复杂 learned reasoning；所谓 3D/cylindrical reasoning 更准确说是显式几何先验下的在线 assignment。这里没有证据表明模型学到了长期场景理解，长期性主要来自 Kalman state 和 track buffer。

Relation To Prior Work

这篇最接近三条线：SORT/ByteTrack/OC-SORT 式的在线 Kalman-TBD，OmniTrack/S3KF 等 panoramic tracking，和 DepTR-MOT/DepthMOT/PD-SORT 等 depth-aware MOT。它对 SORT 系列的实质改动是把 image-plane horizontal state 替换为 angular state，并让 IoU/association 服从周期拓扑；这不是换 cost 的小修，而是把 tracker 的状态空间换了。相对 depth-informed MOT，它的新信息在于 depth 被 trajectory filtering，而不是 detection-level matching。相对 spherical panoramic tracking，它并不追求完整球面建模，而是判断 ground robotic ERP MOT 中水平 seam 是主矛盾，因此采用 horizontal-periodic pixel-vertical 的折中表示；这点很实用，也说明所谓 cylindrical 并非更 general，而是更 task-aligned。看似新的 SSTC 其实是 temporal token mixing、geometry prior attention、query-space refinement 的重组，实质创新弱于 TCMM。

Dataset / Evaluation

实验覆盖 QuadTrack 和 JRDB，都是机器人全景/类全景 MOT 场景，能较好检验作者关于 seam crossing、遮挡、密集人群和 embodied panoramic tracking 的 claim。它不是跨多任务或多传感器评估，也没有证明在任意 360° sensor、强 3D motion、多类别开放场景中的泛化。最支持核心 claim 的不是整体 HOTA/IDF1 数字，而是 BCIC、boundary qualitative case，以及 TCMM component ablation：这些确实对准了 seam topology。问题是 BCIC 是作者引入的 metric，虽然合理，但天然更偏向验证本文假设；如果 benchmark 中 seam annotation gap 明显，方法可能部分受益于特定数据分布。detector-side CylindTrack_Det 在七个 tracker 上平均提升 identity metrics 有参考价值，但由于训练、depth supervision、query refinement 都耦合，不能单独证明 SSTC 的几何必要性。

Limitation

核心限制是它仍然是相对几何的 2D/2.5D online tracker，不是 camera-motion-aware 的世界坐标 MOT。DTM 建模的是图像流中的相对 depth 平滑性，默认 depth scale fluctuation 可由简单一维滤波吸收；在快速 ego-motion、强尺度漂移、目标真实径向加速度大或 depth estimator domain shift 时，这个假设会变脆。TCMM 主要解决水平周期性，对 vertical distortion、pitch/roll 变化、非 ERP 投影和完整 spherical motion 的处理有限；论文自己也承认 spherical variant 兼容但没有稳定更好。SSTC 的增益归因不清，可能主要来自 better detector / representation alignment / reduced dense computation，而不是一个不可替代的全景几何机制。评价上，BCIC 强化了 seam 场景的重要性，但真实部署中更难的是 long occlusion、re-entry、camera pose change 和 annotation-free continuous operation，这些没有被充分覆盖。

Takeaway

• 第一，全景 MOT 里不要把 ERP 当成超宽平面图像；状态空间和匹配度量必须同时尊重水平周期性，否则 tracker 会在 seam 处制造虚假的 ID switch。
• 第二，depth cue 对 MOT 的价值不在单帧精度，而在轨迹级时间一致性；把 depth 做成 latent state 往往比把 depth 当 pairwise cost 更稳。
• 第三，实用系统未必需要完整 spherical/3D reconstruction，针对主导误差源的几何先验可能更高效、更可部署。
• 第四，未来更值得做的是把这种 topology-aware online association 与 camera-motion-aware metric depth、pose compensation 和 learned association 结合，而不是继续堆 detector-side depth refinement。

一句话总结

CylindTrack 是一篇把 panoramic MOT 从平面匹配推进到拓扑一致轨迹状态建模的工作，真正贡献在于用周期角度状态和时间滤波深度把在线 TBD 的几何归纳偏置补对，而不是提出了一个更复杂的 tracking 网络。