精读笔记
Problem Setting
论文标题：Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics（arXiv preprint / 2026）。
这篇论文不是在解决“如何把 Mamba 用到视觉”这个宽泛问题，而是在挑战视觉 SSM 的一个基础假设：图像 token 必须被某种 scan path 序列化之后才能做状态传播。以 VMamba/ViM/LocalMamba 为代表的路线，本质上仍把二维空间关系投影到一维因果顺序上，再用多方向、局部窗口、adaptive/deformable scan 等方式补偿这个投影造成的信息不对称。
真正困难点在于：视觉场景天然是 non-causal 的，任意两个空间位置之间没有前后缀关系；但传统 SSM 的高效性又来自 recurrence / structured matrix 的顺序结构。也就是说，关键矛盾是：如何保留 SSM 的线性复杂度和参数化记忆机制，同时不让模型继承语言序列中的 causal ordering bias。此前方法卡在两端：scan-based SSM 有方向偏置；non-causal VSSD 虽去掉 scan，但仍是 first-order/SISO 风格，表达力可能不足。
Motivation
作者的核心观察很直接：视觉 SSM 中大量工作都在优化 scan，而不是质疑 scan 是否必要。DAMamba、DefMamba、QuadMamba、GroupMamba、LocalMamba 等方法都承认 scan order 是瓶颈，但多数仍把问题表述为“找到更好的 traversal”。这篇论文的判断是：这可能是错误问题设定；图像不是序列，方向扫描只是把序列模型迁移到视觉时留下的工程遗产。
关键缺口有两个。第一，VSSD 已经证明 non-causal SSM 可以 work，但它主要基于 Mamba-2/SSD 的 first-order dynamics，无法说明更高阶状态动力学在 scan-free 视觉里是否有价值。第二，Mamba-3 的 exponential-trapezoidal second-order dynamics 在序列建模中增强了表达力，但仍是 causal recurrence；如何把这种动力学提升到 non-causal、order-independent 的视觉 operator，是本文想填的空。
Core Idea
VNCT 的真正核心不是某个 block 设计，而是把状态传播的信息流重新组织了：不再让 token 沿一条或多条 scan path 逐步更新 hidden state，而是把所有 source token 一次性汇聚成共享的 global sufficient statistics，再让每个 target token 用由 SSM 参数生成的读出向量去读取这个全局状态。这样，interaction 不再依赖 token 在扫描序列中的相对先后，而依赖 source/target 的状态参数与位置编码。
这个设计引入的 inductive bias 是“scan-order-independent global mixing + SSM-parameterized readout”。它不是普通 self-attention，因为 kernel 不是自由的 QK 投影，而是由 α、β、γ 这类 SSM discretization 参数控制；也不是传统 SSM，因为 lower-triangular causal transition 被替换成 dense normalized interaction。理论直觉上，它把 recurrence 的 memory-length 控制保留下来：α 决定目标侧读全局状态的方式，β/γ 决定 source 侧如何进入全局统计；同时通过 factorization 保持 O(LD) 或近似线性复杂度。
和 prior 的本质差异在于：scan-based 方法仍在路径上传播信息，VSSD 是 first-order non-causal global aggregation，而 VNCT 尝试把 second-order trapezoidal endpoint 信息也纳入 non-causal aggregation。它改变的是视觉 SSM 的基本计算图：从 directional recurrence 变为 set aggregation conditioned by spatial position。
Method
方法层面只需要抓住四个必要机制。
第一，non-causal lift 解决 scan bias。作者把 causal recurrence 对应的 lower-triangular mixing 替换成 dense normalized kernel，并通过 source-side sum 和 target-side readout 因式分解。它的核心变化是：所有 token 可以在单次全局汇聚中交互，不再存在“前面 token 能影响后面、后面 token 不能影响前面”的结构。
第二，second-order trapezoidal dynamics 解决 first-order non-causal SSM 表达力不足。β 和 γ 对应左/右 endpoint，不再只有一阶 Euler/ZOH 式输入注入。直觉上这给 source weighting 多了一个关于局部状态变化的自由度，使全局 kernel 不只是单一 decay/readout，而能表达更丰富的空间响应。
第三，position encoding 解决 permutation-invariant aggregation 丢失几何的问题。non-causal sum 本身对 token 顺序不敏感，这是优点也是风险；若没有空间位置，模型会退化成过强的集合池化。2D Sin/ RoPE 的作用不是装饰，而是把相对/绝对几何重新注入到 source 与 target 的匹配中。这里的关键是：空间结构被显式编码，而不是由 scan order 暗中携带。
第四，low-rank MIMO 解决 SISO-style state mixing 的通道瓶颈。全局 aggregation 如果逐通道或逐 head 独立，会有类似 linear attention 低秩瓶颈；MIMO 用低秩 cross-channel/state mixing 增加表达力，但保持成本可控。它更像增强器，不是本文最根本的思想。
Stage-4 attention、LPU、FFN、hierarchical pyramid 等主要是让模型成为合格视觉 backbone 的工程条件，不应被视为核心理论贡献。
Key Insight / Why It Works
最关键的 insight 是：视觉 SSM 的问题可能不在 SSM，而在 causal scan。MambaOut 一类观点会把视觉任务中 Mamba 的收益归因于非 SSM 成分，甚至认为视觉不需要 Mamba；VNCT 给出的反驳是，只要去掉方向扫描并加强非因果状态动力学，SSM-style parameterized global mixing 仍然有竞争力。
方法可能有效的根本原因有三点。第一，non-causal aggregation 消除了 scan path 造成的各向异性，使任意空间位置都有同等机会进入全局状态；这比多方向 scan 更干净，因为后者只是平均多个有偏 lower-triangular operators。第二，second-order dynamics 让 global kernel 的 source weighting 更丰富，不只是 first-order decay/filter；这对边界和 dense prediction 可能更重要，因为边界质量依赖细粒度空间变化，而不只是语义区域聚合。第三，factorized global statistics 提供了一种 memory reuse：source 信息只计算一次，所有 target 共享读取，这解释了单图 batch=1 latency 上可能优于多 scan 或较重 non-causal baseline。
我认为最可能的核心贡献排序是：non-causal lift > second-order source/target 参数化 > positional re-injection > MIMO。MIMO 和 hybrid stage 更像补足容量与工程可用性的组件。Top-1 上的增益幅度不大，不能单独证明方法本质优越；更有价值的是 Boundary IoU、orientation robustness、ERF 对称性这些与 directional bias 直接相关的证据。
需要保持怀疑的是，文中把很多收益同时归因于“eliminating directional scanning”和“second-order dynamics”，但两者的独立贡献仍有混叠。ablation 显示 second-order 有增益，但并不足以排除更强参数化、低秩混合、position encoding 组合带来的普通 capacity gain。这里有一部分可能只是 better inductive bias + engineering/scaling，而不是严格意义上的新状态建模能力。
Relation To Prior Work
最接近的是 VSSD。VNCT 与 VSSD 的共同点是都把视觉 SSM 从 causal scan 中解放出来，用 shared global state / non-causal aggregation 替代 directional recurrence。真正不同点是 VNCT 把 Mamba-3 的 second-order trapezoidal dynamics 引入 non-causal operator，并用 MIMO 处理通道交互；VSSD 更像 first-order SSD 的视觉 non-causal 化。
和 VMamba/ViM/LocalMamba 的差异更根本：那些方法仍把视觉建模看成 traversal 问题，只是用双向、多方向、局部窗口、层级扫描缓解偏置；VNCT 则完全取消 traversal，把 scan order 从模型结构中移除。
和 linear attention 的关系也很近。VNCT 的 factorized global aggregation 形式上类似 kernelized linear attention：source-side 累积 KV-like statistics，target-side query readout。看似新的地方其实部分是已有 linear attention / SSD duality 思想的重组；实质创新在于 kernel 的参数来源不是普通 Q/K，而是 Mamba-3 风格的 α、β、γ 状态离散化参数，并且明确面向视觉 scan bias 重新解释。
它属于“scan-free / non-causal SSM + efficient global mixer”谱系，而不是传统 recurrent SSM 谱系。若从更宽视角看，VNCT 是把 SSM 从因果序列模型转化为一种有状态参数约束的线性 attention-like operator。
Dataset / Evaluation
评估覆盖比较完整：ImageNet-1K 验证通用表示，COCO 检测/实例分割和 ADE20K 语义分割验证 dense prediction，orientation robustness 和 ERF 直接针对 directional bias claim，Boundary IoU 针对边界定位。相比只报分类精度，这套 evaluation 更能支撑“去 scan 后空间表示更 isotropic”这个主张。
真正有说服力的是和 claim 对齐的实验，而不是表格中的小幅 SOTA。旋转/翻转下性能掉得更少，说明 scan-induced orientation sensitivity 确实被缓解；ERF 更平滑对称，说明信息传播不再沿 scan direction 留痕；Boundary IoU 提升较大，说明 dense spatial alignment 可能受益于非因果全局交互。
但 evaluation 仍有明显 limitation。第一，所有 benchmark 都是标准 offline 视觉任务，不能证明真实 deployment 中对 resolution shift、domain shift、long-tail geometry 的鲁棒性。第二，latency 只在单 GPU、batch=1、224×224 分类输入下报告；高分辨率 dense prediction 的 wall-clock/memory 行为没有同等充分展示。第三，和强 attention/conv/linear attention baseline 的公平性依赖训练 recipe 和实现优化，文中未充分说明所有对比是否在完全一致的训练预算和 kernel 优化下成立。
Limitation
最核心的限制是：VNCT 把 scan order 问题转移成了“如何设计全局 aggregation kernel 与位置编码”的问题。non-causal sum 本身是 permutation-invariant 的，视觉几何必须由 RoPE/Pos2D/LPU 重新注入；因此模型的空间泛化并非天然来自 SSM，而是依赖位置编码与层级结构是否足够好。
第二，global sufficient statistics 可能带来信息压缩上限。所有 source token 先被压入共享状态，再由 target 读取；这在分类和中等分辨率 dense prediction 上有效，但对于需要精细 pairwise correspondence、实例级交互、视频 tracking、极高分辨率小目标的任务，可能出现 token-specific relation 被平均掉的问题。文中未充分说明这种压缩在更复杂场景下的边界。
第三，second-order dynamics 的真实贡献仍不完全清楚。它可能确实提供更好的状态动力学，也可能只是给 kernel 增加了额外参数和更灵活的 weighting。当前 ablation 支持有效，但还不足以说明它比同等参数量的 linear attention、gated mixer、rank-augmented kernel 更本质。
第四，所谓 robustness 主要是几何变换下的准确率保持，不等于真实分布外泛化。旋转/翻转 robustness 与 scan-free 结构高度相关，因此是合理证据；但如果 claim 扩展到 general robustness，就证据不足。
第五，Stage-4 使用 MHSA，说明模型并没有完全放弃 attention。虽然低分辨率 attention 成本小，但这会让“纯 SSM backbone”的叙事变弱；一部分全局语义能力可能来自末端 attention，而非 NC-M3 本身。
Takeaway
- 1. 视觉 SSM 后续不应继续把主要精力放在 scan order 搜索上；更值得做的是 non-causal、scan-free 的状态空间 operator 设计。
- 2. SSM 在视觉中的价值可能不是 recurrence 本身，而是用状态参数约束 global mixing kernel：这条路线会自然靠近 linear attention，但保留更强的动力学归纳偏置。
- 3. 对 scan-free 模型而言，position re-injection 是核心问题，不是附属模块。
- 取消 scan 后，空间结构必须被更显式、更可控地编码。
一句话总结
VNCT 是把视觉 Mamba 从 directional recurrence 推向 scan-free、linear-attention-like non-causal SSM operator 的一步，真正贡献在于用二阶 trapezoidal 状态参数重写全局混合，而不是继续优化二维图像的一维扫描路径。