精读笔记
Problem Setting
[Slope-Guided Mamba and Angular-Refined Transformer for Light Field Super-Resolution]（arXiv preprint / 2026）
这篇论文解决的不是传统意义上“把每个 SAI 放大得更清楚”的 SR，而是 LFSR 中更根本的 4D coherence 问题：高频纹理恢复必须同时服从跨视角几何一致性。真正困难点在于，同一 3D 点在 EPI 中不是沿水平/垂直网格传播，而是沿由 disparity 决定的斜线传播；普通 spatial attention、CNN local receptive field、或者 Mamba raster scan 都容易把物理相关点切断。
以前方法主要卡在两类失配：一类是 spatial/angular 解耦建模，最后靠 concat 或浅层交互融合，导致早期特征已经缺少几何约束；另一类是 SSM/Mamba 虽然有线性复杂度和长程建模能力，但序列化路径仍按图像网格走，和 EPI manifold 不一致。这个任务的关键矛盾是：模型需要高效长程聚合，但聚合路径不能由图像坐标决定，而应由 scene geometry 决定。
Motivation
已有 Transformer LFSR 的问题不是不会建模 long-range dependency，而是 long-range dependency 的对象不够“物理”：QK attention 很容易捕捉纹理相似或局部上下文，却未必沿同一光线/同一场景点聚合。已有 Mamba LFSR 的问题更直接：SSM 的优势建立在序列顺序有意义的前提上，但 EPI 里的有效顺序是斜向 disparity trajectory，不是 raster order。
作者的核心观察是：LF 的空间-角度一致性在 EPI 中表现为局部线性结构；如果扫描机制不尊重这个结构，所谓长程建模会把相关像素拆散，甚至让状态空间模型在错误邻域上传递状态。因此缺口不是“缺一个更大模型”，而是缺一个把 EPI 几何显式编码进序列化过程的机制。
Core Idea
论文真正的核心思想是：把 Mamba 的 scan 从图像网格坐标系中释放出来，用估计的 EPI slope 重新定义序列路径。这样 SSM 的状态转移不再沿空间相邻像素发生，而尽量沿跨视角对应的同一 3D 点轨迹发生。换句话说，SMART 改变了 Mamba 在 LF 上的基本建模单位：从 regular grid sequence 变成 geometry-aligned manifold sequence。
第二个思想是用 angular prior 修正 spatial attention。Spatial attention 本身擅长 texture/detail refinement，但在遮挡、弱纹理、重复纹理区域容易产生错误匹配；angular macropixel pattern 提供了一个结构性 bias，使 attention map 不完全由 intra-view texture similarity 决定。这和 prior 的本质区别在于：不是把 spatial branch 和 angular branch 各自做完再融合，而是在空间匹配阶段就注入 angular 几何约束。
Method
MAT 解决的是 SSM 扫描路径和 EPI 几何不一致的问题。它先在 EPI 上基于一组 disparity/slope hypothesis 计算 trajectory consistency cost，用低方差轨迹近似真实几何方向，再把 slope 转为 resampling offset 和 ordering index，生成 slope-guided scan。核心变化是：SSM 处理的序列顺序被几何先验重排，状态传播更可能发生在跨视角对应点之间。
AMS 解决的是 spatial-angular 解耦导致的浅层融合问题。它仍然保留 spatial attention 的纹理建模能力，但额外从 macropixel angular layout 中提取 angular prior，并把它作为 attention bias 与 QK affinity 混合。核心变化是：空间注意力从“纹理相似驱动”变成“纹理相似 + angular consistency 共同驱动”。
SMART 的整体结构只是把 MAT 和 AMS 级联在 interaction stage 中：先用 EPI-guided Mamba 强化结构一致性，再用 angular-modulated attention 做细节/纹理 refine。真正必要的是这两个机制的互补：Mamba 负责沿几何轨迹聚合长程信息，Transformer/attention 负责局部内容选择与高频补全。
Key Insight / Why It Works
最可能真正有效的部分是 slope-guided scan，而不是“Hybrid Mamba + Transformer”这个表层组合。SSM/Mamba 在视觉任务中的一个隐含前提是 token order 具有某种邻接意义；在 LF EPI 中，raster 邻接和物理邻接不一致。SMART 的贡献在于修正这个前提，把 representation alignment 做在 scan order 层面，而不是事后让网络自己从错误序列中学几何。
这本质上是 better inductive bias，不是 retrieval、test-time compute 或 curriculum。它把一个原本需要模型隐式学到的 disparity-aligned correspondence，转化成显式 slope hypothesis + differentiable ordering/resampling。对于 LFSR 这种几何结构强、数据规模有限的任务，这种 bias 往往比单纯扩大模型更有效。
AMS 更像辅助但必要：它降低了 spatial attention 在遮挡/弱纹理处的自由度，让细节恢复受 angular pattern 约束。它可能贡献了不少 PSNR，但技术新意弱于 MAT；类似“attention bias from geometry/angular prior”的思想在 LF/立体/多视图里并不陌生。
需要警惕的是，文中没有完全证明收益主要来自 scan geometry。MAT 内部包含 slope estimation、offset sampling、dynamic ordering、额外 MLP 与三路 scan 融合，增益可能混合了 deformable aggregation、额外容量和多路径 ensemble。Ablation 支持 slope-guided 有用，但还不足以把“几何对齐”与“更强可变形采样/更多计算”彻底分离。
Relation To Prior Work
它最接近三条路线的交叉：LF-specific spatial-angular Transformer、EPI/epipolar geometry based LFSR、以及 Visual Mamba/SSM for vision。相对 EPIT/LFT/DPT 这类 Transformer，它的不同不是也建模 spatial-angular correlation，而是把 angular/EPI prior 前置到 attention bias 和 scan order 中，减少后融合的几何漂移。
相对 LFmamba、MLFSR、L2Fmamba 等 Mamba 路线，SMART 的关键差异是没有接受固定 scan 作为默认序列化方式。已有 Mamba LFSR 多是在 subspace/channel/bidirectional scan 上做效率或融合设计，仍然把 EPI manifold 压成规则序列；SMART 则直接质疑这个序列化假设。
看似新的部分中，angular prior 调制 attention 更像已有多视图几何 bias 的重组；实质创新更集中在 slope-guided adaptive scanning：把 EPI 斜率估计和 Mamba selective scan 的 token order 联系起来。这属于“几何先验修正通用序列模型”的技术谱系，而不是单纯 LF 网络结构搜索。
Dataset / Evaluation
评测覆盖了 LFSR 常用五个 benchmark，能说明在标准 5×5 SAI、bicubic ×4 setting 下该方法优于已有 CNN/Transformer/Mamba 方法。定量结果和 scanning strategy ablation 基本支持核心 claim：geometry-aligned scan 对 LFSR 有收益，尤其在 disparity variation 较明显的数据上更合理。
但 evaluation 的外推性有限。训练和测试仍是典型离线 benchmark protocol，退化模型是 bicubic，angular layout 固定为 central 5×5；这并不能充分验证真实相机退化、噪声、非规则视角、不同 baseline、不同 angular density 下的泛化。Fig. 4 的 sheared EPI PSNR 分布比单纯平均 PSNR 更贴近 claim，但仍缺少 failure cases 和对错误 slope 区域的诊断。
因此实验支持“在标准 LFSR benchmark 上 geometry-aware scan 有效”，但还不能证明 SMART 已经解决一般 4D ray coherence preservation。
Limitation
第一，方法强依赖局部 EPI 线性假设。真实场景中遮挡边界、透明/反射材质、非 Lambertian 表面、多层深度混合都会破坏单一 slope 的解释，slope-guided scan 在这些区域可能把错误点更强地绑定在一起。
第二，slope hypothesis set 是有限且人工设定的。文中未充分说明不同相机 baseline、视差范围、angular resolution 变化时如何选择或自适应扩展 K；如果真实 disparity 超出该范围，所谓 manifold alignment 会退化。
第三，增益归因不完全清晰。SMART 比部分轻量 SOTA 有更高参数和 GFLOPs，且 MAT 同时引入 deformable sampling、三路 scan、MLP 融合；提升可能部分来自更大有效容量和多路径 aggregation，而不全是 slope-guided Mamba。
第四，AMS 的 angular prior 是否真正学到几何而非 dataset-specific angular statistics 没有被充分验证。标准 benchmark 之间存在相似采集/预处理协议，泛化可能依赖 benchmark overlap 或退化模型一致性。
第五，deployment 上限不明确。动态 offset、sorting/reordering 和 EPI stack 处理会增加实现复杂度与内存访问开销；Mamba 的线性复杂度优势在这种动态扫描下是否仍充分保留，文中没有给出足够细的系统分析。
Takeaway
- 1. 对 LF 这类强几何任务，Mamba/SSM 的关键不是“能建模长序列”，而是“序列顺序是否物理正确”；scan order 本身应成为可设计的 inductive bias。
- 2. 未来 LFSR 的有效方向可能不是继续堆 spatial/angular blocks，而是把 disparity、EPI slope、ray consistency 等结构直接注入 tokenization、attention bias、memory transition 或 sampling path。
- 3. SMART 推动的是 representation alignment：让模型的计算路径对齐 LF manifold。
- 这一 insight 可迁移到 stereo SR、多视图重建、video SR、rolling-shutter/光流建模等存在非网格对应关系的任务。
一句话总结
SMART 是一篇把 Mamba 从通用视觉 raster scan 改造成 EPI geometry-aligned sequence model 的 LFSR 工作，真正贡献在于用 LF 几何先验重定义序列建模路径，而非简单混合 Transformer 与 Mamba。