精读笔记

Problem Setting

论文解决的不是一般意义上的 VFI，而是 flow-based VFI 后半段的 refinement：在中间帧不可见、初始 flow 有误、遮挡区域缺乏真实 correspondence 的情况下，如何构造有用的上下文来修正 flow、mask 并支撑 synthesis。真正困难点在于 warping pipeline 对几何误差极其敏感，而 refinement 所依赖的 feature aggregation 往往仍在静态图像坐标系里完成；一旦大位移或运动边界出现，静态邻域会混入不同运动层的 feature，反过来污染 motion correction。以前方法要么加强 matching，要么加强 global mixer，但前者在不可匹配区域失效，后者的 token 组织方式与运动结构不一致。关键矛盾是：VFI 需要运动坐标系中的证据整合，但主流网络模块默认在图像栅格坐标系中整合信息。

Motivation

已有路线不够的原因不是模型容量不足，而是 inductive bias 错位。Transformer/SSM 在视觉中通常先把 2D feature map 展平成某种固定序列，再做 long-range mixing；这种序列相邻性只编码空间邻近或人为 scan order，而不编码同一物理点随时间移动的连续性。对于 VFI，一个像素的可信证据更可能分布在由 flow 指向的路径上，而不是固定窗口里。作者真正抓住的缺口是：既然 SSM 擅长序列状态累积，那么序列本身应该由 motion hypothesis 定义，而不是由 raster/window/Hilbert 这类静态规则定义。换句话说，缺的不是又一个更强 mixer，而是把 mixer 的一维时间轴替换成视觉任务中的物理运动轴。

Core Idea

MASS 的核心思想是把每个目标像素的 refinement 变成 trajectory-wise sequence modeling：从粗中间流出发，为该像素构造一条指向源帧的 surrogate motion trajectory，沿这条路径采样 feature，再用 SSM 沿序列聚合状态。这个改变本质上重定义了 VFI 中“上下文”的含义：上下文不再是图像平面上的邻域，而是运动假设下可能属于同一物理内容的连续观测。

这带来的 inductive bias 很强：如果初始 flow 大致正确，那么沿轨迹采样会天然排除许多 motion-inconsistent neighbors，尤其在物体边界、大位移和高分辨率细节区域，能降低 ghosting 和 blur。和 prior 的本质区别在于，已有 SSM-VFI 是把 VFI feature 放进 SSM；MASS 是把 VFI 的运动结构变成 SSM 的 scan order。前者是 architecture transfer，后者是 representation alignment。它更 scalable 的地方也在这里：不需要对整幅图做昂贵全局匹配，而是在每个像素局部轨迹上做可变长度的线性序列聚合。

Method

关键机制可以压缩为四个。第一，motion-aligned scan：用粗 flow 生成每个像素的采样轨迹，解决静态 scan 与运动路径不一致的问题；核心变化是把 token order 从空间规则改成 motion-conditioned rule。第二，learnable non-linear path integration：每一步在粗 flow 的线性增量上加 residual velocity，解决真实运动非恒速、非直线的问题；它把简单 bilateral/linear motion assumption 放宽成可学习曲线，但仍受初始 flow basin 限制。第三，motion-adaptive discretization：用运动幅度决定采样点数 K，用平均轨迹速度调节 SSM step size Δ，解决长轨迹欠采样和快运动状态更新过粗的问题；这更像把计算预算按 motion difficulty 分配。第四，bidirectional discrepancy refinement：分别从两帧沿轨迹聚合 context，用前后向 context 差异作为 occlusion/misalignment 信号来更新 flow 和 mask；它把 semantic consistency 显式接入几何修正，而不是只靠最终重建 loss 间接驱动。

Key Insight / Why It Works

最可能的核心贡献是 representation alignment，而不是 SSM 本身。MASS 有效的原因在于它让序列模型的递推方向与物理运动方向一致：SSM 的 memory 不再跨越任意 raster 邻居，而是在疑似同一运动实体的路径上积累证据。这会显著改善两个场景：一是大位移下静态窗口覆盖不到或覆盖错对象；二是运动边界处空间邻域混合不同深度/运动层。轨迹 scan 等价于给 refinement 加了一个强 motion prior，减少了需要网络从数据中学出来的搜索空间。

learnable residual velocity 是合理的，但从消融看更像锦上添花。aligned trajectory 关闭 residual 后仍接近完整模型，说明“沿运动轴聚合”比“把轨迹弯得更准”更关键。adaptive K 与 velocity-aware Δ 也可能主要是工程上正确的离散化/预算分配：大运动用更多 token，小运动少算，快轨迹用更细状态更新。这些机制提高稳定性和效率，但不一定构成根本性新建模。

bidirectional context discrepancy 是另一个有价值的 insight：在不可观测中间帧条件下，直接监督 flow 很弱，而前后向 trajectory context 的一致性提供了一个 latent reliability signal。它本质上不是 retrieval，也不是纯 scaling，而是利用 VFI 的双向时序结构构造 self-consistency cue。需要警惕的是，如果初始轨迹两边都错到同一类语义区域，context 也可能“错误一致”；因此这种一致性不是严格几何约束，只是 feature-level heuristic。

整体判断：这篇的增益主要来自 better inductive bias 和 representation alignment，其次来自 adaptive compute；不是数据 scaling，不像 benchmark memorization，也不是简单堆参数。VA-SSM 相对普通 sequence aggregator 的独立贡献有一定证据，但归因仍不够干净。

Relation To Prior Work

它最接近三条线：flow-based VFI refinement、deformable/trajectory sampling、SSM-based vision/VFI。和 RIFE/IFRNet/AMT/SGM-VFI 的差别在于，MASS 不主要扩大 matching range 或增加 correspondence branch，而是在已有粗 flow 基础上改变 refinement 证据的组织方式。和 VFIMamba/LC-Mamba 的差别更本质：后者仍是在静态 feature grid 上设计 scan order，MASS 则让 scan order 由 flow 动态决定。

看似新的部分中，learnable residual path 与 deformable sampling、motion compensation、trajectory attention 有明显思想重叠；adaptive sampling 也可视为 motion-conditioned compute allocation。真正实质的新意是把 selective scan 的序列轴绑定到 per-pixel motion trajectory，并用前后向 trajectory context discrepancy 反哺 flow/mask refinement。它属于“motion-conditioned tokenization / geometry-aware sequence modeling”这一谱系，而不是单纯的 Mamba-for-VFI。

Dataset / Evaluation

评估覆盖了常规低分辨率、中高分辨率和按运动难度划分的 VFI benchmark，基本能检验作者关于大位移、复杂运动、高分辨率场景收益更明显的 claim。尤其 SNU-FILM Hard/Extreme 与 Xiph 更贴合论文主张；如果只看 Vimeo90K/UCF101，MASS 的优势并不突出，说明它不是一般场景全面碾压，而是对困难运动 regime 更有针对性。

比较合理的一点是作者对部分使用额外数据的方法做了 Vimeo90K-only 重训，减少了 data advantage 干扰。更强的证据来自 perturbation：旋转轨迹、打乱 order、静态 grid 替代都明显变差，直接支持“motion-aligned ordered sequence”这个核心 claim。

不足是评估仍主要是离线 benchmark，没有真实相机部署、极端 motion blur、长时距插帧、多帧不规则时间采样等更开放场景。论文没有充分展示初始 flow catastrophic failure 时的行为，也没有系统分析不同 coarse flow backbone 下 MASS 的鲁棒性。因此 evaluation 支持“在标准 VFI benchmark 的大运动子集有效”，但还不足以证明它是普适的 motion reasoning 机制。

Limitation

最核心限制是对初始 flow 的依赖。MASS 说是在纠正 flow，但它的 scan 路径本身由粗 flow 决定；如果初始 flow 把路径带到错误物体、背景或遮挡后的不可见区域，SSM 聚合到的 evidence 就会系统性偏离，refinement head 很难凭空恢复正确 correspondence。方法没有真正解决不可匹配区域的信息缺失，只是用 motion-aligned context 让可恢复区域更容易修正。

第二个限制是单轨迹假设。复杂遮挡、透明物体、细小快速目标、多层运动边界处，一个目标像素可能对应多种候选来源；MASS 用一条 surrogate trajectory 建模，表达不了多模态 correspondence。若要扩展到更极端场景，可能需要 mixture-of-trajectories 或 uncertainty-aware scan。

第三，增益来源仍有工程混合。SGM-VFI-style feature extractor、coarse-to-fine cascade、fusion gate、U-Net residual generator 都是强组件；论文虽有消融，但还不能完全排除收益来自整体 refinement pipeline 重新调优。VA-SSM 的优势也可能部分来自参数化和训练稳定性，而非 velocity-aware discretization 的理论必要性。

第四，scalability 上限不清。per-pixel dynamic trajectory 在 2-frame、t=0.5、K≤8 时可控，但若扩展到任意时间、多帧、长间隔或 4K 实时部署，轨迹构造、masking 和 scan 的开销会更突出。它是比全局 attention 更可扩展，但不等于没有计算瓶颈。

Takeaway

• 第一，VFI 中 sequence modeling 的关键不是 mixer 多强，而是 token 顺序是否反映运动结构；motion-conditioned serialization 可能比更复杂的 attention/SSM block 更重要。
• 第二，flow 不必只作为 warping 坐标，也可以作为 feature aggregation 的坐标系，这个 insight 可迁移到 video restoration、video SR、tracking-conditioned generation 等任务。
• 第三，前后向 trajectory context discrepancy 是一个有用的 latent reliability signal，值得在遮挡建模、flow uncertainty 和 self-supervised refinement 中继续扩展。
• 第四，未来真正值得做的是从单条 flow-guided trajectory 走向 uncertainty-aware、多假设、可回退的 trajectory aggregation，而不是继续微调 K、Δ 或替换序列模块。

一句话总结

MASS 是一篇把 SSM 从静态视觉扫描推进到 motion-conditioned trajectory scanning 的 VFI refinement 工作，真正贡献在于用运动对齐的序列化重构信息流，而不是单纯引入更强的序列模型。