精读笔记

Problem Setting

这篇论文关注的是大型视频扩散模型推理中的 feature caching：在 denoising 的某些 step 跳过昂贵模块，复用上一参考步的输出，同时尽量不破坏视频质量。真正困难不在于发现相邻 step 有冗余，这一点已有大量工作证明；难点在于如何判断当前冗余是否仍然安全。

已有方法卡在两个极端。TeaCache/MagCache 这类 offline calibration 方法假设输入差分到输出差分存在可离线拟合的稳定规律，但这个规律会随模型、scheduler、prompt 分布变化而漂移。EasyCache 这类 calibration-free 方法避免了离线数据，却采用上一时刻 ratio 近似当前 ratio，本质是 zero-order hold；它在平稳段有效，但在扩散早期/末期或高动态 prompt 中容易滞后。

因此任务的关键矛盾是：缓存策略必须在线自适应，否则无法泛化；但在线自适应又不能引入大量额外 forward，否则加速收益消失。NaviCache 的目标就是在这个矛盾中找到一个低开销、可递归更新的状态估计机制。

Motivation

作者真正抓住的缺口是：现有 cache 方法要么把 feature evolution 当作静态映射，要么当作局部常数，但扩散轨迹中的 feature ratio 更像带惯性的连续运动。输入变化 ΔI 与输出变化 ΔO 的关系不是完全随机的，它沿 denoising trajectory 呈现可跟踪的路径结构。

这个观察使得问题从 regression / heuristic thresholding 转向 tracking：不需要离线学一个全局函数，也不需要每步完全相信上一观测，而是维护一个关于当前 sensitivity ratio 的信念状态。这里缺的是 test-time self-calibration：在推理过程中利用少量 full computation 作为观测，不断修正缓存判定。

INS 类比的动机主要是“惯性导航 + 定期校准”：跳过时靠惯性预测，误差/不确定性积累到阈值后重新测量。这个类比并不深到需要真实物理变量映射，但它提供了一个比零阶保持更合理的 inductive bias。

Core Idea

NaviCache 的核心不是提出一个新缓存位置，而是改变缓存判定的建模方式：从估计绝对输出变化 ΔO，改为在线估计相对 sensitivity ratio r_t = ΔO_t / ΔI_t。这样做的好处是 ΔI 在 test time 可观测，系统只需要追踪“输入变化会被模型放大/压缩多少”这个低维量。

论文引入的关键 inductive bias 是：r_t 不是独立瞬时变量，而是具有轨迹惯性和缓慢漂移的隐状态。于是 cache policy 变成一个 recursive Bayesian filtering 问题：历史 posterior 提供 prior，full computation 提供 measurement，uncertainty 决定何时需要重新锚定。

和 prior 的本质区别在于信息流。offline calibration 方法把信息从外部 calibration set 注入；EasyCache 只使用上一时刻单点观测；NaviCache 则把当前样本自己的历史轨迹压缩成状态和不确定性，并在 test time 闭环更新。因此它理论上更 generalizable，因为它依赖的是单次生成内部的动态一致性，而不是跨数据集的统计一致性。

Method

方法层面最重要的是三件事。

第一是 Initial Alignment。扩散早期噪声高、ratio 波动大，如果一开始就跳过，状态估计会在错误轨道上累积。强制前若干步 full computation 的作用不是简单 warmup，而是给 ratio state 和 covariance 一个可用初值；这是避免 recursive tracker 发散的必要代价。

第二是 dual-state tracking。NaviCache 同时维护 ratio estimate 和 uncertainty。ratio estimate 用于预测当前输出变化，uncertainty/accumulated error 用于决定是否还能继续 dead reckoning。这个设计把“是否跳过”从手工规则变成对估计可靠性的判断。

第三是 measurement update。触发 full computation 后，模型得到真实 ΔO，从而形成 z_t = ΔO_t / ΔI_t，并用 Kalman gain 融合 prior 与 observation。它解决的是 EasyCache 的二元信任问题：既不是完全相信上一观测，也不是完全相信当前噪声观测，而是按不确定性分配权重。

需要注意的是，论文所谓 CFF、INS 映射和理论推导本质上是标准 Kalman/random-walk 状态估计在 VDM cache 上的重命名与适配；实质贡献在于选择了 ratio 作为可跟踪状态，并把 skip gate 与状态不确定性耦合起来。

Key Insight / Why It Works

NaviCache 有效的最可能原因是 better inductive bias，而不是 scaling、data coverage 或更强模型。它利用了 VDM denoising trajectory 的一个结构性事实：相邻 step 的 feature response ratio 在多数区间内有连续性。只要这个连续性成立，零阶保持就显得过于粗糙，而 Kalman-style smoothing 可以自然降低观测噪声和单步漂移带来的误判。

最核心贡献是把 memory reuse 的风险控制显式化。传统 cache 的失败往往不是缓存本身，而是 skip decision 的误差：过度跳过导致 artifact，保守跳过导致无加速。NaviCache 的 accumulated-error gate 实际上是在做 test-time compute allocation，把 full forward 分配给不确定性较高的位置。这一点比 INS 叙事更重要。

Initial Alignment 是必要辅助，但不是核心创新；它更像一个经验上必须存在的 burn-in，以避免早期高噪声区域破坏 tracker。Q/R 和 threshold 的设置决定了速度-质量 Pareto，属于 engineering knob。论文声称通用参数可跨模型，但表中 threshold 仍按模型和模式设置，说明增益的一部分来自阈值调参，不能完全归因于状态空间建模。

理论部分可以帮助解释为什么融合 prior 和 noisy measurement 会优于直接使用上一观测，但其假设很强：高斯随机游走、独立噪声、稳态 Kalman gain。真实 diffusion feature dynamics 不是这个线性系统。因此 theorem 更像给方法一个合理化框架，而不是严格证明实际视频质量上界。

整体判断：这篇论文最有价值的 insight 是“test-time cache 应该估计自身 uncertainty 并主动重锚定”，而不是“INS 可以用于 diffusion”。它本质上属于 test-time compute / memory reuse / latent trajectory tracking 的组合。

Relation To Prior Work

最接近的路线是 training-free VDM acceleration 中的 feature caching，包括 TeaCache、MagCache、EasyCache，以及更宽泛的 attention/cache reuse 方法。NaviCache 不属于 step distillation，也不改变 diffusion sampler；它是在固定采样流程内做条件执行。

和 TeaCache/MagCache 的本质差异是信息来源。TeaCache/MagCache 依赖离线统计或校准曲线，假设跨 prompt/模型存在稳定映射；NaviCache 只用当前生成过程中的观测更新状态，避免 calibration dataset dependency。这个差异是实质性的，尤其对开放 prompt 分布和不同 backbone 更重要。

和 EasyCache 的差异更关键。EasyCache 已经是 runtime adaptive，但它的状态记忆基本是上一 ratio；NaviCache 把它扩展成带 covariance 的递归估计器。换句话说，NaviCache 不是简单更复杂的 threshold，而是把“上一点外推”变成“带不确定性滤波的轨迹跟踪”。

看似新的 INS 叙事其实是已有 Kalman filtering / dead reckoning 思想的重组。实质创新在于找到一个适合 VDM cache 的被跟踪变量 r_t，并证明/展示这个变量在多模型扩散轨迹中足够平滑。这比控制理论包装本身更重要。

Dataset / Evaluation

实验覆盖 Wan 2.1、HunyuanVideo、Open-Sora 1.2，包含不同分辨率、帧数和模型规模，基本支持“不是单一模型特化技巧”的 claim。评估指标包括 latency/speedup、PSNR/SSIM/LPIPS 和 VBench，能同时观察重建接近度和生成质量指标。

不过 evaluation 主要验证的是相对于 unaccelerated baseline 的 visual retention，而不是更广义的视频生成质量。PSNR/SSIM/LPIPS 对 cache 方法友好，因为目标就是接近原模型输出；VBench 虽然更语义化，但文中也承认个别 calibration-based 方法 VBench 分数不一定低，这说明 benchmark 与可见 artifact 之间存在错位。

实验较好地支持了核心 claim：在相近速度下，NaviCache 的 skip decision 更准确，尤其相较 EasyCache 的零阶保持更稳定。但它没有充分验证极端分布迁移：例如长视频、强 motion、复杂 camera movement、多 subject interaction、不同 CFG/scheduler 组合、batch inference、不同 cache layer 选择。真实部署中的稳定性仍需更多 stress test。

辅助开销表明状态估计本身几乎不构成瓶颈，这一点可信；但 threshold 需要按模型设定，说明所谓 calibration-free 在工程落地时仍有 policy tuning 成本。

Limitation

第一，核心假设是 ratio trajectory 可被低阶平滑模型跟踪。这个假设在论文可视化中成立，但未证明对所有 layer、scheduler、prompt 和 video dynamics 成立。一旦 ratio 发生突变，NaviCache 要么过度平滑导致 artifact，要么频繁 update 牺牲 speedup。

第二，方法并非真正 hyperparameter-free。Q/R、initial alignment steps、τ 都直接控制 Pareto frontier。文中虽然说 Q/R 固定，但 τ 明显按模型和模式调节；因此一部分性能来自工程调参，而非纯粹的 self-calibration。这里的增益来源不清。

第三，理论保证的适用范围有限。Kalman bound 针对随机游走和高斯噪声，而实际 VDM feature drift 是非线性、跨层耦合、受 prompt 和 scheduler 强影响的过程。理论可以解释趋势，但不能作为实际 artifact bound。

第四，方法把离线 calibration 问题转移成在线重锚定问题。它避免了 calibration data dependency，但仍依赖当前样本中足够频繁的 full computation 来修正状态；在 aggressive speedup 下，measurement sparse 会使 tracker 退化成带平滑的 extrapolation。

第五，评估没有充分分离“更好的 skip policy”与“更保守的 skip policy”。慢模式质量更高并不意外，真正需要看的是严格 iso-latency 下的质量优势以及在不同 artifact 类型上的错误率。文中已有部分支持，但还不够彻底。

Takeaway

• 1. 视频扩散 cache 的关键不只是复用特征，而是估计复用风险；未来更强的方法应该显式建模 uncertainty，而不是只调阈值。
• 2. 将输入/输出差分 ratio 作为低维动态状态是可迁移 insight：类似思想可用于 DiT layer skipping、attention reuse、token pruning、multi-step solver error control。
• 3. Test-time self-calibration 是比 offline calibration 更有前途的方向，尤其当生成模型面对开放 prompt 分布时；但它需要更好的 adaptive noise model，而不是固定 Q/R。
• 4. 这篇真正推动的是 cache policy 从 heuristic scheduling 走向 online state estimation；INS 只是叙事外壳，核心是 uncertainty-aware memory reuse。

一句话总结

NaviCache 是把视频扩散 feature caching 从离线拟合/零阶外推推进到 test-time uncertainty-aware 状态估计的一步，真正贡献在于用可递归跟踪的 ratio dynamics 重新定义了安全跳过计算的问题。