精读笔记

Problem Setting

Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC（arXiv preprint / 2026-07-01）关注的是 VVC/VVenC 中 MMVD 的 encoder-side 搜索复杂度，而不是提出新的运动补偿工具。真正困难点在于 MMVD 的候选空间很小但评估代价很重：每个方向-距离组合都可能触发 fractional interpolation、prediction generation 和 cost evaluation；而实际有效候选只占少数。以前的 VVenC fast MMVD 主要利用搜索历史和 cost ordering 做流程剪枝，本质上是 search heuristic，不能解释某个 MVD perturbation 是否与当前 residual 匹配。关键矛盾是：MMVD 的压缩收益来自精细 motion refinement，但低延迟/快速 preset 下无法为大量无效 fractional candidates 支付完整 RD search 成本。

Motivation

作者的出发点不是“再设计一个更 aggressive 的 early termination”，而是补上已有 fast strategy 缺失的局部预测模型：一个 MMVD offset 是否有用，应该能从当前 regular merge residual 与 reference block 的局部梯度关系中看出来。已有路线卡在候选枚举层面，它们知道哪些候选在经验上不常赢，但不知道当前 CU 中某个方向的微小 motion shift 是否会减少 residual。论文的核心观察是 fractional interpolation phase 的变化主要由相邻 integer samples 的差分决定，因此 MMVD 的局部效果可以近似为沿 offset 方向给 prediction 加一个 gradient perturbation。缺口就是：在完整 motion compensation 之前，用便宜的一阶信号判断候选有没有基本下降方向。

Core Idea

论文真正的核心是把 MMVD candidate 从离散黑盒模式改写成 regular merge prediction 附近的局部线性扰动。8-tap DCT-IF 被近似成主能量集中的 2-tap filter 后，不同 fractional phase 的 filter difference 近似等于一个相位相关标量乘以差分核；因此 MMVD prediction 可以写成原 prediction 加上 reference spatial gradient 的缩放项。这样，是否需要评估某个候选，就变成判断该 perturbation 是否与当前 residual 的下降方向一致。

这和 prior 的本质区别在于信息流被提前了：prior fast search 通常等 cost 已经算过一些候选后再决定后续是否继续，本文在 candidate evaluation 前用 signal-level structure 做 gating。它引入的 inductive bias 是一阶局部可改进性：有价值的 MMVD offset 应当在 residual-gradient inner product 上呈现降低 distortion 的方向性。这个 bias 比单纯 search-order heuristic 更可迁移，因为它依赖 interpolation 和 residual 的局部结构，而不是某个 preset 下的经验搜索路径。

Method

方法的关键机制可以压缩成三步。第一，filter-difference approximation：用 2-tap 主系数近似 8-tap fractional interpolation，使 phase difference 可以表示为 scalar × finite difference kernel；它解决的是候选收益不可见的问题，把完整预测差异转成 reference gradient response。第二，residual-gradient criterion：展开近似 distortion 后，用 residual 与 gradient response 的内积符号判断候选是否可能降低 distortion；它解决的是在 full RD cost 前做 cheap rejection 的问题，核心变化是从 cost evaluation 转成 directionality test。第三，support-shift 与 2D separable extension：当 offset 跨 integer boundary 时，filter support 会移动，作者把 shifted-support 也因式分解到同类差分响应；在 2D 中利用标准 MMVD 仅四个 cardinal directions，使 horizontal/vertical perturbation 中只有一个非零，避免 cross-term。implementation optimizations 只是让这个判别器足够便宜：symmetric offset inference 减少重复计算，cross-shaped dot product 用中心行/列近似 full-block response；这些是必要工程，但不是方法成立的核心。

Key Insight / Why It Works

最关键的 insight 是：MMVD 的很多候选并不需要被“试出来”，因为它们在一阶近似下已经朝着增加 residual energy 的方向移动。对于一个 regular merge prediction，如果 residual 与 reference gradient 的相关性表明向某个方向移动会让预测更接近原始块，则该方向值得保留；反之完整计算大概率浪费。这本质上是把 motion refinement 的局部搜索转化成一个近似梯度下降方向判断。

真正有效的部分大概率是 residual-gradient sign test，而不是后面的 SIMD、SymOffset 或 CrossDot。SymOffset 和 CrossDot 主要控制 overhead，使理论剪枝不会被自身计算成本抵消。2-tap approximation 也不是单纯工程简化，它提供了可解释的 low-rank / first-order filter-difference model；但其准确性依赖 VVC fractional filters 的主能量确实集中在相邻 taps。这个方法不属于 scaling，也不是 retrieval；它更像 better inductive bias + memory reuse：重用 regular merge prediction、reference samples 和 residual，把原本昂贵的 test-time compute 转成轻量 analytic gating。需要直接指出的是，论文的 gain 很可能来自“在已有 Fast123 之后进一步 aggressive pruning”，而非发现了新的编码增益来源；它是在更少损失 RD gain 的前提下降低 compute，不是提升 MMVD 本身的上限。

Relation To Prior Work

最接近的是 VVenC 现有 MMVD fast search：Fast1 用 base merge candidate ranking 限制入口，Fast2 用第一步的最佳方向约束后续方向，Fast3 用 coarse list last cost 做早停。这些方法都属于 search trajectory heuristic。本文属于同一条 encoder complexity reduction 谱系，但新增的信息是 candidate-level signal compatibility：它用 residual 与 reference gradient 的关系直接预测某个 offset 是否有用。

看似新的部分中，2-tap 近似、差分核和中心行/列采样都不是孤立的新思想；视频编码里用局部梯度预测 motion perturbation、用简化 filter 做 fast decision 都有相近传统。实质创新在于把这些思想嵌入 MMVD 的 fractional filter difference，并处理 aligned/shifted support 与 VVC separable filtering，使其能作为 VVenC fast MMVD 的前置 gate。它不是替代已有 fast strategies，而是在已有 heuristic pruning 之后加一层更底层的 analytic pruning。

Dataset / Evaluation

Evaluation 覆盖 VVenC-1.14.0、RA 配置、CTC Classes A1/A2/B/C/D 和多个 preset，基本能验证“作为 VVenC 内部 fast MMVD 策略”的 claim。它也同时报告 PSNR、SSIM、VMAF 相关 BD-rate 和 encoding time overhead，比只看 PSNR 更合理。真正支持核心 claim 的证据是：在 +Fast123 基础上，search attempts 约再砍一半，同时 RD loss 相对可控，η 更低。

但 evaluation 的边界也很明显。它没有深入分析误剪候选的类型，也没有展示 residual-gradient criterion 的 precision/recall 或按 motion complexity、texture frequency、block size 的失败模式。实验只说明在 CTC/RA/VVenC preset 下 trade-off 好，并不能证明该一阶准则对所有 encoder configuration 或非标准 MMVD 扩展都稳健。部分 class/preset 下 VMAF BD-rate 和 η 波动较大，说明感知指标上的收益并不稳定；文中未充分说明这些异常来自 metric noise、内容特性还是剪枝误差。

Limitation

最大限制是理论近似的适用域。方法依赖 fractional filter difference 可由局部 2-tap 差分解释，依赖 residual-gradient inner product 的符号能代表 RD cost 改善方向；但真实 encoder cost 包含 rate、bi-pred weighting、BCW、quantization 后失真、mode competition 等因素，不只是 SSE 的局部下降。它剪的是候选，不改变表示能力，因此上限被标准 MMVD 和已有 merge candidates 决定。

第二个限制是 cardinal-direction 假设。标准 MMVD 下 horizontal/vertical 只有一个方向扰动，2D separable cross-term 自然消失；一旦进入 diagonal 或更自由的 template-based MMVD，当前推导会变弱，cross-term 和 support-shift 组合可能显著增加 overhead。第三，CrossDot 的中心十字采样是明显工程折中，可能在非均匀 motion、局部遮挡、纹理只出现在边缘区域的 CU 中误判。第四，增益归因不完全干净：+Ours 建在 +Fast123 之上，最终收益是 analytic pruning、工程优化和已有 search policy 的组合；文中未充分说明三者交互下哪些候选被系统性牺牲。

Takeaway

• 最值得记住的不是具体 MMVD 表格或 preset 数字，而是一个可迁移模式：对 encoder fast mode decision，不一定只能学 heuristic 或调 search order，可以从 prediction operator 的局部差分结构推导 cheap rejector。
• 第二，fractional interpolation 的 filter difference 是一个很好的分析入口，它把 motion refinement 的离散候选转成 residual-gradient alignment 问题。
• 第三，真正有价值的 fast algorithm 往往需要 analytic criterion + low-overhead implementation 同时成立；如果 gate 本身不够便宜，理论剪枝没有意义。
• 第四，未来更值得做的是系统刻画误剪分布，并把这种 filter-difference / residual-gradient 判别推广到 diagonal MMVD、DMVR、AMVR 或其他 sub-pel refinement，而不是继续堆搜索规则。

一句话总结

这篇论文把 VVenC 的 MMVD 加速从经验搜索剪枝推进到基于 fractional filter difference 的一阶 residual-gradient gating，是一种用预测算子结构换取 test-time compute 的实用型 encoder complexity reduction 方法。