精读笔记

Problem Setting

论文标题：DELTAVID: Enhancing Fine-Grained Spatiotemporal Perception with Cross-Video Differences（arXiv preprint / 2026）。这篇论文真正处理的是 Video MLLM 的一个长期短板：模型能讲出视频大意，却不能可靠指出“哪里、什么时候、发生了什么局部变化”。困难不在于回答一个视频问题，而在于两个视频共享几乎相同的全局语义时，答案必须来自微弱的 cross-video residual evidence。以前方法卡在两个地方：标准视频 QA 的监督太粗，只奖励最终文本答案；通用 RL 或 temporal reasoning 训练多半还是优化高层正确性，无法强制模型学习局部证据。这个任务的关键矛盾是：细粒度证据最需要 dense / verifiable supervision，但真实视频里的自然局部差异又很难大规模标注。

Motivation

已有路线不够的原因很直接：Video MLLM 的训练目标通常允许模型用语义先验、语言推断和全局视觉线索过关，而不要求它证明答案来自某个时间段或某个局部区域。作者的核心观察是，spot-the-difference 这种比较任务天然抑制全局语义捷径，因为两个视频的背景、主体和事件大体相同，剩下真正有判别力的是局部变化。关键缺口不是缺一个更强 backbone，也不是缺更多普通视频 QA，而是缺一种可扩展的 proxy task，把“局部时空证据”变成可自动生成、可自动评分、可用于 RL 的训练信号。

Core Idea

DeltaVid 的核心不是 13 种扰动或某个训练 recipe，而是把视频理解从 absolute perception 改成 relative perception：模型不再只看一个视频并生成描述，而是比较两个相似视频，学习 A/B 之间的差分证据。这个建模方式引入了很强的 inductive bias：忽略共享语义，关注局部残差；忽略流畅解释，关注可验证的时间边界和空间区域。

这和 prior 的本质区别在于，已有 video difference / captioning benchmark 多用于评测或描述，DeltaVid 把它变成训练信号；已有 rule-based RL 多奖励最终答案或推理格式，DeltaVid 把 reward 直接落在 temporal IoU、spatial IoU 和属性选择上。因此它可能更 scalable：只要能程序化制造局部差异，就能获得精确标签；也可能更 generalizable：局部证据对齐是一种底层感知能力，理论上可迁移到普通视频任务。但这种泛化成立的前提是程序化差异确实覆盖了真实世界中需要的时空证据结构。

Method

方法层面需要保留的机制只有几个。第一，受控 A/B 视频合成解决的是细粒度标签不可规模化的问题：在真实视频背景上插入空间、时间和时空扰动，既保留自然视觉分布，又获得精确 bbox / time-span / attribute 标签。核心变化是把 expensive annotation 转成 cheap programmatic supervision。

第二，Grounding 和 MCQ 的双任务设计解决的是 sparse reward 与能力分解问题。Grounding 让模型学习“证据在哪里/何时发生”，MCQ 让模型区分类似变化的属性和类别；前者提供连续定位信号，后者提供闭集判别信号。两者组合比单纯开放描述更可训练，也比纯 MCQ 更不容易只学语言选项。

第三，rule-reward GRPO 的必要性在于避免 learned reward 或文本相似度带来的不确定性。IoU 和 exact match 把训练目标直接绑定到局部证据，尤其 spatiotemporal reward 用时间 IoU 与空间 IoU 的乘积，强迫模型同时对齐 when 和 where。这个设计的核心价值不是 RL 算法本身，而是 reward 可验证且和 claim 对齐。

第四，difficulty-aware 数据组织和 anti-shortcut control 更像稳定训练的工程必要条件。单差异样本提供基本对齐，多差异样本减少只报最显著变化的偏置，扰动随机化和 hard distractor 降低格式/位置/颜色捷径。它们重要，但更像让 proxy task 不崩的 scaffolding，而不是论文的根本创新。

Key Insight / Why It Works

最关键的 insight 是：细粒度视频感知不一定要靠人工标注真实事件边界，可以通过构造“几乎相同视频之间的可验证残差”来逼出。A/B 对比天然把全局语义抵消掉，使模型必须把注意力转向局部差异；这比普通视频 QA 更接近一种 representation alignment 训练，而不是问答能力训练。

我认为真正有效的部分主要是 better inductive bias + data coverage，而不是 GRPO 本身。GRPO 只是把可验证 reward 吃进去；如果没有高质量 A/B residual 数据和精确证据标签，RL 不会凭空产生细粒度感知。论文里 temporal IoU 提升最大，也符合这个判断：普通视频模型最缺的是短时间段边界监督，而 DeltaVid 正好大量提供这种信号。

Grounding+MCQ 的互补性也合理：Grounding 解决 evidence alignment，MCQ 解决 attribute discrimination，避免模型只学“框一个区域”或只学“选一个类别”。但 MCQ 部分也可能引入选项分布和模板捷径；文中做了 distractor 和 shuffle，但不足以完全排除模型学习 benchmark-specific decision patterns。

哪些可能只是 engineering / scaling：扰动 taxonomy、Large-Edit subsets、数据混合比例、format reward、LoRA/GRPO 配置，大多是让训练更稳定和覆盖更广的工程设计。实质贡献不在这些细节，而在把 cross-video differences 组织成可验证 RL proxy。

需要警惕的是，所谓“fine-grained spatiotemporal reasoning”可能被高估。模型可能学到的是编辑痕迹检测、局部异常检测、时间窗口匹配，而不是自然视频中的事件因果理解。general benchmark 的提升幅度整体不大，说明迁移存在但有限；增益来源不清，可能主要来自额外数据、时序定位正则化和 RL 格式训练的组合。

Relation To Prior Work

它最接近三条路线：video difference / change captioning，verifiable visual RL proxy tasks，以及 Video MLLM temporal reasoning RL。和 VidDiff、ViDiC 这类视频差异评测相比，DeltaVid 的新增点是把差异任务从 benchmark 变成 post-training supervision，并且显式奖励时空证据。和 Perception-R1、Jigsaw-R1、ViCrit 这类 proxy RL 相比，它把 proxy 从静态图像或粗视觉判断扩展到视频中的 temporal boundary 和 spatiotemporal binding。

看似新的地方很多其实是已有思想重组：程序化数据生成、IoU reward、MCQ hard negative、GRPO、format reward 都不是新机制。实质创新在于任务选择和监督组织：cross-video residual 是一个很干净的训练对象，既可控又能压制语义捷径，比普通视频 QA 更适合作为细粒度感知的 proxy。

技术谱系上，它不是新的 Video MLLM 架构，也不是新的 temporal reasoning algorithm，而是 data-centric + rule-reward post-training。它推动的是“用可验证代理任务塑造底层感知能力”这条路线，而不是“扩大模型/上下文/推理链”那条路线。

Dataset / Evaluation

DeltaVid-10K 的优势是标签精确、任务目标清楚、覆盖空间/时间/时空三类局部差异，并且基于真实视频背景而非完全合成场景。它确实比普通 QA 数据更适合验证局部证据学习。但它的真实世界覆盖仍有限：差异主要是程序化编辑，包括形状、模糊、像素化、速度、反转、冻结、删除、循环等，这些更接近 low-level perturbation，而不是自然事件中的语义变化、交互变化或因果状态变化。

DeltaVid-Bench 能较好验证 in-domain claim：模型是否能比较两个相似视频并定位证据。这里结果有说服力，尤其同等 8B 模型超过更大模型说明任务特定监督确实有效。但 benchmark 与训练数据共享生成思想和扰动空间，即使 source videos disjoint，也仍可能存在 distribution-level overlap。因此它验证的是“对这类 cross-video perturbation 的能力”，不是完全开放的现实世界差异理解。

general video benchmark 的评估更像迁移 sanity check，而不是强证明。多个 benchmark 上都有提升，方向一致，这是积极信号；但这些任务并不直接测 A/B 差异和证据定位，且提升幅度并非压倒性。文中未充分说明哪些子任务真正受益于时空证据能力，哪些只是因为额外训练带来的整体 calibration 或 temporal bias 改善。

Limitation

最大的前提依赖是：程序化局部差异能够代表真实视频理解中所需的细粒度证据结构。这个前提只部分成立。模糊、颜色变化、形状插入、速度变化能训练局部注意和时间边界，但离真实事件差异、动作意图、对象交互、状态转移还有距离。

第二，scalability 的上限不在生成更多扰动，而在扰动语义是否足够自然。继续扩大数据量可能主要提升编辑模式覆盖，未必带来真实世界 reasoning。核心能力可能主要来自数据覆盖；如果扰动 taxonomy 不扩展到更语义化的变化，模型可能变成强 perturbation detector。

第三，泛化归因不清。DeltaVid 同时引入额外视频数据、结构化输出、rule reward、MCQ、Grounding、hard distractor 和 curriculum-like composition。消融能说明它们都有用，但不能干净地区分“cross-video comparison”本身、额外训练量、RL regularization、以及模板化任务格式的贡献。

第四，reasoning / planning 的说法需要克制。方法没有显式长期状态建模，也没有 planner；它更像训练局部时空 evidence alignment，而不是形成复杂视频推理能力。若部署场景需要开放式自然变化检测，尤其长视频、多主体、多事件因果链，当前证据不足。

第五，evaluation 仍偏 offline benchmark。真实 deployment 中 A/B 视频可能不同步、视角不同、背景变化非受控、差异不是单一局部编辑，此时 cross-video alignment 本身会变成主难题。论文没有充分讨论这种非配准、非同源视频下的鲁棒性。

Takeaway

• 1. 最值得记住的是 cross-video residual supervision：当全局语义成为捷径时，构造相似输入对并监督差异证据，是训练细粒度感知的有效方式。
• 2. 这篇真正推动的是 verifiable proxy task for video perception，而不是模型结构。
• 未来很多视觉能力可能都可以通过“可程序化生成 + 可自动评分”的代理任务来塑造。
• 3. 可迁移的 insight 是：把答案监督改成证据监督，尤其把 reward 绑定到 where / when，而不是绑定到自然语言相似度，能更直接改善多模态模型的感知瓶颈。

一句话总结

DeltaVid 是一篇 data-centric、rule-reward 的 Video MLLM 后训练工作，它的核心贡献是把跨视频局部差异转化为可验证代理监督，从而用 residual evidence alignment 推动模型从粗语义视频理解走向更细粒度的时空证据感知。