精读笔记

Problem Setting

这篇论文实际解决的是 MLLM 在视频动作理解中的“拒判”问题：当视频包含强烈指向某个动作的场景、人、物体和相邻运动，但目标动作的定义性运动并未发生时，模型能否说“不”。这不是普通 negative classification，因为负例不是背景噪声或无关视频，而是最容易触发 shortcut 的 counterfactual-like hard negative。

真正困难点在于 action label 往往和上下文高度共现：篮球场、球员、篮球会强烈暗示 basketball dunk；钢琴、坐姿、手部接近键盘会强烈暗示 playing piano。现有模型在正例 benchmark 上的高分，很可能只需要学到这些高阶共现，而不需要验证完整动作链条。任务的关键矛盾是：识别系统需要利用 context 缩小候选动作，但 denial 又要求它不能把 context 当作 action 的充分证据。

Motivation

已有路线不够的核心原因是 evaluation 没有惩罚“合理但错误的确认”。UCF101、Kinetics、HMDB 等正例主导的数据集主要问“发生了什么动作”，而很少问“这个看起来很像的动作是否其实没发生”。因此模型被训练和评估成一个 plausible action proposer，而不是 evidence verifier。

作者抓住的缺口是：视频理解中缺少对 absence 的系统评估。尤其是 MLLM 还叠加了语言模型的迎合/肯定偏置，面对二元问题或候选动作时更容易沿着 prompt 中提出的动作假设给出 yes。这里缺的不是更大的 action vocabulary，而是对“必要运动证据缺失”的建模压力。

Core Idea

论文的核心思想是把动作判断从相关性匹配改成因果链验证。传统模型隐式允许 A ← object/location/context，即看到球场和篮球就提高 dunk 的 posterior；CausalAct 则把动作发生约束为 interaction 与 motion 的结果，即 context 只能提供可能性，不能直接推出 action。这个建模改写很关键：denial 的本质不是识别另一个类别，而是发现候选动作的必要条件没有闭合。

它引入的 inductive bias 是“动作必须由可观察的交互和运动支撑”。这比单纯 debias background/object 更强，因为它不是压低某些 shortcut feature，而是重新组织信息流：person/object/location → relation/interaction → motion → action。与 prior scene graph / causal prompting 的区别在于目标不是解释或增强正例预测，而是专门服务于拒绝 false action hypothesis。

Method

第一，UCF101-AD 构造 hard action-denial negatives。它解决的是标准 benchmark 缺少强负例的问题；必要性在于只有保留上下文但移除定义性运动，才能区分模型是在识别动作还是在匹配场景先验。核心变化是评估信号从“选对发生的动作”变为“拒绝未发生但高度 plausible 的动作”。

第二，MCQ 中保留 primary distractor 和 None。primary distractor 对应原始目标动作，是最容易被上下文 shortcut 触发的选项；None 则要求模型显式选择 absence。这个设计比普通多分类更能暴露 false positive，但也引入了闭集和选项敏感性。

第三，CausalAct prompt 用自然语言描述 DAG，把上下文、空间关系、交互、运动和动作的依赖关系写进提示。它解决的是模型默认从 context 直接跳到 action 的问题；带来的变化是 test-time 决策被引导为逐条件验证，而不是最相似 caption 匹配。

第四，图概念微调通过节点、边、路径、因果一致性等 QA 让小模型学会解析这套图结构。它的必要性在于不是所有 MLLM 都能 zero-shot follow 长因果 prompt；核心变化是把 CausalAct 从一次性提示变成一种训练过的推理格式。但这里的“推理”更像结构化任务对齐，而不是已证明的因果发现。

Key Insight / Why It Works

最重要的 insight 是：action denial 失败不是因为模型完全缺少视觉信息，而是因为默认决策边界把“上下文强支持”误当成“动作发生”。论文中 explicit denial、移除 primary distractor 后性能显著上升，说明很多模型在低歧义条件下能做出正确判断；真正卡住的是强候选假设下的证据校准。

CausalAct 有效的最可能原因是 better inductive bias + representation alignment，而不是严格意义上的 causal reasoning。它把模型注意力从静态 context 拉向 interaction/motion，并把“absence of necessary evidence”变成可被语言模块操作的判断规则。对强语言 backbone，prompt 本身就能起作用；对小模型，图 QA finetuning 更像 curriculum，让模型学会在这种结构化格式下对齐视觉证据。

哪部分是核心贡献？我认为 benchmark 设计比 CausalAct 更硬。UCF101-AD 清楚揭示了正例 action recognition 与 denial 之间的断裂，这是论文最有价值的诊断贡献。CausalAct 是合理且有效的 first-order fix，但创新程度更接近 graph prompting / structured reasoning / causal instruction 的重组。

哪些可能只是 engineering / scaling？模型规模对 denial 有明显帮助，VideoLLaMA3-7B 和 Qwen2.5-VL-72B 的提升说明 capacity 和 pretraining 覆盖很重要。CausalAct finetuning 的增益也可能部分来自看到大量 denial-domain 视频与图 QA 模板，而非抽象因果能力。文中虽强调不暴露目标 action label，但 hidden supervision 仍可能通过视频内容、节点描述、模板分布进入模型。

需要警惕的是，所谓 sycophancy 与 shortcut 的相关性并不等于二者有同一因果根源。Binary yes/no 错误和 MCQ distractor 错误相关，只能说明它们在难样本上共同发生；它不能证明语言迎合偏置导致视觉 shortcut，也不能证明 CausalAct 修复了 sycophancy。本质上，这仍是一个 decision calibration 问题。

Relation To Prior Work

它最接近三条路线：hard negative / counterfactual action benchmark、scene graph / causal graph prompting、MLLM sycophancy/agreeableness 诊断。不同点在于论文把它们合到视频动作 absence 上：不是问模型能否识别相似动作，而是问模型能否拒绝一个上下文上极合理但运动上不成立的动作。

相对传统 action recognition debiasing，它不是简单去背景、去物体或做 invariance，而是要求保留 context，同时降低 context 到 action 的直接因果权重。这一点更贴近真实部署，因为系统不能丢弃上下文，只能正确使用上下文。

相对已有 causal / scene graph prompting，新意不在图本身。P/O/L/S/I/M/A 这套分解很朴素，甚至有些手工规则化；实质新增的信息是把图结构用于“否定动作假设”的验证，而不是正例预测解释。它属于 structured prompting + benchmark-driven diagnosis 的谱系，而不是新型视频架构论文。

Dataset / Evaluation

UCF101-AD 的覆盖范围以 UCF101 101 类为骨架，优点是类别熟悉、便于和标准 action recognition 对照；缺点是仍局限于短视频、闭集动作、人工筛选的 YouTube 片段。它验证的是“在强上下文负例中拒绝候选动作”的能力，而不是完整开放世界视频理解。

benchmark 设计总体能支撑论文的核心 claim：现有 MLLM 在正例识别高分时仍会在 denial 上崩溃。尤其是 Action-Presence 与 Action-Denial 的差距、primary distractor 的错误集中、human evaluation 都说明任务不是无意义噪声。

但 evaluation 也有明显限制。MCQ 设置会把问题绑定到候选项设计，None 选项、primary distractor、选项数量和措辞都会影响结果。外部数据集泛化实验是把 ground-truth action 替换成 None 的 denial 评估，文中未充分说明这些负例是否同样具备 UCF101-AD 那种强反事实控制，因此“泛化到其他数据集”的 claim 需要保守看待。

没有真实世界/真机部署，也没有长视频、多事件、多动作同时发生的评估。对于 surveillance、robotics、sports analytics 这类应用，真正难点往往是开放候选集、动作边界不清、部分执行与失败执行混杂，这些还没有被充分覆盖。

Limitation

方法成立依赖一个强前提：动作可以被分解为相对清晰的 person/object/location、interaction、motion、action 链条。对工具交互类动作这很自然；对群体活动、隐含意图动作、长程过程、状态变化或高度细粒度动作，这个 DAG 可能过于粗糙。

scalability 上限也明显。真实长视频里对象很多、事件重叠、候选动作开放，手工把所有相关实体放进因果图不可扩展。作者提到 actor-centric filtering，但这实际上把难题转移到“如何可靠选择相关对象和时间片”。如果前端 grounding 错了，后端 causal prompt 没法补救。

泛化是否真实存在仍不清。CausalAct-0 在外部数据上提升，但 evaluation 构造和类别 overlap 可能让模型受益于更保守的 answer policy，而非学到可迁移因果结构。增益来源不清：可能来自长 prompt 增强了谨慎性，可能来自 graph instruction 改变了输出 prior，也可能来自微调数据覆盖了相似否定模式。

所谓 reasoning 可能是假象。当前证据更像模型学会了一个结构化检查模板：若看不到显式 interaction/motion，就倾向 None。这是有用的，但不等于形成了可干预、可组合、可迁移的因果模型。尤其在 partial motion、动作刚开始/刚结束、遮挡、低帧率视频中，这种规则可能变得脆弱。

还有一个 benchmark 风险：负例由人工通过关键词搜索和裁剪构造，可能带有采集分布痕迹。模型可能学到某些 denial clips 的视觉风格、动作缺失模式或文本模板，而不是真正验证 motion absence。论文用人工验证保证标注质量，但没有充分消除 distribution artifact 的可能。

Takeaway

• 1. action recognition 的下一步不应只看正例 top-1，而要系统评估 false action rejection；denial 是视频理解里被低估的核心能力。
• 2. hard negative 的质量比模型模块更关键。
• 保留上下文、移除定义性运动的反事实式负例，是诊断 shortcut learning 最直接的方法。
• 3. 对 MLLM 来说，结构化 causal prompt 的价值不是提供新知识，而是改变决策路径：从 plausible caption matching 转为 necessary evidence checking。

一句话总结

这篇论文的主要价值是把视频动作理解从“识别发生了什么”推进到“拒绝看似合理但并未发生的动作”，并用 hard negative benchmark 加结构化因果提示证明当前 MLLM 的高识别率很大程度仍建立在上下文 shortcut 上。