精读笔记

Problem Setting

[MoHallBench: A Benchmark for Motion Hallucination in Video Large Language Models]（arXiv preprint / 2026）。这篇论文关心的不是一般 video QA 准确率，而是 VideoLLM 在强先验条件下是否能做 motion falsification：当对象、场景、前序动作、相似动作都强烈暗示某个动作应当发生时，模型能否坚持只回答视频中真正出现的运动。真正困难点在于，动作理解本来就需要利用这些先验；但 hallucination resistance 又要求模型在先验和视觉证据冲突时压制先验。以前 benchmark 多数测 object hallucination、粗粒度 action、事件描述或语义 pair，无法区分模型是没看懂动作、被语言偏置带跑，还是被事件脚本自动补全。这里的关键矛盾是：VideoLLM 的高层常识对 recognition 有利，但对 absence verification 是灾难。

Motivation

已有路线不够的地方在于，它们通常把 hallucination 当成输出错误，而不是把错误来源结构化拆开。作者的核心观察是 motion hallucination 有几个稳定诱因：上下文共现会让模型把对象/场景对应的典型动作补出来，时间序列会让模型把中间阶段补成结果，语义或视觉相似会让模型把邻近动作混同。这个方向自然来自视频相对图像的新增维度：时间不是简单多帧输入，而是给模型提供了事件脚本和结果预期。关键缺口不是缺一个更大 action benchmark，而是缺一个能系统制造“合理但未发生”的负样本并衡量模型否证能力的诊断工具。

Core Idea

核心思想是把 motion hallucination benchmark 设计成受控反事实：保持强诱导线索存在，同时移除或替换目标 motion，让模型必须在 prior 和 visual evidence 冲突时做选择。这改变了评测建模方式：从正向识别“视频中有什么”转为反向验证“高概率动作是否真的发生”。

本质区别在于，MoHallBench 不是随机负例或普通多选干扰项，而是把负例绑定到可解释的诱因结构上。CH 的负例来自统计先验，SIH 的负例来自事件终点截断，SH 的负例来自语义/视觉近邻。这使 benchmark 更像一个 causal probe：如果随着先验强度、截断进度或相似度增加，模型否证能力单调下降，就能把错误归因到特定 hallucination mechanism，而不是笼统归因于模型弱。

Method

方法上保留三件真正必要的机制。第一，prior-conflicting negatives：用条件概率和 PMI 从 Charades 中找对象-动作、场景-动作、动作-动作的强关联，但把这些强关联动作作为视频中不存在的 hard negative。它解决的是随机负例太容易、无法测先验压制的问题；核心变化是把评测从分类难度转为先验冲突难度。

第二，truncated outcome negatives：在 FineDiving/TAPOS 这类有步骤边界的数据中切掉终止动作，只保留足够强的 trigger phase。它解决的是模型是否把过程自动补全为结果；必要性在于普通完整视频无法区分“看到结果”和“推断结果”。

第三，similarity-based negatives：语义上用细粒度动作层级，视觉上用同源视频近邻，构造相似但 motion-different 的负例。它解决的是模型是否真的对关键运动模式敏感，而不是依赖外观、对象或动作名称近邻。

双向 questioning protocol 是评测层面的必要补丁：正问和反问配对后，能把 yes-bias 与真实否证能力部分分离。它不是核心科学贡献，但没有它，binary evaluation 的结论会很不可靠。

Key Insight / Why It Works

这篇最有价值的 insight 是：VideoLLM 的 action recognition 和 motion hallucination resistance 是解耦的能力。很多模型能确认正样本动作，却不能拒绝高先验负样本；这说明当前模型更多学到的是“给定上下文下什么动作合理”，而不是稳定的 motion-grounded verification。

方法有效的原因主要不是 scaling，也不是更强 evaluator，而是 better diagnostic inductive bias：benchmark 把三类诱因控制成可比较变量，使 hallucination severity 可以随 prior strength、temporal progress、similarity level 被观察到。最核心贡献是 SIH，因为它最直接暴露 temporal completion shortcut：模型看到起跳、旋转、投掷准备后，会把 landing / entry / release 当成已经发生。这比普通 action confusion 更接近视频模型的结构性缺陷。

CH 和 SH 中有一部分是 engineering/data construction：条件概率、PMI、semantic hierarchy、reranker mining 本身不是新思想，属于把已有统计/检索工具组合成 benchmark。但它们的组合有诊断价值，因为负例不是 arbitrary negative，而是按诱因强度排序的 hard negative。

需要警惕的是，SSH 用 GPT 构建 taxonomy、VSH 用 Qwen reranker 挖视觉近邻，可能把外部模型的语义空间和视觉偏差带入 benchmark。文中未充分说明这些工具的错误如何影响难度分布。生成式 SIH 用 DeepSeek judge 加人工复核，方向合理，但仍可能存在 entailment 边界不稳定的问题。整体上，这篇不是证明某种新 reasoning 能力，而是证明当前模型所谓 temporal reasoning 很多时候更像 event-script retrieval / completion。

Relation To Prior Work

它最接近的谱系是 video hallucination benchmark、action hallucination benchmark 和 fine-grained motion understanding benchmark。与 EventHallusion、VideoHallucer、VidHalluc 的差异在于，MoHallBench 不只是分类 hallucination 类型，而是把 motion hallucination 的诱因显式拆成可操作变量。与 MHBench/UNSCENE 的差异在于，后者更多围绕动作是否完整、场景是否诱导，而 MoHallBench 进一步引入 co-occurrence strength、process-outcome truncation、semantic/visual similarity granularity，因而更像 mechanism-level diagnostic。

看似新的部分有不少是已有思想重组：PMI/co-occurrence hard negative、semantic hierarchy、visual retrieval、paired question debiasing 都不是新技术。但实质创新在于把它们组织成针对 motion absence verification 的统一评测框架，并证明不同诱因导致不同 failure mode。它属于 benchmark-as-probe 的技术路线，而不是 model architecture 或 training method 的进展。

Dataset / Evaluation

覆盖范围上，MoHallBench 横跨 Charades、HAA500、HACS、FineDiving、TAPOS，覆盖短视频人体动作、多种问答形式和三类 hallucination 诱因；这比单一 action recognition benchmark 更能支撑“motion hallucination 是系统性问题”的 claim。它确实验证了核心 claim：模型在 positive recognition 与 adversarial negative rejection 上存在显著断裂，并且错误随诱因强度增加而加重。

但 evaluation 仍是离线、短 clip、curated adversarial setting。它验证的是 controlled benchmark 下的 hallucination susceptibility，不等同于真实部署中的开放式视频理解可靠性。32-frame uniform sampling 是合理工程折中，但附录也显示更多帧可能增强正样本识别同时加重 yes/hallucination tendency，这反而说明单纯 scaling visual context 不一定解决否证问题。MC 结果能补充说明 hard negative attraction，但 BC 的 query wording 仍可能影响模型行为，尽管双向协议缓解了这一点。

Limitation

核心前提是 hard negative 必须只在目标 motion 上与正样本不同，而不引入额外可利用 artifact；这一点在 VSH 和 SIH 中尤其难保证。截断视频可能产生不自然结尾，模型失败可能部分来自训练分布中“视频通常展示完整事件”的偏置，而不完全是 motion perception failure。

scalability 上，CH 依赖已有标注和统计共现，SIH 依赖步骤级边界，SH 依赖语义 taxonomy、reranker 与人工验证；这些都限制了向开放世界长视频扩展。核心能力评估可能 heavily rely on data coverage：如果模型训练中见过大量类似截断或 negative verification 数据，分数可能提升，但这未必代表形成了真实 temporal state tracking。

文中未充分说明 benchmark 与模型训练数据的 overlap 风险，尤其 Charades/HACS/HAA500 这类公开数据可能出现在部分 VideoLLM 的预训练或指令数据中。增益归因也不是论文目标：它只诊断模型失败，不解释哪个架构因素导致强/弱表现。所谓“sequential inference”在当前模型里更像 event-script completion，而非显式 planning；benchmark 揭示了这一点，但没有提供机制级干预。

Takeaway

• 最值得记住的不是某个模型排名，而是 absence verification 应该成为视频理解的核心评测维度；只测 positive action recognition 会系统性高估 VideoLLM。
• MoHallBench 推动的是 hallucination benchmark 从现象分类走向诱因控制：未来更有价值的 benchmark 应该能改变 prior strength、temporal evidence、similarity granularity，并观察模型错误曲线。
• 可迁移 insight 是：对多模态模型，hard negative 应该来自模型最可能依赖的 shortcut，而不是随机采样。
• 对象、场景、事件脚本、视觉近邻都可以作为构造反事实评测的轴。

一句话总结

MoHallBench 是一个把 VideoLLM motion hallucination 从“输出错误”推进到“强先验下动作否证失败”诊断层面的 benchmark，真正贡献在于用可控 hard negatives 揭示当前视频模型的 temporal/script completion shortcut。