精读笔记

Problem Setting

[HumanMoveVQA: Can Video MLLMs reason about human movement in videos?]（arXiv preprint / 2026）

这篇论文解决的是 Video MLLM 对“人的全局运动状态”的理解缺口，而不是一般意义上的视频问答。它关心的是人在一个外部视角视频中，相对初始帧如何平移、旋转、改变方向、累积路径，并能否对这些状态做计数、比较、排序和轨迹级判断。

真正困难点在于这里的变量不是局部视觉模式，而是跨时间的几何状态：模型必须区分人本身的运动和相机/视角变化，维护一个稳定参考系，并把多个离散事件组合成路径级结论。已有方法通常卡在两个极端：video MLLM 能识别高层动作语义，但不保留运动几何；human motion 方法能描述关节姿态，但常在 canonical frame 中抹掉全局 translation / rotation。关键矛盾是：当前模型的训练信号主要是语义压缩后的 caption，而任务需要的是未被 caption 保留的连续空间状态。

Motivation

作者的核心动机不是“再做一个 video benchmark”，而是指出现有视频-语言数据天然丢失了人的运动轨迹信息。一个 caption 说“person playing tennis”时，快速横移、后退、转身、绕圈这些对运动理解关键的变量都被压扁成同一个语义标签。

已有路线不够的原因很具体：general video QA 测的是事件理解，spatial reasoning 多是静态物体关系或 egocentric navigation，motion-language 工作多关注 joint articulation。缺口是 exocentric 视角下、长时间范围内、相对固定起点的 human trajectory / orientation reasoning。作者想到这个方向，本质上是把“动作理解”重新拆成一个几何状态估计与符号推理问题。

Core Idea

论文真正的核心思想是：不要让 MLLM 直接从自然视频 caption 中隐式学会轨迹推理，而是先构造一个显式的 world-consistent motion representation，再用它生成可验证、可规模化的监督。这个 representation 以第一帧为锚点，保留 root translation 和 body orientation，从而把人的运动放进一个固定坐标系。

它改变的建模方式是从 action-label-centric 转向 coordinate-state-centric。prior work 往往把动作看成语义类别或局部姿态变化，而这里把视频理解的基本单位改成“人在空间中的位移/旋转事件”。这个 inductive bias 很强：只要轨迹恢复可靠，模板化 QA 就能覆盖 aggregation、ordering、path-level inference 等能力，并且比人工标注开放文本更 scalable。它的 generalization 潜力来自坐标系和 motion code 的结构化，而不是来自模型本身突然具备了几何推理。

Method

方法中最关键的机制有四个。

第一，world-space lifting 解决的是相机运动和主体运动混淆问题。通过 HMR/SMPL-X 得到全局 root track，任务的参考对象从像素运动变成了相对初始帧的三维运动状态。这一步是整个 benchmark 成立的前提。

第二，first-frame anchored coordinate system 解决的是跨视频一致性问题。所有位移和朝向都相对第一帧定义，避免不同数据集、不同摄像机、不同人体朝向导致的问题语义漂移。它使“左/右/前/后/转向”这些词有了固定解释。

第三，spatial code discretization 解决的是连续几何信号难以直接映射到语言监督的问题。把 displacement_x/y/z 和 rotation roll/pitch/yaw 离散成方向、强度、速度等符号，牺牲精度换取稳定性和模板可生成性。核心变化是把 noisy 3D track 转成 MLLM 可学习的 symbolic event sequence。

第四，deterministic QA + distractor 设计解决的是标注规模和语言捷径问题。答案不是人工自由文本，而是从 motion codes 直接派生；错误选项被设计成语义合理但几何不一致。SFT 的作用是把这种结构化监督注入视频模型，让模型学习从像素输入近似恢复这些 motion-code-level 判断。

Key Insight / Why It Works

这篇最有价值的 insight 是：Video MLLM 缺的可能不是更强语言推理，而是对全局运动状态的表示对齐。只要把 supervision 从 action caption 换成 world-consistent trajectory/orientation labels，模型性能就明显提升。这说明当前瓶颈主要在训练信号和 representation，而不是纯粹的模型规模。

真正有效的部分大概率是 first-frame anchored world representation + 离散 motion event supervision。它给模型提供了一个清晰的 latent structure：视频帧序列应被解释为相对起点的一串位移/旋转事件，然后 QA 只是对这些事件做聚合或查询。相比之下，BLIP-2 clothing descriptor、具体模板数量、LoRA recipe 更像辅助工程。

但需要直接指出：SFT 增益很可能主要来自 targeted data coverage 和 template-conditioned answer mapping，而不一定代表模型学会了通用运动推理。Reasoning trace supervision 反而变差，说明模型没有稳定利用显式中间推理；option-only SFT 更像把视觉模式对齐到结构化答案分布。Ordering 仍然弱，也说明长期状态维护和精确事件排序没有被根本解决。

这不是 retrieval，也不是 test-time compute；更接近 representation alignment + synthetic curriculum + benchmark-specific supervision。它的贡献在于把“该监督什么”说清楚，而不是提出了新的视频推理架构。

Relation To Prior Work

它最接近三条路线：video MLLM benchmark、human motion-language、spatio-temporal spatial reasoning。但它和这三者的本质差异都在于参考系和被保留的信息。

相对 Video-MME、MVBench、STAR 这类 benchmark，它不是扩大视频理解任务覆盖，而是把被 caption 丢掉的连续几何状态拿回来。相对 MotionLLM、PoseScript、ChatPose、ActionArt 这类 motion/joint-centric 工作，它不关心局部关节如何摆，而关心 root 在世界中如何走、转、累计。相对 VSI-Bench、SAW-Bench 等空间/导航 benchmark，它不是主体作为相机的 egocentric route reasoning，而是第三人称观察一个人的轨迹。

看似新的地方如模板化 QA、distractor、多任务分类，其实是已有 benchmark 生成思想的重组。实质创新是把 first-frame anchored world coordinate system 引入 human-centric video QA，并把全局 translation/orientation 作为主要监督对象。这使它处在“structured synthetic supervision for video MLLMs”的技术谱系中，而不是一个新架构论文。

Dataset / Evaluation

HumanMoveVQA 的任务覆盖比较完整：存在性、比较、dominant direction、数值计数、ordering、temporal localization、trajectory affordance 覆盖了从事件检测到路径级聚合的不同难度。数据来自 EMDB、RICH、EgoBody，包含动态/静态相机、单人/多人场景、长短不一视频；但实际评估仍以单人目标运动为核心，多人交互没有真正进入问题定义。

evaluation 基本支持核心 claim：zero-shot MLLM 在全局运动推理上明显不足，SFT 后可学。尤其 MotionLLM 表现差，强化了“joint-level supervision 不等于 global trajectory reasoning”的判断。跨数据集实验也说明监督不是完全死记某个数据集。

但 benchmark 是否验证了“reasoning”要谨慎。多选题、离散 bins、模板语言和均匀答案分布让任务更像 structured recognition + aggregation，而不是开放式几何推理。text-only baseline 有时不低，说明仍存在模板或数据分布可利用信号。评估没有充分拆解 HMR 标注误差、视觉可见性、人类难度和模型错误之间的关系，因此对上限和真实可靠性支持不足。

Limitation

最大隐含前提是上游 3D human mesh reconstruction 足够可靠。一旦 root translation 或 yaw/pitch/roll 估计错，后续 QA 标签会系统性错；论文通过人工过滤和事件过滤缓解，但这也意味着 benchmark 的可扩展性依赖昂贵且脆弱的 tracking quality control。方法把难题从“MLLM 如何理解运动”部分转移成“如何可靠获得 world-space motion track”。

泛化仍然有限。in-domain 训练通常最好，跨域 transfer 虽存在但不强；EgoBody 泛化较好可能主要来自样本量和场景复杂度，而不是模型学到了抽象运动规律。核心能力可能主要来自数据覆盖和模板监督，而不是形成通用的物理/几何推理机制。

所谓 trajectory reasoning 也可能是假象：模型并不一定维护连续状态，而可能从稀疏帧中学习与答案相关的视觉线索。32 帧最优、64 帧不一定更好，说明模型并未稳健利用更高时间分辨率。Ordering 持续困难表明长期事件记忆、anchor-based retrieval 和状态更新仍未解决。

另外，benchmark 避开了真正难的多人交互、遮挡、身份切换、scale calibration、开放语言问答和连续数值预测。真实部署中这些因素会比当前多选模板更关键。

Takeaway

• 1. 这篇真正推动的是监督对象的转移：从动作语义和局部姿态，转向固定参考系中的全局运动状态。
• 2. 对 video MLLM 而言，很多“推理失败”可能首先是 representation supervision 缺失，而不是语言推理能力不足；给对了 latent structure，SFT 就能显著改善。
• 3. 轨迹级理解和关节级理解是互补能力，不能指望 joint-level motion caption 自动带来 global displacement / orientation reasoning。
• 4. 未来真正值得做的是把这种 world-consistent motion state 从离线 HMR 标注和模板 QA，推进到端到端可学习、开放语言、多主体、连续状态预测和可交互部署。

一句话总结

HumanMoveVQA 是一篇把 human-centric video understanding 从语义动作识别推进到 first-frame anchored 全局运动状态监督的 benchmark/data 论文，其核心贡献是证明 trajectory/orientation reasoning 更像 representation alignment 与 targeted supervision 问题，而不是现有 MLLM 已自然具备的能力。