精读笔记

Problem Setting

论文标题：Long-Term Prediction of Local and Global Human Motion with Occlusion Recovery（arXiv preprint / 2026-06-29）。

这篇论文解决的不是标准“给过去 pose 预测未来 pose”这么简单，而是一个更接近部署场景的版本：过去观测可能缺关节，未来既要预测局部骨架构型，也要预测人在全局空间中的移动。关键矛盾是：局部姿态预测通常可以在 root-normalized 坐标里做得较干净，但机器人/移动场景真正需要的是人在世界/相机坐标中的位移、转向和姿态一起演化。

以前方法卡在两个地方。第一，自回归路线在短期看起来合理，但长时域预测会把自身误差反馈进输入，导致 drift 和 mean-pose collapse 更明显。第二，很多 pose forecasting benchmark 实际规避了 global motion，只关注关节相对运动，因此对导航、协作、避让这类场景的信息不足。本文试图把 long-horizon、global displacement、occluded history 三个问题放进同一模型，而不是分别做补全、局部预测和轨迹预测。

Motivation

作者的动机比较直接：如果目标是机器人从单一 egocentric 视角理解人，完整 skeleton history 是不现实的，纯局部 pose 也不够用。已有 spatio-temporal Transformer 已经证明 attention 适合建模 joint/time 依赖，但很多仍是 autoregressive，或者只解决局部 pose sequence。

核心观察是：人体运动中有两类依赖需要分开处理。一类是同一帧内身体结构带来的 joint correlation，另一类是同一关节沿时间的 trajectory continuity。遮挡恢复也恰好依赖这两类信息：缺失关节可以从同帧其他关节推断，也可以从前后时刻的自身轨迹推断。因此作者选择的方向不是引入外部语义，而是在 pose-level token 组织上强化时空结构先验。

Core Idea

论文真正的核心是：用 joint-level spatio-temporal attention 做非自回归整段未来预测。它改变的是信息流组织方式，而不是单纯换一个 Transformer block。空间 attention 只在同一时间步内建模 joint 间依赖，时间 attention 只沿同一关节跨帧建模动态，从而避免把所有 joint-time token 混成一个高自由度但结构弱的序列。

这个设计直觉上成立，因为人体运动的局部结构和时间演化具有不同统计规律：骨架约束更像帧内结构 prior，而运动趋势更像每个关节的轨迹 prior。非自回归 decoder 一次性预测未来序列，则把任务从“逐帧 rollout”改成“从历史状态映射到未来 motion segment”。这比 autoregressive 更适合 1 秒级评估，因为它不把模型自己的中间预测当作后续输入。

和 prior 的本质区别在于：它不是只预测 root-normalized local pose，也不是把 global trajectory 单独作为另一个任务，而是让同一个时空结构模型在 local/global 表示上训练。新增 inductive bias 是 per-joint temporal modeling + frame-wise spatial modeling + missing-joint token recovery 的组合。

Method

方法中值得保留的机制只有几个。

第一，joint-separate embedding 和 joint-separate temporal positional encoding。它解决的是不同关节在人体结构和运动频谱上不等价的问题。把 positional encoding 作用在整帧 pose 上会让不同 joint 获得由 feature index 决定的不同频率分布，这种混合并不自然；按 joint 单独编码更像是在每个关节轨迹上建立时间坐标。

第二，空间 attention 与时间 attention 并行/分离。空间 attention 处理同帧 joint relation，时间 attention 处理单 joint trajectory。它带来的核心变化是减少注意力需要自行发现骨架结构和时间连续性的负担，相当于把人体运动的 factorization 写进架构。

第三，decoder 用复制最后一帧得到的 seed sequence，并预测 offset。这个机制把未来序列看作从当前 pose 出发的残差轨迹，而不是从空 token 生成绝对 pose。对运动预测来说，这是合理的：短到 1 秒的未来高度依赖当前状态，offset parameterization 比直接生成绝对坐标更稳定。

第四，遮挡训练用 learnable token 替换缺失关节。它解决的是输入缺失时模型如何区分“数值为零”和“未知”的问题。真正作用不是神奇恢复，而是让模型在训练期持续看到 structured missingness，被迫学习从 spatial/temporal context 中做 inpainting。

第五，global/local 双设置。它不是复杂机制，但很关键：模型是否保留全局坐标会改变任务本质。global prediction 需要学习 root translation/turning 等慢变量，local prediction 更关注 articulation。论文把两者放在同一结构下，说明该结构至少不只适用于 normalized pose。

Key Insight / Why It Works

最可能有效的原因是更好的 inductive bias，而不是 attention 本身。人体 pose 序列天然是 J 个关节轨迹和 T 个骨架帧的二维结构；如果直接把它当普通序列，模型需要从数据中自己学出“哪些 token 属于同一关节”“哪些 token 属于同一帧”。本文把这个结构显式拆开，降低了学习难度。

非自回归是第二个关键点。长时预测中 autoregressive 最大问题不是单步误差，而是误差分布 shift：训练时见到真实前缀，测试时见到自身生成前缀。本文直接生成整段未来，绕开了这个 exposure bias。代价是未来多模态性被压成单一 deterministic 轨迹，因此在动作切换处会失败；这不是偶然 failure case，而是方法边界。

遮挡恢复的增益更像 data augmentation + representation alignment。learnable missing token 提供了缺失标识，随机 joint/limb/temporal mask 让模型学会利用上下文补全。这里的能力不应被解读成真实遮挡理解；它更接近 spatio-temporal inpainting under synthetic missingness。

global motion 的改善可能部分来自模型结构，也可能部分来自数据分布中 walking/running 等常见模式的覆盖。论文自己的 qualitative discussion 已经暗示：常见周期性运动预测可靠，复杂手部动作和动作切换困难。这说明模型在很多情况下做的是 distributional continuation / implicit retrieval，而不是理解人的意图。

Ablation 中比较有信息量的是：decoder 里额外 spatial attention 没有帮助，temporal-only decoder 反而更好。这支持一个判断：未来生成阶段主要瓶颈是时间外推，而不是重新建模未来帧内骨架关系；骨架结构在 encoder/embedding 阶段已经足够约束。embedding 维度和 FFN 比例的选择更偏 engineering，不是核心贡献。

Relation To Prior Work

这篇工作最接近 Aksan et al. 的 Spatio-Temporal Transformer、POTR 和 SPOTR。它属于 deterministic, transformer-based, non-autoregressive human motion prediction 这条谱系，而不是 probabilistic forecasting 或 goal-conditioned planning。

相对 ST-Transformer，实质差异是去掉自回归 rollout，并在 temporal attention 中不使用 causal mask，使模型能一次性建模完整未来窗口内部依赖。相对 POTR/SPOTR，它强调 per-joint spatio-temporal dependencies，并把 local/global 预测和 occlusion recovery 纳入训练目标/设置。严格说，很多组件都是已有思想的重组：joint embedding、spatial/temporal attention、non-autoregressive decoder、mask inpainting 都不是新概念。

真正新增的信息在于组合方式和任务设定：把 joint-level 时空分解用于同时预测 local/global motion，并检验 synthetic occlusion 下的鲁棒性。它不是范式级创新，但把 pose forecasting 从干净局部 benchmark 往机器人感知问题推了一小步。

Dataset / Evaluation

评估覆盖 Human3.6M、AMASS、HA4M，分别对应经典室内 mocap、多源 mocap 汇集和装配任务数据。这个组合比单一 Human3.6M 更有说服力，尤其 HA4M 引入了更接近工业场景的 arm-centric motion。但整体仍是离线 pose/mocap 预测，没有真实机器人闭环、相机检测噪声、遮挡检测误差或下游规划指标。

结果支持的 claim 是有限但清楚的：在相同 benchmark 上，结构化时空 Transformer 优于普通 Transformer baseline；遮挡训练没有明显损害预测精度；global prediction 可行但误差更大。它没有充分支持的 claim 是“真实世界遮挡恢复”和“长期行为预测”。1 秒 horizon 在 human motion prediction 里算 long-term，但对机器人交互中的意图、任务切换、导航规划仍很短。

和 SOTA 的对比主要用 MAE，且只在 Human3.6M 上与 POTR/SPOTR/ST-Transformer 对齐。文中未充分说明所有方法的输入长度、表示、训练划分和评估协议是否完全一致。因此 SOTA superiority 应谨慎看待，不能把它理解为全面超过现有方法。

Limitation

最大限制是 deterministic one-shot prediction 无法表达未来多模态性。动作切换失败不是 corner case，而是所有 history-only forecasting 的根本瓶颈：仅凭过去 walking/turning，无法知道人接下来要停下做手部任务。没有目标、场景、任务状态或语言/计划上下文，所谓长期预测只能延续已观察运动模式。

第二，核心能力可能主要来自数据覆盖。常见 walking/running 被预测得好，复杂且稀疏的 arm/hand motion 被忽略，这说明模型学到的是高频模式的 continuation。对于低频动作、跨任务泛化、异常动作，性能上限会很快暴露。

第三，遮挡恢复建立在 synthetic masking 前提上。真实遮挡伴随的是 pose estimator failure、关节误检、坐标漂移、相机视角偏差和长时间不可见；随机 mask token 只能覆盖其中很小一部分。文中未充分说明模型面对真实传感器输出时是否仍稳定。

第四，global/local 联合讨论还不够深入。global motion 和 local articulation 可能存在容量竞争：模型为了预测全局位移，会偏向常见 locomotion pattern，而牺牲细粒度手部动作；论文 qualitative observation 已经显示这种 trade-off，但没有机制性解决。

第五，varying history 没有提升 1 秒预测，说明自适应历史长度更多是部署便利，而非性能创新。增益归因也不完全清晰：是非自回归、joint-separate 参数、spatio-temporal factorization、还是训练数据与 mask augmentation 的贡献更大，仍需要更干净的 ablation。

Takeaway

• 1. 对人体运动预测，token 组织方式比单纯堆 Transformer 更重要；joint-time 二维结构应该显式进入架构，而不是交给模型自己发现。
• 2. 非自回归整段预测是长时域 deterministic forecasting 的合理工程选择，能避免 rollout drift，但它天然牺牲多模态未来建模。
• 3. 遮挡鲁棒性可以通过 spatio-temporal inpainting 风格训练获得一部分，但真实部署还需要和 perception uncertainty、camera geometry、tracking failure 联合建模。
• 4. 下一步真正有价值的不是继续微调 attention block，而是引入 action/task/goal context，让模型从 motion continuation 走向 intent-conditioned prediction。

一句话总结

这篇论文是一次把非自回归时空 Transformer 从干净局部姿态预测推进到 global motion 与遮挡输入场景的工程化扩展，真正贡献在于更合适的 joint-level 信息流组织，而不是提出了新的运动推理范式。