精读笔记

Problem Setting

论文标题：MotionVLA: Vision-Language-Action Model for Humanoid Motion（arXiv preprint / 2026）。

这篇论文实际解决的是离散自回归 humanoid motion generation 中一个较底层但很关键的问题：motion tokenization 是否把不同统计性质的信号错误地塞进同一个离散空间。它关心的不是“能否从文本或图像生成动作”这个表层 task，而是为什么已有单流 tokenizer 在长序列里容易出现 drift、joint instability、foot sliding、contact distortion。

真正困难点在于人体运动同时包含两类信号：一类是低频、语义性强、容易压缩的 pose / rotation / position；另一类是高频、局部、对物理质量敏感的 velocity / contact / root dynamics。自回归模型如果只看到一个混合 token 序列，会优先学习 dominant low-frequency structure，因为它更稳定、更容易被 reconstruction / likelihood 捕获；高频动态则在量化和序列建模两端都被弱化。

以前方法卡住的地方是：即便引入 DCT 或更好的 motion tokenizer，多数仍然是 single-stream codebook。它们改善了压缩或重建，但没有改变“异质运动信号共享同一量化预算”的结构性问题。本文的关键矛盾就是：为了高效自回归，需要离散压缩；但过强的统一压缩会牺牲正是 motion realism 最敏感的高频物理细节。

Motivation

作者的核心观察相当直接但有价值：HumanML3D 中前 5 个 DCT 系数能覆盖 joint position 的绝大部分能量，却只能覆盖 velocity 的小部分能量。这个 gap 说明 position 与 velocity 不是同一个频谱分布上的信号。把它们 concat 后做统一 BPE / codebook，本质上会让低频位置统计主导 vocabulary，速度信号更容易被视作 noise。

这解释了为什么一些 tokenizer 的点对点重建误差可以不错，但生成出来仍然有滑步、漂移和局部抖动：重建目标和词表分配并没有显式保护物理动态。已有 decoder-side correction，例如 flow decoder 或后处理，更多是在补救离散 token 到连续 motion 的映射；本文试图把问题前移到 tokenization 之前。

因此缺口不是“缺一个更大的 LLM”，也不是“缺一个更复杂 decoder”，而是缺一个能让 low-frequency semantic structure 和 high-frequency physical dynamics 分别获得建模容量的表示组织方式。

Core Idea

核心思想是把 motion tokenization 从 single shared stream 改成 frequency-aware dual stream：Base stream 表达低频姿态语义，Phys stream 表达高频物理动态。二者分别 DCT truncation、分别 BPE、分别形成词表。这样做改变了 tokenization 的归纳偏置：codebook 不再被 pose energy 统治，Phys stream 有自己的频率预算和离散符号空间。

更重要的是，它不只是把特征切两半，而是重新组织了生成的信息流。MotionVLA 让模型先生成完整 Base token，再生成 Phys token。这个顺序隐含了一个 hierarchical factorization：P(motion | condition) 被近似分解为 P(Base | condition) × P(Phys | Base, condition)。这比单流 token 的逐步纠缠预测更合理，因为物理动态通常依赖姿态结构，而不是反过来先决定速度再决定动作语义。

和 prior 的本质区别在于：prior 多数在同一个 latent/token space 内寻求更高 fidelity；MotionVLA 直接改变 latent space 的结构，使 motion 的不同频谱成分在离散化前就被拆开。这是表示层面的 inductive bias，而非单纯 backbone scaling。

Method

方法中真正必要的机制只有三件。

第一，DSFT 的双流切分。它解决的是单流 codebook 的统计混淆问题。Base/Phys 的划分不是为了模块化好看，而是为了让低频 pose 与高频 dynamics 各自拥有合适的压缩率。Base 用较小 DCT 截断即可保留主要信息，Phys 需要更大的频率预算，否则 velocity/contact 相关信息会被系统性丢失。

第二，独立 BPE。它解决的是 vocabulary allocation 问题。如果 BPE 作用在混合特征上，重复、平滑、能量大的低频模式会占据词表；独立 BPE 等于给 Phys stream 保留专属符号容量。这一点可能比 DCT 本身更关键，因为 DCT 已经在近期 action tokenizer 中出现，真正新增的是“分流后再离散化”。

第三，Base→Phys 的统一自回归序列。它解决的是依赖方向问题：Phys token 在生成时可以 attend 到完整 Base token，从而将高频动态建模为条件细化，而不是与姿态语义竞争同一预测位置。phase-aware mask 只是保证这个结构在 inference 时不被破坏，属于必要但不深的工程约束。

Qwen3.5 backbone、LoRA、embedding cold start、logit mask 等实现细节主要是把 motion token 接入 LLM/VLM 生态的工程方案，不是论文的核心科学贡献。

Key Insight / Why It Works

我认为这篇最实质的贡献是一个 representation alignment insight：motion generation 的失败不一定来自生成模型不够强，而可能来自 motion 被离散化成 token 时已经丢掉了对物理质量关键的频谱信息。DSFT 有效，是因为它把 token capacity 与信号统计对齐了。

它本质上不是 retrieval，也不是 reasoning，也不是 test-time compute；更接近 better inductive bias + latent structure。Base stream 提供低频 skeleton，Phys stream 提供高频 correction。这个结构类似 coarse-to-fine，但不是传统空间分辨率或 residual VQ 的 coarse-to-fine，而是按物理语义和频谱属性做 factorization。

为什么它会改善 diversity？一个合理解释是：单流 tokenizer 容易把生成分布收缩到平均化、平滑化的 pose manifold；Phys stream 保留更多高频变化后，motion variation 更容易被表达。但这里也要谨慎：MModality / Diversity 的改善不一定等价于更真实的物理行为，可能只是 token representation 更宽或 sampling 空间更大。

最可能是核心贡献的部分：双流频率 tokenizer + 独立词表。Base→Phys 顺序是重要辅助，因为它让该表示适配 causal LM。视觉输入和 Qwen backbone 带来的增益归因不够清晰。特别是在 MBench 上，MotionVLA 是少数使用 scene image 的方法之一，condition consistency 的提升不能完全归因到 DSFT。

论文有一个值得肯定的判断：低 pointwise error 不等于好 tokenizer。Table 4 中 DSFT 的 rRMSE / MPJPE 反而更差，但 rFID 更好，这说明 tokenizer quality 应该看生成分布和动态统计，而不是只看逐点重建。这一点对 motion/action tokenization 很有迁移价值。

Relation To Prior Work

它最接近三条线：VQ/AR text-to-motion、DCT/BPE action tokenization、VLA/action token 生成。

相对 T2M-GPT、MotionGPT、MoMask、MG-MotionLLM 等离散 motion LM，MotionVLA 的差异不在“用语言模型生成 motion token”，而在 token 的组织方式。那些方法把 motion 当成一种外语；本文进一步指出这门“外语”内部有不同频谱方言，不能用一个词表统一编码。

相对 FAST、DCT+BPE 等频域 action tokenizer，本文不是简单使用 DCT，而是指出单流频域 tokenizer 仍然存在 shared budget 问题。DCT 是已有思想，双流频谱预算与 Base/Phys factorization 才是实质新增。

相对 DisCoRD、MoTok 这类改善解码或重建 fidelity 的方法，MotionVLA 不是在 token-to-motion decoder 端修复 jitter，而是在 tokenization 前改变信息分配。这个差异比较本质：前者补救，后者预防。

相对 OpenVLA、π0、RT-2 等机器人 VLA，MotionVLA 更像借用了 VLA 的输入输出范式和 backbone 生态，但任务不是闭环控制，而是离线 humanoid motion synthesis。把它称作 VLA 可以理解，但不要过度解读为已经具备机器人策略意义上的 perception-action grounding。

Dataset / Evaluation

实验覆盖两个设置：ViMoGen/MBench 的 scene-conditioned motion generation，以及 HumanML3D 的标准 text-to-motion。这个组合基本能验证两个 claim：一是 DSFT 是否改善 motion representation；二是该 representation 是否能迁移到纯文本生成。

MBench 更贴近论文主张中的 scene-aware humanoid motion，但对核心 claim 的验证存在混淆：MotionVLA 使用额外视觉输入，而很多 baseline 是 text-driven。Motion-Condition Consistency 的提升可能来自视觉条件、数据覆盖或 Qwen multimodal prior，不一定来自双流 tokenizer。Foot sliding / jitter 相关指标更能支持 DSFT 对物理动态的作用，但提升幅度并非压倒性。

HumanML3D 更公平，因为没有视觉输入，增益主要反映 tokenizer 和 AR formulation。这里 MotionVLA 在 fidelity 指标上不是 SOTA，但 diversity 和 multimodality 表现较好，支持“表示保留更多运动变化”的说法。不过 HumanML3D 的 evaluator 本身偏语义检索与分布距离，对真实接触物理的验证有限。

人评和 Unitree G1 demo 提供了感知层面的补充，但真机部分更像离线轨迹 retargeting / playback，不是闭环控制或物理可执行性验证。MuJoCo 也明确是 kinematic rendering，没有物理积分校正。因此这些 evidence 不能证明模型学到了动力学，只能说明生成轨迹在视觉上更可接受。

Limitation

方法成立依赖一个强前提：motion feature 可以被稳定划分为低频语义 Base 与高频物理 Phys。这个划分在 HumanML3D / ViMoGen 的特征工程下成立，但跨数据集、跨 skeleton、跨 embodiment、跨动作类型是否仍然成立，文中未充分说明。

固定 Kb/Kp 是另一个上限。不同动作的频谱差异很大：走路、跳跃、摔倒、交互、手部操作对高频预算的需求不同。统一 Kp=25 本质是 dataset-level compromise，不是 sample-adaptive compression。Kp 增大后指标不单调，也说明模型容量、序列长度和高频保真之间有 trade-off。

Base→Phys 的生成顺序合理但不是必然。某些动作中物理约束可能先于姿态细节，例如接触、平衡、碰撞约束决定可行 pose。本文的顺序更像 animation prior，而非 physical planning prior。

所谓 VLA 能力需要谨慎看待。模型生成的是离线 motion sequence，不是根据环境反馈闭环控制。scene image 可能主要提供语义上下文或数据集相关线索，并不等价于理解 affordance 或进行长期规划。若 benchmark prompts / scenes 与训练分布重叠较高，condition consistency 可能包含 implicit retrieval 成分。

增益归因仍不完全清晰。DSFT、视觉输入、Qwen3.5、ViMoGen 数据规模、LoRA recipe、phase mask 同时变化；论文虽然有 Kp 和 scale ablation，但缺少更关键的 controlled comparisons，例如 same backbone + single-stream tokenizer + same visual input，或 dual-stream without Base→Phys ordering。因此部分提升可能主要来自 data / engineering，而非全部来自提出的建模原则。

Takeaway

• 1. motion/action tokenizer 不能只看压缩率和点对点重建误差，必须看被压缩信号的频谱异质性；否则高频控制信号会在 tokenization 阶段被系统性牺牲。
• 2. 对长序列动作生成，合理的 latent factorization 可能比更大的 backbone 更重要。
• 把 motion 分解为语义骨架与物理细化，是比单流 AR 更稳的建模假设。
• 3. DCT+BPE 的下一步不应只是调 codebook size，而应做 adaptive multi-stream / multi-band tokenization：按动作类型、身体部位、接触状态动态分配频率预算。

一句话总结

MotionVLA 是一篇把 humanoid motion generation 的瓶颈从“生成模型不够强”重新定位到“单流离散表示频谱错配”的工作，其实质贡献是用 Base/Phys 双流频率 tokenization 为自回归运动生成引入更合理的表示归纳偏置。