精读笔记

Problem Setting

这篇论文实际处理的是 humanoid control pipeline 中长期被低估的中间层：从多模态人类意图生成机器人可执行 reference motion。它不是在训练一个端到端动作 policy，也不是单纯做 human motion generation，而是在已有强 tracker 之上训练一个可条件化的 motion prior。

关键矛盾是：高层输入天然语义化、稀疏、异步、跨模态；低层机器人执行却要求连续、物理合理、关节受限、可被 tracker 跟踪的 G1 trajectory。以前两类路线分别卡在两端：RL policy 能执行但任务不可扩展，motion tracker 可执行但缺少上游 reference，graphics motion generator 有语义/风格但生成的是人类运动，落到机器人上还要 retarget，执行性没有保证。

OMG 的问题定义本质上是：能否把“reference motion 的来源”从人工/人类动作库/单一接口，提升为一个大规模多模态生成模型，同时不牺牲机器人可执行性。

Motivation

已有路线不够的原因不是某个模块弱，而是信息组织方式不对。RL whole-body controller 把任务、奖励、低层执行耦合在一起，新增技能意味着新增 reward 和训练；tracking-based humanoid control 虽然把执行做强了，但假设推理时已经有 reference motion，这相当于把最难的人类意图解析问题留给外部系统。

作者的核心观察是：如果低层 tracker 已经足够通用，那么 humanoid generalization 的主要瓶颈会转移到上游 motion generator。这个 generator 需要同时具备三种性质：覆盖广泛 motion manifold、能接收不同 modality、输出直接在 robot embodiment 上可执行。现有 graphics T2M / A2M 模型缺的是最后一点，现有 humanoid generator 缺的是前两点。

因此 OMG 的动机不是提出一个新控制算法，而是把 humanoid control 的 scaling target 从 low-level policy 转移到 supervised / generative motion generation brain。

Core Idea

OMG 的核心思想可以概括为：先用数据工程把所有动作统一到 G1 robot motion space，再用一个 diffusion transformer 在这个空间里学习可执行 motion prior，最后通过轻量模态接口把 language、audio、human reference 等条件投影到同一 prior 上。这样模型学到的不是抽象 human motion，而是 tracker 能消费的 robot reference distribution。

这个建模方式改变了 prior work 的信息流。传统 human motion generation 是“condition → human motion → retarget → tracker”，中间每一步都有 embodiment mismatch；OMG 变成“condition → G1 motion prior → tracker”，把 retargeting 和 feasibility filtering 前置到训练数据构造中。其 inductive bias 是：所有模态共享同一个机器人运动流形，只在条件注入方式上区分语义 token 和 frame-aligned signal。

理论上它可能有效，是因为多模态条件本身不需要各自学习一套 dynamics；语言、音频、人类参考只是对同一个 motion manifold 的不同切片或约束。如果 motion manifold 通过大规模 G1-space data 学得足够好，新模态适配就主要是学习如何 steer 这个 prior，而不是从零学习 humanoid dynamics。

Method

第一，统一 motion space。论文把多源数据 retarget 到 Unitree G1，并用 simulation/tracker rollout 过滤明显不可执行样本。这一步解决的不是数据清洗小问题，而是避免模型学到“视觉上像人但机器人无法执行”的分布。它把执行约束从 online control 负担部分转移到 offline dataset construction。

第二，direct motion-space diffusion。OMG-DiT 不用 learned tokenizer 或 latent VAE，而是在 canonicalized 125D G1 feature 上做 x-prediction diffusion。这样做的核心变化是减少 representation bottleneck，并让生成目标和 tracker input 更直接对齐。canonicalization 则去掉全局位姿 nuisance，使模型容量用于局部运动模式，而不是世界坐标多模态性。

第三，condition interface 与 backbone 解耦。history/language 作为 global context，audio/human reference/keypoints 等 frame-aligned signal 通过 FiLM/adapters 调制。这不是新模块本身重要，而是接口设计让 backbone 学 motion prior，模态 encoder 学 steering。新增 Pico keypoints 或视觉输入时，原则上不需要重学整个运动分布。

第四，多模态 CFG composition。通过 null branch 与单模态 conditional branch 的差值相加，OMG 在 inference 时组合未共同训练过的 text/audio 等条件。这个机制给了一个简单的 compositional control knob，但它更像 generative model 里的 guidance engineering，不是显式符号组合或约束求解。

Key Insight / Why It Works

我认为最核心的有效来源不是 DiT 架构本身，而是 representation alignment + data coverage。把所有训练目标统一成 G1 executable motion 后，模型的生成分布天然贴近 tracker 可执行空间；这比先生成 SMPL/SMPL-X 再 retarget 的 pipeline 少了一个高方差后处理环节。很多表格里的优势很可能主要来自这个 alignment，而不是更强的“推理”。

第二个关键是把 low-level physics 交给 tracker，使 diffusion generator 只需要生成短 horizon reference，而不需要直接输出 action 或闭环稳定控制。这极大降低了学习难度，也解释了为什么 supervised scaling 可行：generator 学的是 motion manifold 的条件分布，不是完整 POMDP policy。换句话说，OMG 的 generality 来自 hierarchy，而不是单模型端到端能力。

第三，simulation-in-the-loop filtering 可能是隐性大贡献。它把不可执行样本从训练集中剔除，相当于用 tracker/physics 给 dataset 打了 feasibility prior。论文把它作为 pipeline 一环，但它可能显著影响 fall rate、joint-limit、tracking fidelity。没有充分 ablation 时，增益来源不清。

第四，多模态能力更像 conditional retrieval/interpolation on a large motion manifold。语言、音频、人类参考并不证明模型能做抽象规划；它证明模型能在覆盖足够广的数据中，根据不同信号选择或组合局部 motion patterns。zero-shot text-audio composition 也是 CFG direction mixing 的结果，是否能处理真正冲突条件、长时目标和环境约束，文中未充分说明。

第五，scaling claim 是合理但应保守理解。B/L/XL 提升说明 motion generation objective 能吃模型容量，但这不等于 humanoid foundation model 的开放泛化。这里 scaling 的上限很可能首先被数据分布、embodiment 单一性、flat-ground 假设、tracker envelope 限制，而不是 transformer 参数量限制。

Relation To Prior Work

OMG 最接近三条线的交叉：graphics 里的 text/audio-to-motion diffusion，humanoid 里的 motion tracking / retargeting，以及 generator-tracker hierarchical control。它的新意不在 diffusion、DiT、FiLM、CFG 这些组件，而在把它们系统性地放到 robot-executable motion space，并用大规模多模态数据支撑。

相对 GENMO、HYMotion、Kimodo 等 graphics/generalist human motion model，OMG 的本质差异是训练和输出空间直接是 G1，而不是人类骨架。这样减少 embodiment gap，因此在物理执行指标上天然占优。这个差异比模型架构差异更重要。

相对 PHC、GMR、OmniRetarget、NMR 等 retargeting 工作，OMG 把 retargeting 从逐样本优化/映射变成 conditional generative inference：human reference 只是条件，输出是 learned G1 motion prior 上的样本。它不是严格保真 retargeter，而是一个带先验的 motion translator；优势是可平滑、可执行，代价是可能牺牲精确对应。

相对 Text2Humanoid / SafeFlow / BeyondMimic / CLoSD 等机器人 generation-control 体系，OMG 的实质新增是 modality breadth 和 dataset scale，而不是闭环物理推理。它更属于“foundation-style motion reference generator”谱系，而非“physics-aware online planner”谱系。

Dataset / Evaluation

OMG-Data 覆盖约 1000+ 小时、多源、多模态数据，并统一到 G1。这是论文最重要资产。任务覆盖 language、audio、human reference、Pico keypoint、视觉目标 locomotion，说明接口扩展性确实被验证了一部分。但数据主要是 flat-ground whole-body motion，交互、地形、物体接触、长时任务覆盖有限。

evaluation 基本能支持“比 human generator + retargeting 更适合机器人执行”这个 claim。因为所有方法最终转成 G1 并通过同一 tracker/metrics 评估，OMG 在可执行性上的优势有意义。不过这同时也偏向直接 G1-space training 的方法；对原本不是为 G1 训练的 baselines 来说，retargeting bottleneck 会放大差距。

真机展示证明 pipeline 能跑在 Unitree G1 上，但 generator 仍 off-board 运行，且实验主要展示短时动作片段和交互控制，不足以证明真实长期 autonomy。finetuning 实验证明预训练 prior 有迁移价值，但样本效率提升是否来自 general motion prior、数据 overlap 的语义/动作相似性，还是 held-out split 与 pretraining corpus 的隐式相近，仍需更严格 cross-domain evaluation。

scaling 实验方向正确，但信息量有限：只显示参数增大带来指标改善，没有充分分解 data scale、model scale、filtering、annotation、G1-space direct training 的贡献。

Limitation

最大的隐含前提是低层 tracker 足够强，并且 generator 输出落在 tracker envelope 内。OMG 没有真正解决低层控制稳定性，而是把它作为 cerebellum 依赖项。如果 tracker 换掉、地形变化、接触模式超出训练分布，generator 的可执行性保证会明显减弱。

第二，方法强依赖数据覆盖。所谓 omni-modal generalist 很可能是大规模 motion corpus 上的条件化插值，而非真正的行为推理。语言理解也主要依赖 T5/VLM 标注和 motion-caption alignment；音频动作关系依赖舞蹈/gesture 数据覆盖。超出 corpus 的动作语义、工具交互、任务目标，很可能退化。

第三，planner 的长期性不足。模型预测短 horizon motion chunk，并通过 history 连续 replanning；这适合 reactive motion synthesis，但不等于长期任务规划。没有显式世界模型、目标状态约束、contact reasoning 或 execution feedback，长期任务中的 drift、局部最优和失败恢复没有被系统处理。

第四，多模态组合没有原则性约束处理。CFG 方向叠加在条件兼容时有效，但当 text 要求与 audio/human reference 冲突，或语义要求违反物理约束时，模型如何仲裁不清楚。当前组合更像可调风格混合，而不是可验证的 constraint satisfaction。

第五，增益归因不清。论文声称 foundation-model-like properties，但缺少关键 ablation：没有清晰回答 direct G1 training、simulation filtering、VLM relabeling、data amount、model size、tracker choice 各自贡献多少。因此一些亮点可能主要来自 scaling / data engineering，而不是新的 learning principle。

Takeaway

• 1. 对 humanoid generalist control，最可迁移的 insight 是把可扩展对象从 low-level RL policy 转移到 robot-space motion prior；只要 tracker 足够通用，上游生成模型可以吃监督数据和多模态条件。
• 2. Embodiment-aligned data 比模型花样更关键。
• 直接在机器人 motion space 训练，比 human motion generation 后 retarget 更可能得到可执行结果；未来 humanoid foundation model 的核心资产可能首先是高质量 robot-executable motion corpus。
• 3. 新模态适配的合理范式是“冻结/复用 motion prior + 学 condition interface”，而不是为每个控制接口重训 policy。

一句话总结

OMG 是一篇把 humanoid control 的扩展问题重心从低层策略训练转向 G1-space 多模态 motion prior scaling 的工作，真正贡献在于数据/表示/层级接口对齐，而不是单个生成模型结构创新。