精读笔记
Problem Setting
论文标题：VENOM: Versatile Embodied Network for Omni-bodied Motion tracking（arXiv preprint / 2026）
这篇论文实际在解决的是 multi-humanoid full-body motion tracking 的低层控制统一化：给定已 retarget 到具体 humanoid 的参考运动，让一个单一模型在多个不同 humanoid 上输出 PD targets，并保持闭环稳定。它不是 motion generation，也不是通用任务规划；它是一个跨 embodiment 的 tracking controller distillation 问题。
困难点有三层。第一，不同 humanoid 的 action/observation space 不同，直接共享策略输入输出会产生 representation mismatch。第二，全身 expressive motion 比 locomotion 更难，因为上肢、躯干、腿部、接触相位和 root dynamics 强耦合，不能简单用速度命令或上下身分治掩盖动力学问题。第三，BC 在 humanoid 控制里天然有 covariate shift：一旦 tracking 偏离 expert manifold，模型需要知道如何恢复，否则很快摔倒。
以前路线的瓶颈很明确：cross-embodiment 方法多集中在 locomotion/velocity tracking；full-body teleoperation/motion tracking 多是单机器人 expert 或上下身解耦；MoCapAct 类数据有低层动作但不是 multi-humanoid expressive full-body tracking。VENOM 切入的是这三者的交集。
Motivation
作者的动机不是“Transformer 更强”，而是现有路线缺少一个可训练 generalist low-level tracker 的数据和建模接口。直接多机器人 RL 代价高且不稳定；单机器人 expert 无法共享；硬对齐 observation/action 又会引入负迁移。于是自然想到：先用成熟 RL tracker 为每个机器人生成高质量低层轨迹，再用一个共享的大模型做 supervised distillation。
核心观察是，多 humanoid tracking 中可能存在可共享的短时闭环控制结构：例如相位纠错、关节目标跟随、root drift 修正、接触附近的稳定化策略。这些结构不一定在原始 action space 上一致，但可以在 adapter 后的 latent/time-series space 中共享。
关键缺口是多 embodiment 的 low-level full-body state-action 数据。VENOM dataset 是论文真正的支点；没有这个数据，GPT controller 只是架构替换。
Core Idea
VENOM 的核心思想是把跨机器人全身 tracking 写成一个多任务序列建模问题：每个机器人有自己的输入投影和动作头，中间共享一个 GPT-style temporal controller。这样既避免了把不同机器人硬塞进同一 observation/action 空间，又允许模型在时序控制层面复用跨 embodiment 的 tracking 规律。
这与 prior 的本质区别在于共享层级不同。URMA/XHugWBC/EAGLE 等更偏向跨机器人 locomotion 或 RL 训练；TWIST2/SONIC 等更偏向单机器人全身 tracking；LocoGPT 是多 humanoid locomotion/生成风格的序列模型。VENOM 把“多机器人”和“全身 expressive tracking”合在一起，但代价是泛化限定在训练过且有 adapter/head 的机器人。
直觉上它可能有效，是因为 full-body tracking 的很多闭环修正是短时、局部、模式重复的；Transformer 的上下文窗口可以复用历史状态来判断相位和误差趋势，而 body-specific heads 把不可共享的 actuator mapping 隔离出去。这个 inductive bias 比 padded MLP 更合理。
Method
方法层面真正必要的机制只有几个。
第一，expert-generated dataset。它解决的是 humanoid low-level supervision 稀缺问题。AMASS 本身只有人类运动，不提供机器人控制动作；TWIST2-style RL expert 把 motion retargeting 后的参考轨迹转成可执行的闭环控制数据。VENOM 学的是 expert policy 的行为，而不是从 reward 中发现策略。
第二，body-specific adapters + shared transformer。它解决跨 embodiment I/O 不一致，同时保留共享表征学习。输入端把各机器人 observation 映射到同一 hidden dimension；输出端再回到各自动作空间。中间共享 transformer 是多任务信息瓶颈，也是论文最主要的建模假设。
第三，reference motion/history/future conditioning。它解决 motion tracking 中仅靠当前 proprioception 不足的问题：policy 需要知道当前目标、过去相位和短期未来目标。这里不是 planning，而是给 controller 足够的 tracking 条件。
第四，noisy rollout。它解决 BC 闭环部署时偏离 expert distribution 的问题。噪声加在 reference observation 上，让模型学习在不完美 tracking/retargeting 下恢复。这个机制很可能比论文表述中更关键。
第五，sliding-window inference。模型每步输出一段动作序列但只执行最后一步，本质上是用 fixed context 做短时滤波；没有显式长期预测或 trajectory optimization。
Key Insight / Why It Works
最核心的有效性来源大概率是 data coverage + expert distillation + 合理的信息隔离，而不是“GPT 涌现出通用机器人智能”。
1. 数据覆盖是第一因素。VENOM 使用五个 humanoid、AMASS 大规模 motion、clean + noisy rollouts。对于 full-body tracking，这种 state-action coverage 直接决定 BC 能否闭环稳定。VENOM-noisy 的优势说明暴露到 off-manifold 状态比单纯 clean imitation 更重要。
2. Transformer 的贡献主要是抗负迁移和时序建模。MLP 在多机器人数据上失败，说明 naive shared policy 容易被 embodiment heterogeneity 干扰；共享 transformer 加 body-specific I/O 给了模型更大的容量和更好的条件化路径。但文中没有充分说明 attention 是否真的学到跨机器人结构，还是只是更大模型更能 memorize/partition 多任务分布。
3. body-specific heads 是强先验，也是限制。它让问题变简单：不需要统一 actuator semantics，不需要推断新 morphology，只要在共享 trunk 中复用局部控制模式。因此 VENOM 的“omni-bodied”更准确地说是 multi-known-bodied。
4. supervised learning 接近 RL expert 的原因并不神秘：expert rollout 已经包含了 RL 训练得到的稳定化行为，VENOM 只是蒸馏这些行为。所谓“无 reward feedback 也接近 expert”不能解读为 BC 替代 RL；reward 信号已经通过 expert policy 隐式进入数据。这里有 hidden supervision。
5. 对 highly dynamic motion 的失败说明模型没有真正解决长期动力学可行性。它更像 reactive tracker/retriever：在见过的局部状态分布内输出类似 expert 的控制；一旦需要主动制造 flight phase、提前蓄力、管理接触切换，短窗口 BC 不够。
技术判断：论文的实质贡献是把多 humanoid full-body tracking 的数据蒸馏 pipeline 跑通，并证明 Transformer-style shared trunk 比 MLP 更适合承载这种多 embodiment 数据；不是证明了通用 cross-embodiment reasoning。
Relation To Prior Work
VENOM 最接近三条线的交叉。
第一条是 MoCapAct/HMG/LocoGPT 这类把 humanoid control 当作序列建模或 action-data learning 的路线。VENOM 延续了“用大规模 state-action 数据训练 Transformer policy”的思想，但任务从单/有限环境扩展到多个真实 humanoid morphology 的 full-body tracking。
第二条是 TWIST2/SONIC/HOVER/HumanPlus 等全身 teleoperation/motion tracking。VENOM 依赖 TWIST2 的 expert 和训练管线，但把结果从 per-robot RL expert 蒸馏成一个 multi-robot shared controller。它没有取代 TWIST2，反而建立在 TWIST2 产生的数据上。
第三条是 URMA/XHugWBC/EAGLE/Body Transformer/CrossFormer 等 cross-embodiment 控制。VENOM 与这些工作的区别是行为覆盖更 expressive，目标是 full-body mocap tracking；但它的 robot-agnostic 程度更弱，因为没有 morphology graph/embedding 或 arbitrary embodiment 输入，只有已知机器人专属 adapters。
看似新的部分包括“GPT-based omni-bodied tracker”和“统一全身控制”，但很多组成是已有思想重组：expert distillation、body-specific heads、sequence policy、noise augmentation。实质新增信息是：在多 humanoid full-body tracking 数据上，这种重组确实比多机器人 MLP supervised baseline 更稳，并能接近 RL expert。
Dataset / Evaluation
VENOM dataset 是这篇论文的主要资产：五个 humanoid，AMASS motion，经 RL expert rollout 得到 state/action/reward，包含 clean 和 noisy 版本。覆盖范围比 locomotion-only benchmark 大，包含 athletic、crouching、dancing、hopping、locomotion 等类别；但全部在 IsaacGym 仿真中，没有真机，也没有 sim-to-real 评估。
评估主要验证了 known embodiments 上的 tracking/stability，而不是 unseen embodiment generalization。模型在五个训练机器人上切换，这支持“一个模型服务多个已知机器人”，不支持“任意机器人泛化”。H1 v2 数据量显著较少但结果未明显变差，这可能说明共享 trunk 有迁移，也可能说明评估 motion/robot 难度不足；文中未充分说明。
指标上，joint RMSE 衡量局部 tracking，root error rate 衡量 drift pattern 稳定性，success rate 衡量是否完成动作。作者选择 root error rate 而非 root error 本身是合理的，因为 morphology 和 learned dynamics 会导致不可避免 drift。但这也弱化了对全局位置保真的要求；如果 claim 是 full-body motion tracking，root drift 的绝对量仍然重要。
实验支持“VENOM > supervised MLP multi-robot baseline”比较充分；支持“接近 RL expert”也有一定证据；但不支持“foundation model”或“zero-shot omni-bodied”。缺少更系统的 scaling law、参数量控制、数据量控制、adapter-sharing ablation 和 unseen robot test。
Limitation
最大的隐含前提是每个机器人已经有高质量 expert 和 retargeted motion。VENOM 没有解决 motion retargeting，也没有解决从人类 motion 到机器人 feasible dynamics 的核心优化；这些被前置给 TWIST2 expert pipeline。因此方法把最困难的一部分转移到了数据生成阶段。
泛化是真实但有限的：它是在训练 embodiment 集合内的 multi-task generalization，不是 morphology-level extrapolation。body-specific input/action heads 意味着新机器人需要新 head，通常还需要新数据；否则 shared transformer 没有办法直接输出新 action space。
增益归因不清。VENOM 相比 TWIST2-clean 同时改变了模型容量、时序结构、多机器人共享方式、训练 batch 组织和可能的 regularization；VENOM-noisy 又改变了数据分布。文中没有充分分离这些因素。部分提升可能主要来自 scaling/data，而不是架构 insight。
BC 上限明显。即使 noisy rollout 缓解 covariate shift，它仍然依赖 expert state distribution。对于跳跃、奔跑、单脚 hopping 这类需要提前规划接触/动量的动作，短上下文 reactive policy 很难稳定生成。作者也承认所有模型包括 expert 都倾向于避免离地以保持稳定，这说明 expressive motion 的动力学真实性仍不足。
没有真机结果是关键缺口。仿真中接近 expert 不代表真实 deployment 可行；noise augmentation 不是 domain randomization，无法覆盖 actuator latency、contact mismatch、state estimation error 等真机问题。
Takeaway
- 1. 对 multi-embodiment low-level control，最有效的工程路径可能不是直接训练一个 robot-agnostic RL policy，而是先用 per-embodiment expert 生成大规模数据，再蒸馏到共享序列模型。
- 这条路线计算上更可控，也更容易扩展数据。
- 2. 跨 embodiment 共享不一定要发生在原始 observation/action 空间；body-specific adapters + shared temporal trunk 是一个实用折中。
- 它牺牲 zero-shot morphology 泛化，换来已知机器人集合内的稳定性和扩展性。
一句话总结
VENOM 是一篇把多 humanoid 全身 motion tracking 从 per-robot RL expert 推向 shared Transformer distillation 的工作，真正贡献在于数据化和共享控制表征的工程闭环，而不是证明了开放形态的通用 embodiment 泛化。