精读笔记
Problem Setting
【HuWo: Building Physical Interaction World Models for Humanoid Robot Locomotion】（Awesome World Models / 2025）
这篇论文不是在解决“类人机器人能否用 RL 走复杂地形”这个宽泛问题，而是在解决 blind / proprioceptive humanoid locomotion 中更具体的矛盾：部署时没有外部传感器或显式地形输入，但控制策略必须对地形高度、摩擦、接触状态、外力扰动、动力学参数变化等不可观测因素作出足够快的隐式估计。
真正困难点是接触交互不是一个静态 hidden variable。对于腿式机器人，地形和机器人状态的关系是 action-conditioned 的：同一块地形在不同足端速度、落脚相位、身体姿态和接触力下会产生不同反馈。因此，简单估计 height map、friction 或 base velocity 并不等价于理解 interaction dynamics。以前方法常见的卡点是：history encoder 能缓解 POMDP，但缺少预测约束；state estimator 能回归 privileged variables，但容易把问题变成 supervised reconstruction；asymmetric actor-critic 能利用 privileged state 训练 value，但未必把对控制有用的交互信息传给 actor。
这篇的关键矛盾是：actor 只能用 partial observation 做实时控制，而训练时 critic 可以访问 privileged observation；如何把 critic 侧对交互过程的理解变成 actor 侧可恢复、可部署、对未来动力学有用的 latent，而不是仅仅提高 critic 拟合能力。
Motivation
作者的核心观察是：环境信息和机器人运动信息来自不同域，真正决定 locomotion 稳定性的不是二者各自的重建精度，而是二者随时间耦合后的交互状态。比如上楼梯时，height map 本身不是全部；足端何时接触、身体如何响应、下一步是否需要抬脚，这些都依赖历史和动作反馈。
已有路线不够的地方在于： 1. 纯 proprioceptive history policy 依赖网络自己从奖励中发现隐变量，信号稀疏且归因困难。 2. teacher-student / estimator 路线通常回归 privileged variables，但 privileged variables 未必是对控制最充分的状态表示。 3. Transformer/BERT-like history encoder 能处理窗口内序列，但窗口切断会让长时接触模式和地形转移信息碎片化。 4. world model 在机器人学习中常用于 sample efficiency、denoising 或 latent rollout；但在 humanoid locomotion 里，作者想把它用作“交互表征塑形器”。
所以 HuWo 缺的不是另一个 estimator，而是一个能把历史观测压缩成“对下一步物理反馈有预测性”的 latent，并把这个 latent 蒸馏到部署 actor 中。
Core Idea
核心思想可以概括为：用预测未来观测的任务来定义“物理交互 latent”，再用 privileged critic 训练这个 latent，最后让 actor 在没有 privileged input 的情况下回归它。
这改变了建模方式。prior 通常是从 partial observation 到 action，或者从 partial observation 到 privileged state；HuWo 则把中间状态定义为一个 predictive representation：如果 hidden state 能预测下一时刻 observation，它就必须编码当前接触、地形、身体响应和动力学扰动中对未来有因果影响的部分。这个 inductive bias 比直接回归 height map 更贴近控制，因为 policy 关心的是“下一步会发生什么”，而不是环境变量的语义完整性。
信息流上，HuWo 把 privileged critic 从单纯 value evaluator 改造成 representation teacher。critic 侧看完整信息并学习动态预测；actor 侧看 corrupted / partial information，通过 latent regression 对齐 critic hidden state。这样 actor 不是直接模仿 privileged observation，而是模仿一个被未来预测约束过的交互表征。
和 prior 的本质区别不在 Transformer-XL 这个模块，而在于：它把 asymmetric actor-critic、history encoder、state estimator 和 world-model-style prediction 组织成一个 representation alignment pipeline。这个 pipeline 的可扩展性来自它不要求显式定义所有隐变量，只要未来观测预测任务能提供足够监督。
Method
方法上只需要抓住几个机制。
第一，critic 侧的 dynamics model 解决的是 privileged information 如何转化为可学习的交互表示。critic 输入包含 base linear velocity、PD gains、外力、摩擦、mass parameters、height map、foot contact 等训练时可见变量。Transformer-XL 聚合历史后预测下一时刻状态。这里的关键不是预测器本身有多强，而是 next-state prediction 给 hidden state 加了动态一致性约束，避免 critic hidden 只服务于 value regression。
第二，actor 侧的 regression model 解决的是部署时无法访问 privileged information 的问题。actor 只用可部署观测历史和过去动作，学习回归 critic hidden state。这个设计相当于把 privileged supervision 从“变量级重建”换成“表示级对齐”。如果 critic latent 确实编码了 interaction dynamics，那么 actor 就获得了一个比原始 history 更可控的 belief state。
第三，Transformer-XL 解决的是固定时间窗口下信息断裂的问题。类人 locomotion 的接触模式、步态相位、地形切换和扰动恢复都具有跨窗口依赖；Transformer-XL 的 memory reuse 提供了比 BERT-like window attention 更自然的长程状态缓存。这里它更像 POMDP belief-state approximator，而不是语言模型意义上的 transformer scaling。
第四，PPO 仍然是主要控制优化器。HuWo 没有把 world model 用作规划器，没有 latent imagination rollout 来优化 policy；world model 主要是辅助 critic 表示学习和 actor 表示蒸馏。因此方法本质上仍是 model-free RL + predictive auxiliary representation，而不是完整 model-based RL。
Key Insight / Why It Works
最可能有效的部分是 representation alignment，而不是“world model”这个命名本身。critic 能看到 privileged state，因此它有机会形成比 actor 更接近真实交互状态的 latent；next observation prediction 迫使这个 latent 保留动力学相关信息；actor 再通过 MSE 对齐这个 latent，相当于在 partial observation 下学习一个 belief estimator。这比直接让 actor 从 reward 中端到端发现隐变量更稳定。
第二个有效来源是 memory reuse。Humanoid contact dynamics 的 observability 往往来自短期响应序列：脚落地后的 base acceleration、关节速度变化、姿态修正、接触相位变化。这些信号单帧不可见，短窗口也可能不够。Transformer-XL 的 recurrence 让模型能把过去 segment 的状态带入当前决策，实质上是在做更长时域的 system identification / terrain inference。
第三个来源可能是 hidden supervision，而不是 prediction。论文声称 world model 通过未来预测理解交互，但 ablation 里多个因素纠缠：w/o estimator、w/o wm、w/o regression 的定义不够干净。实际增益可能主要来自 privileged latent distillation：critic 看到 height map、friction、contact mask 后形成更好的表示，actor 被迫模仿它。future prediction 可能只是 regularizer。文中未充分说明预测损失本身对最终控制的独立贡献。
第四，HuWo 的“环境理解”更像 implicit retrieval / system identification，而不是 reasoning。策略在训练地形分布和 domain randomization 下学会从 proprioceptive history 检索对应的控制模式；当真实环境落在覆盖范围内时表现好。这是合理且有价值的，但不应过度解释成显式物理推理或长期规划。
第五，Oracle 被 HuWo 超过这一点需要谨慎解读。Oracle 使用 full privileged observation history，但如果 architecture 或 supervision 不同，它不是严格上界。HuWo 超过 Oracle 更可能说明 Oracle baseline 的表示学习/网络结构不充分，或 Transformer-XL history + auxiliary losses 带来优化优势，而不是 partial observation 策略真的拥有超过完整信息的状态知识。
总体判断：核心贡献是把 predictive latent + privileged teacher + long-memory sequence model 放进 humanoid locomotion 的 asymmetric RL 框架中。最可能是 better inductive bias + representation alignment + data coverage 的组合，而不是一个会规划的世界模型。
Relation To Prior Work
HuWo 最接近三条线的交汇。
第一条是 RMA / teacher-student / state estimator 类方法：训练时用 privileged info，部署时从本体历史估计环境或动力学参数。HuWo 的新增点是它不直接估计某个 privileged vector，而是让 critic latent 通过 future prediction 被塑形，再蒸馏给 actor。实质创新在“预测约束下的 latent distillation”，不是 asymmetric training 本身。
第二条是 blind legged locomotion 中的 memory-based policy，例如 LSTM 或 history encoder。HuWo 的不同点是用 Transformer-XL 跨窗口 memory 来处理长程依赖，并把 history encoding 同 privileged dynamic prediction 绑定。相比 LSTM，它可能有更强容量和更好的并行训练；相比 BERT-like transformer，它避免固定窗口信息碎片化。
第三条是 Dreamer / TransDreamer / transformer world model。HuWo 借用了 world model 的预测式表示学习语言，但没有走 model-based control 的路线。它没有用 learned model 做 rollout planning，也没有在 latent imagination 中优化 actor。因此它更属于“world-model-inspired auxiliary learning for model-free control”，而不是 Dreamer-style world model RL。
和 Gu et al. 的 denoising world model 或 DreamWaQ 等 implicit terrain imagination 相比，HuWo 的实质差异是强调 robot-environment interaction latent，而非单独地形估计或噪声消除。但这个差异在实验上还没有被完全隔离证明；看似新的部分有相当一部分是已有思想重组：privileged critic、history encoder、auxiliary prediction、latent regression、domain randomization。
Dataset / Evaluation
评估覆盖了仿真课程地形、速度跟踪、ablation，以及 Zerith1 真机在草地、碎石、沙地、不同硬度/摩擦地面、楼梯、人工复杂地形和外力扰动下的部署。对于 locomotion 论文来说，真实世界验证是加分项，尤其是在无外部传感器条件下完成楼梯和户外地形，确实支持其 proprioceptive adaptation 的 claim。
但 evaluation 对核心 claim 的支持仍不完全。论文声称学到了 physical interaction world model，但主要证据是控制性能提升和少量 hidden neuron 可视化。没有系统报告 dynamics prediction accuracy、latent 是否可解码出 friction/height/contact、跨训练分布外地形的 failure case、不同 privileged variables 缺失时的影响，也没有展示预测 horizon 对策略的影响。因此实验更强地证明了“这个训练框架能让机器人更稳”，而不是证明了“模型真正理解了物理交互”。
benchmark 也有潜在偏置：训练使用强 domain randomization、curriculum、复杂 reward shaping 和大规模并行环境，真实场景可能与随机化范围有较高重叠。速度跟踪和 terrain level 是合理指标，但不足以区分 memory-based adaptation、terrain memorization、reward shaping 和 world-model latent 的贡献。真实实验偏 qualitative，缺少和 baseline 在同一硬件上的系统成功率/能耗/扰动阈值对比。
Limitation
第一，方法成立依赖 privileged simulation。critic 需要访问外力、摩擦、mass、height map、contact mask 等信息，这些信息在仿真中容易获得，但真实世界中不可直接标注。HuWo 把部署困难从感知转移到训练时 privileged supervision 和 domain randomization 设计上。
第二，world model 的上限有限。它只做 one-step observation prediction，并不用于 planning 或 long-horizon rollout。若环境变化需要多步推理、主动探测或非局部地形预判，当前机制可能退化为短时 system identification。
第三，泛化可能主要来自数据覆盖。训练地形包括楼梯、坡、平面等，并有摩擦、质量、延迟、外力随机化；真实测试地形多数仍可看作这些因素的组合。论文没有证明对训练分布外几何、动态障碍、湿滑突变、软地面沉陷、移动平台等场景的外推能力。
第四，增益归因不清。Transformer-XL、critic prediction、latent regression、larger capacity、curriculum、reward shaping 同时存在。缺少严格控制参数量、history length、privileged variables、prediction target 和 memory mechanism 的 ablation。所谓 HuWo 优于 Oracle 的结果尤其需要谨慎，因为 Oracle baseline 是否结构等价文中未充分说明。
第五，latent 可解释性不足。6 个 hidden neurons 的可视化不能证明 latent 表示了物理交互，只能说明它对地形切换有响应。没有因果干预或 probing 来验证 latent 中到底编码了什么。
第六，对 humanoid full-body scalability 文中未充分说明。当前 Zerith1 看起来是小型轻量平台，动作空间主要是腿部关节位置偏置；未来扩展到上肢自由运动、loco-manipulation、外部负载和复杂接触时，单一 latent regression 是否还能稳定工作未知。
Takeaway
- 1. 对 blind locomotion 而言，最有价值的表示不一定是显式 terrain map，而是对未来身体反馈有预测性的 interaction latent。
- 这个 insight 可以迁移到 manipulation、loco-manipulation 和 contact-rich control。
- 2. Asymmetric actor-critic 的下一步演化不应只是让 critic 看 privileged state，而应让 privileged critic 产生可蒸馏、受动态约束的 belief representation。
- HuWo 在这个方向上给了一个清晰模板。
一句话总结
HuWo 是一篇把 privileged asymmetric RL、长记忆 Transformer 和预测式 latent 对齐结合起来用于 blind humanoid locomotion 的工作，其真正贡献是用 future-predictive interaction representation 改善部分可观测控制，而不是构建了可规划意义上的完整世界模型。
