精读笔记

Problem Setting

DynaWM: Dynamics-Aware Distillation with World Model and Momentum Targets for Smooth Locomotion over Continuous Stairs（arXiv preprint / 2026）。这篇论文解决的不是“机器人能不能上楼梯”这个宽泛问题，而是在 blind/proprioceptive deployment 下，如何让双足轮式机器人在连续楼梯上获得足够平滑、稳定、可持续的接触适应能力。真正难点在于连续台阶会让接触模式、机体 pitch、轮-腿支撑关系和未来可行动作空间持续耦合；如果 latent 只服务当前 reward，它可能足够过单个台阶，但不足以维持长楼梯上的平滑动力学。

以前 teacher-student/RMA/CTS 路线卡在两个地方：teacher 有 privileged terrain，但它的 encoder 主要由 policy gradient 塑形，容易只保留短期 reward 有用的信息；student 没有地形输入，只能从 proprioceptive history 中反推地形，又要追随一个训练中不断漂移的 teacher latent。这个任务的关键矛盾是：部署期不能直接使用外感知/高度图，但控制又需要一个足够接近地形动力学状态的内部表征。

Motivation

已有路线不够的核心原因不是缺一个更深的 policy，而是 representation supervision 不对。PPO teacher 的优化目标是 return，不是地形建模；reward 可以让策略学会某些动作模式，但不会强制 latent 保留完整的高度、摩擦或接触相关几何。连续楼梯恰好放大了这种缺陷，因为未来几步的接触几何会影响当前姿态与关节准备动作。

作者的关键观察是：如果 teacher latent 不能预测未来状态，它很可能只是 task-specific shortcut；如果 student 直接回归快速变化的 teacher latent，它很容易学到平均化、低秩甚至坍缩的表示。因此缺口不是“再蒸馏一次”，而是需要一个额外的动力学约束来塑造 teacher latent，以及一个低通稳定机制来传递 student latent。

Core Idea

论文真正核心的思想是：把 terrain latent 从 reward-conditioned latent 改成 dynamics-regularized latent。world model 的作用不是用于在线规划，也不是显式构建可控模型，而是作为辅助预测任务逼迫 teacher encoder 保留对下一 privileged state 有用的信息。这个 inductive bias 很直接：能预测未来状态的 latent 更可能包含高度、摩擦、接触几何等对楼梯运动有用的变量，而不是只包含足以最大化短期 reward 的压缩特征。

另一个核心思想是将 distillation target 稳定化。CTS 的并行训练本质上让 student 追逐一个移动目标，而 DynaWM 用 EMA momentum target 把 student 学习对象低通滤波。它引入的是 representation alignment 的稳定性 bias，而不是新的控制结构。和 prior 的本质区别在于：prior 多半假设 teacher latent 自然可蒸馏，DynaWM 明确认为 teacher latent 本身需要动力学正则，student target 本身也需要稳定化。

Method

第一，world model regularization 解决 teacher latent 信息不足的问题。teacher encoder 输出不仅送给 actor，还要支持下一 privileged state prediction；prediction loss 反向更新 encoder，使 latent 对 forward dynamics 负责。核心变化是 teacher latent 不再只由 reward 梯度决定，而受到状态转移可预测性的约束。

第二，momentum target encoder 解决 student 蒸馏不稳定的问题。student online encoder 不直接无条件追逐快速变化的 teacher，而是通过 BYOL-like predictor 对齐 EMA target。这个机制的必要性在于 concurrent training 中 teacher latent 非平稳，直接 MSE 很容易把 student 推向均值化或低维 collapse。

第三，直接 teacher alignment 仍作为保真项存在，但它更像锚点而不是主要稳定来源。文中公式描述有些混乱，例如 total student objective 处疑似把 loss 写错或符号不一致；机制上应理解为 momentum self/alignment loss 加 teacher-student MSE。第四，PCA、linear probing、CCA 是诊断工具，不是算法核心；它们用于证明 latent 是否线性组织了地形变量。

Key Insight / Why It Works

最可能真正有效的是 world model 对 teacher representation 的辅助监督。连续楼梯要求策略提前形成关于未来接触的内部变量，而 policy gradient 对这种变量的监督很稀疏、间接且 reward-dependent。one-step prediction 虽然浅，但它给 encoder 注入了“哪些信息影响转移”的密集梯度，这比单纯 return 信号更容易形成可线性解码的地形结构。

momentum target 的贡献更像训练稳定性和 anti-collapse，而不是赋予新能力。它没有增加部署期信息，只是避免 student 在追逐非平稳 teacher 时丢掉结构。因此它是 representation alignment 层面的改进，类似 BYOL 在无负样本自监督里的低通目标网络作用。若 teacher latent 本身不好，momentum 只能稳定地学坏；所以 world model 更像上游核心，momentum 更像使其可蒸馏的必要工程机制。

这篇方法本质上不是 planning，也不是 test-time compute，也不是 retrieval。它更接近“用 auxiliary dynamics prediction 改善 privileged representation，再用稳定蒸馏传给 blind policy”。其中一部分增益可能来自更强的 inductive bias，另一部分可能来自 scaling / data / reward engineering。尤其 reward 里加入了多项平滑、关节约束和腿部协调项，真实的 motion smoothness 增益不一定全部来自 representation。文中未充分说明各 reward 变化与 DynaWM 模块之间的独立贡献。

Relation To Prior Work

它最接近 RMA、environment encoder、CTS、teacher-student privileged learning，以及 self-supervised dynamics-aware embedding。相对 RMA，这篇不是简单把 terrain information 压到 latent 再让 student 模仿，而是显式要求 latent 支持 forward prediction。相对 CTS，它保留并行 teacher-student 训练框架，但指出 CTS 的 teacher target 非平稳且 teacher latent reward-biased，因此在 representation 目标和蒸馏稳定性上做修改。

看似新的部分里，world model regularizer 和 BYOL momentum target 都不是新思想；新意在于把它们嵌入 legged/wheeled-legged locomotion 的 privileged distillation pipeline，并把 latent 可解释性作为核心证据链。实质创新不是提出新网络结构，而是对 teacher-student locomotion 中“teacher latent 是否足够 dynamics-aware、student 是否能稳定继承”这两个常被默认成立的假设进行干预。它属于 model-free RL + privileged distillation + auxiliary representation learning 的技术谱系。

Dataset / Evaluation

评估覆盖了仿真中的多类地形、不同楼梯宽度/高度，以及少量真实双足轮式机器人楼梯实验。它确实比只在仿真 success rate 上报告更有说服力，因为加入了 PCA、PC-correlation、linear probing、CCA 来检查 latent 是否编码 height/friction，并用真机连续楼梯验证部署可行性。

但 evaluation 仍有明显 limitation。第一，真实世界试验次数少，地形类型有限，不能充分证明广义开放环境泛化。第二，训练分布包含多类地形和 domain randomization，测试楼梯虽有 unseen 参数，但是否远离训练分布不够清楚。第三，表格显示某些场景 CTS 或 Robust 也很强，DynaWM 的优势并非全局压倒性，而更集中在高台阶、平滑性和 representation 指标上。第四，benchmark 更支持“在该机器人和该楼梯族上更稳定”而不是“通用连续楼梯地形理解”。

Limitation

方法成立依赖几个强前提：训练期必须有 privileged state/terrain 信息；sim 中的 forward dynamics prediction 必须和真实接触动力学足够相关；proprioceptive history 中必须包含可反推地形的足够信息。若地形变化在接触前不可由 proprioception 观测到，student latent 本质上仍是滞后的，无法替代真正外感知。

scalability 上限也很明确：world model 只做短 horizon state prediction，容易学习局部分布内的 transition regularity，而不是形成长期地形规划能力。所谓 dynamics-aware 可能主要意味着 latent 对 height/friction 线性可读，而不等价于学到可组合、可外推的地形动力学模型。增益来源不清：world model 架构、reward shaping、domain randomization、并行环境规模、terrain curriculum 和 momentum distillation 都可能贡献性能；文中没有把这些因素完全拆干净。

另一个隐含问题是 evaluation 可能偏向它的 claim：如果指标选择 height/friction，而 world model 正好预测包含这些信息的 privileged state，那么 probing 变好并不意外。representation 更可解释不必然等价于控制更鲁棒；二者在文中相关，但因果链仍未完全闭合。

Takeaway

• 第一，locomotion privileged distillation 里 teacher latent 不能默认是好监督；如果 teacher 只由 reward 训练，它可能缺少对未来接触动力学有用的变量。
• 给 teacher latent 加 auxiliary dynamics objective 是值得迁移的思路。
• 第二，concurrent teacher-student 的目标非平稳是实际问题，momentum target/EMA teacher 这类低通机制很可能会成为稳定蒸馏的标准组件，尤其在 teacher 本身还被 auxiliary loss 持续改变时。
• 第三，paper 的真正推动在于把 representation quality 从黑箱 success rate 中拆出来，用 probing/CCA/PCA 直接检查 latent 是否组织了地形变量。

一句话总结

DynaWM 是一篇把 dynamics auxiliary prediction 和 momentum distillation 引入 CTS/RMA 式盲式楼梯运动控制的工作，真正贡献在于重新约束并稳定 terrain latent，而不是提出新的控制器或真正的 model-based planner。