精读笔记

Problem Setting

【MARCH: Model-Assisted Reinforcement Learning for the Perceptive Control of Humanoids over Sparse Footholds（arXiv preprint / 2026）】

论文解决的是 humanoid 在 sparse stepping stones 上进行视觉闭环落脚控制，特别是 footholds 不只约束前向步长，还强约束 lateral foot placement 的情形。这个问题的核心不是 nominal locomotion robustness，而是安全可行集合非常窄：脚必须落在小区域内，横向错一步就可能导致灾难性失败。

以前方法的卡点很明确。model-based CBF/MPC/HLIP 类方法能给精确落脚甚至安全性论证，但需要可靠模型、地图和接触假设；一旦进入真实 humanoid + onboard depth + latency/noise，就会变脆。model-free perceptive RL 则相反，鲁棒性和 sim-to-real 更好，但在 sparse foothold 任务上 credit assignment 极差，需要大量 curriculum 和 sampling 才可能发现可用步态，而且学出的动作容易不光滑、物理结构弱。

这篇论文面对的关键矛盾是：任务需要 model-based precision，但部署又需要 model-free robustness。作者没有试图在硬件上做严格安全控制，而是把模型的作用改为训练时引导 RL 的局部结构。

Motivation

已有路线缺的不是又一个视觉 backbone，也不是更大的 PPO recipe，而是一个能把“安全落脚结构”注入 RL 搜索过程的机制。对于 sparse footholds，纯 reward 很难告诉策略如何形成长期相位、CoM 转移和脚步序列；一旦早期探索基本都摔倒，policy gradient 得到的是很差的学习信号。

作者的核心观察是：即使用很粗糙的 reduced-order model，也足以给出“什么样的运动大概是对的”——例如下一步应该落在哪、CoM 应该如何随步态演化。这些信息不必精确到能直接控制真机，但可以显著改变 RL 的局部优化地形。

关键缺口在 lateral constraints。此前 CLF-RL / physics-guided RL 已经展示了参考轨迹 reward 的价值，但更多是在 forward constrained footholds 或较规则任务中。横向 stepping-stone 需要多步 footstep choice、左右脚模式选择和视觉隐式识别，因此不能只靠一个固定 gait reference。

Core Idea

论文真正的核心思想是：把 model-based planner 从“在线控制器”转化为“训练时结构化 supervision”。模型不直接保证安全，也不要求部署时知道 ground-truth map；它只在训练 teacher 时生成 safe reference trajectory，并通过 CLF-like reward 把 RL 拉到这条参考附近。RL 再利用高维仿真和 domain randomization 学到模型未覆盖的全身动力学、接触扰动和硬件鲁棒性。

这个信息流很重要：planner → privileged teacher → vision student。planner 产生安全但简化的轨迹；teacher 在仿真中用 reference 和 privileged information 学到可执行全身控制；student 再从深度图和 proprioception 中模仿 teacher，把显式参考轨迹压缩成部署策略的隐变量。它引入的 inductive bias 是“步态应该围绕 reduced-order safe trajectory 组织”，而不是让 policy 从零发现 stepping behavior。

和 prior 的本质区别不在 CLF reward 或 teacher-student 本身，而在它把 lateral foothold selection、多步短视野 footstep planning 和多模态视觉策略连起来，使 CLF-RL 从单方向约束扩展到需要离散选择的 sparse terrain。

Method

1. 短视野 footstep reference generation：single-integrator planner 在 safe foothold set 上做 receding-horizon shooting，生成未来几步 foot placement 和 timing。它解决的是 lateral sparse terrain 下“下一脚不是连续小调整，而是离散可行选择”的问题。这里模型极简，但足够承担 constraint checking 和 coarse planning。

2. HLIP-based motion reference：在已知 footstep/timing 下，用 HLIP 生成 CoM 演化，再配合 swing foot、pelvis、upper body reference。它的作用不是高保真建模，而是给 teacher 一个相位一致、动态合理的 tracking target，使策略不要学成任意能过关但不稳定/高 jerk 的动作。

3. CLF-shaped teacher RL：teacher 用 PPO，但 reward 中加入 V(η) 和 dV/dt 形式的 CLF-inspired 项。机制上，这是把参考轨迹变成局部吸引盆，而不是硬约束。这样既避免纯 model-based 对模型误差敏感，也避免纯 RL 在稀疏安全任务上的盲目探索。

4. Vision student distillation：student 没有 reference 和 height map，只看深度图、本体历史和速度命令。蒸馏的核心变化是把 privileged planner/reference 信息投影到可部署观测空间。MDN 用于保留动作分布的多模态性，尤其是左右脚/多个可行 foothold 的选择；transformer 主要用于融合短时历史和视觉 embedding。它们是合理工程选择，但不是论文最根本的创新。

Key Insight / Why It Works

最可能真正有效的是 CLF-shaped reference tracking，而不是网络结构。sparse foothold locomotion 的难点在于可行轨迹测度很小；model-based reference 把策略搜索限制到一个动态可行、相位合理、落脚安全的邻域内，相当于把稀疏失败任务变成局部 imitation + robustness learning。这会自然带来更少样本、更低 jerk 和更小 torque，因为策略不需要通过随机探索发现 CoM-footstep 协调模式。

这不是严格意义上的 safety guarantee。文中也承认 V 未必是真 CLF，feedback linearizability 假设也不太可能精确成立。因此 CLF 在这里更像一个 physics-informed shaping potential，而不是控制理论保证。它的价值是提供一个比手工 tracking reward 更结构化的误差度量，并鼓励误差下降，而非仅仅误差小。

MDN 的价值在于 distillation 场景下的 multimodality：同一视觉-本体状态可能对应多个合理动作模式， deterministic regression 会平均掉模式，导致落脚选择模糊。这一点在 lateral footholds 中很合理。但论文没有充分证明 MDN 学到的 modes 与真实 footstep modes 一一对应；增益可能部分来自更强 likelihood modeling。

Transformer 的贡献更像工程增强。它可能帮助利用 proprioception history 与图像 embedding 对齐相位，但从论文证据看，不能排除只是容量/优化更好。真正的 structural prior 仍是 planner + CLF reward。

从机制分类看，这篇不是 scaling paper，也不是 test-time planning paper；它更像 better inductive bias + hidden supervision。teacher 接收 reference trajectory，相当于训练时拥有一个 oracle planner。student 的能力很大程度取决于训练分布是否覆盖了部署地形。如果测试场景与 procedural stepping-stone 分布高度一致，表现好不等于学到了强泛化的视觉规划能力。

Relation To Prior Work

它最接近 CLF-RL、physics-guided RL、teacher-student perceptive locomotion 这条谱系，而不是传统 MPC/CBF 或纯 end-to-end RL。相对 model-based CBF/MPC，它放弃严格安全证明，换取对模型误差和硬件部署的适应性；相对纯 model-free perceptive humanoid RL，它用 reduced-order planner/reference 给出训练时强先验，降低探索难度。

和 Walk the Planc / CLF-RL 类工作的关系非常直接：本质上是把 model-guided reward 用到更难的 lateral sparse foothold 任务，并加入 receding-horizon footstep planner 与视觉蒸馏。新意不是 CLF 公式，也不是 HLIP，而是把这些放进一个能上 Unitree G1 的 pipeline，并处理 lateral foot placement choice。

和近期大规模 humanoid perceptive locomotion 工作相比，它不是通过更复杂 curriculum 或更大数据硬推，而是用简化模型提供轨迹级 supervision。看似新颖的 CNN-transformer-MDN 多数是已有组件重组；实质创新在于信息组织方式：训练时显式规划，部署时隐式模仿。

Dataset / Evaluation

评估覆盖了仿真 stepping-stone terrain 和 Unitree G1 真机部署。任务族包括两端平台、中间 stepping stones、可变 gap/placement，以及一些 side-by-side choices，确实比只走台阶或粗糙地形更能检验精确 foot placement。

实验支持两个核心结论：第一，model-assisted teacher 相比近似 model-free baseline 在 teacher training samples 上更省；第二，最终 student 行为更平滑。真机结果说明 pipeline 不是只在仿真中成立，这是论文最有价值的证据之一。

但 evaluation 也有明显边界。baseline 不是对公开代码的严格复现，而是作者按 preprint 近似实现，比较结论要谨慎。地形分布仍然比较窄，硬件实验 stone 数量有限，且高度一致、表面平整。它验证了“在受控 sparse foothold 分布上可部署”，但没有充分验证跨地形拓扑、遮挡、长视野任务、动态 foothold 或强感知误差下的泛化。

此外，训练总时间并未明显降低，论文自己也承认 sample efficiency 提升不等于 wall-clock efficiency。planner/reference computation 和更复杂 pipeline 把一部分成本转移到了训练结构上。

Limitation

最核心的前提是训练时必须能获得 safe foothold set / height map，并能用 planner 生成可行 reference。部署时虽然不显式用 map，但 student 学到的是对这个 planner 行为的压缩；如果视觉输入无法恢复 planner 所依赖的信息，或者测试地形超出训练分布，策略没有显式机制保证安全。

第二个上限来自 reduced-order model。HLIP 假设恒定 CoM 高度、无飞行相、点足/简化接触，因此天然不覆盖跳跃、大跨步动态 maneuver、复杂高度变化或非平面接触。论文中的任务设计也基本适配 HLIP：平整 stones、同高度硬板、短 horizon。

第三，所谓多步 planning 在部署时并不存在显式在线规划。student 看到 depth image 后输出动作，内部是否形成了长期状态建模文中未充分说明。更保守的判断是：它学到了训练分布内的 visual-to-action retrieval，而不是可验证的 symbolic/geometric footstep reasoning。

第四，增益归因不完全清楚。CLF reward、planner reference、curriculum、domain randomization、MDN、transformer、teacher-student distillation 都在 pipeline 中。ablation 只覆盖 student architecture，缺少对 CLF term、HLIP reference、planner horizon、reference noise 等关键因素的系统拆解。

第五，真机 repeatability 低于仿真，作者归因于 camera latency/accuracy。更深层看，这是所有“训练时 ground-truth planner、部署时 noisy depth imitation”方法的共同风险：感知误差不是被安全层显式处理，而是希望 domain randomization 吸收。

Takeaway

• 1. 对 safety-critical locomotion，模型最有价值的位置未必是部署时控制，而是训练时提供轨迹级 inductive bias；这比让 RL 从稀疏失败信号里自发现 gait structure 更现实。
• 2. CLF-RL 在这里的实际含义应理解为 physics-informed reward shaping，而不是控制理论保证。
• 它的迁移价值在于：用 reduced-order model 定义一个局部吸引盆，再让 RL 学 residual robustness。
• 3. 对视觉 sparse foothold 任务，teacher-student distillation 本质上是在做 privileged planner compression。

一句话总结

MARCH 是一篇把 CLF/HLIP/footstep planning 作为训练时隐式监督来驯化 humanoid perceptive RL 的工作，真正贡献在于用 model-assisted inductive bias 改善 sparse foothold 学习，而不是提出新的控制保证或通用视觉规划器。