精读笔记

Problem Setting

这篇论文实际解决的是低成本四足机器人在复杂环境中自主执行多样化、高速、视觉驱动的跑酷技能问题。真正困难的不是单一技能本身，而是如何在统一框架下学习多种需要截然不同接触模式的敏捷行为（攀爬/跳跃/匍匐/侧身/奔跑），并在机载算力与感知延迟受限、电机易过载的低成本硬件上稳定部署。以前的方法卡在手工程度重（Atlas的MPC）、奖励设计复杂（每技能需单独调参）、或缺乏视觉感知；端到端视觉RL则因样本效率低和局部最优而难以探索成功。关键矛盾是：敏捷运动需要精确接触，而接触丰富的探索在硬物理约束下几乎是不可解的。

Motivation

已有RL路线需要为每种技能手工设计复杂奖励项，不具备scalability；MoCap模仿路线缺乏第一人称视觉与足够多样的动物技能；端到端视觉RL直接训练则不稳定。作者的核心观察是：如果训练初期就要求严格遵守接触约束，机器人会永远卡在障碍前的局部最优。关键缺口在于，领域需要一种无需参考数据、无需复杂奖励工程、能从简单原则中涌现出多样视觉-运动技能的自动化框架。本文受此驱动，将轨迹优化中的约束松弛思想引入RL，试图把“技能多样性”从奖励设计转移到环境课程与物理约束的课程设计上。

Core Idea

论文的真正核心是把直接配点法（direct collocation）处理约束的思想变成RL的课程学习策略：先让机器人在“违反物理”的软约束世界里找到一条能越过障碍的粗糙轨迹，再逐步把它拉回真实物理。这改变了建模方式——把接触约束从训练初期的硬性要求变为渐进式要求。理论上，这相当于为RL提供了一个非凸动力学优化的良好初始化。与prior的本质区别在于：它既不依赖MoCap参考轨迹，也不依赖手工奖励塑造，而是通过暂时修改环境碰撞属性来制造一个可解的松弛问题。这使得极简奖励（前进+节能）就能驱动多种自然行为的出现，因为探索难度被物理松弛而非奖励工程所解决。

Method

关键机制有三。其一，两阶段RL：软约束阶段允许穿透障碍物，用基于穿透体积/深度×速度的惩罚配合自动课程，让机器人先学会越过障碍的粗略运动；硬约束阶段关闭穿透，用相同奖励微调。这解决了接触丰富运动中的探索死锁。其二，特权-视觉蒸馏：先利用障碍物几何与物理特权信息训练各技能专家，再用DAgger将多专家蒸馏为单一深度图驱动的GRU策略。这解决了端到端视觉RL不稳定和多技能统一的问题。其三，异步部署与被动安全：CNN以10Hz异步编码深度图，策略主循环50Hz运行；通过力矩上限反算关节位置裁剪值，在底层保护电机。这是真实硬件部署的必要机制，而非单纯的工程包装。

Key Insight / Why It Works

方法真正有效的原因是软动力学约束作为一种极端形式的课程学习，直接消除了探索初期最致命的局部最优（被障碍物卡住）。RND等内在动机方法之所以失败，是因为它们鼓励访问“不可预测”的状态，而跑酷需要的是高度结构化的、目标导向的接触序列；软约束则通过暂时移除接触壁垒，让RL的随机探索天然有更高概率发现目标-reaching轨迹。硬约束微调阶段的作用是将这些粗糙轨迹打磨为物理可行解。简单奖励中的能量项至关重要，它隐含地偏好平滑、协调、低阻抗的运动模式，与不自然的高频抖动相斥。蒸馏阶段本质上是在利用特权教师提供的高质量标签来绕过视觉RL的样本效率灾难，这是privileged learning范式的成功应用，但学生与教师之间的性能差距表明视觉去特权化仍是瓶颈。文中提到的“涌现重试行为”本质上是价值函数对失败恢复的最优响应，而非真正的高层规划。

Relation To Prior Work

本文属于ETH/Stanford/CMU主导的“Sim-to-Real via Privileged Learning”技术谱系。与RMA（Kumar et al.）最接近：同样使用特权信息训练+蒸馏，但RMA聚焦盲走与地形自适应的在线隐式适应，本文聚焦视觉条件下的显式多技能聚合。与Learning by Cheating（Chen et al.）共享DAgger蒸馏框架，但将其扩展至多技能、高动态接触运动。与Peng et al.的MoCap模仿路线分道扬镳：本文无需动物数据，视觉与技能由任务环境直接定义。与直接配点法/接触不变优化（Mordatch et al., CIO）有概念血缘关系，但将离线轨迹优化思想转化为在线RL课程。与端到端视觉RL（Yang et al.的Cross-modal transformers等）相比，本文拒绝直接训练视觉策略，而是通过蒸馏绕过其不稳定性——这在当时是足式社区的主流务实选择。

Dataset / Evaluation

覆盖5种技能、2种机器人（Unitree A1/Go1），包含室内定量实验与室外定性实验。真实世界部署验证了其核心claim：低成本硬件+机载感知可实现高动态跑酷。然而，室内环境是人工构造的跑酷赛道，室外虽展示石头、楼梯、露营车等场景，但缺乏对完全非结构化野外的定量测试；benchmark未覆盖未知障碍类型（如斜坡+间隙的组合）或动态障碍。模拟中的对比实验（Blind/MLP/RND/No Distill）有力地支持了视觉、记忆、软约束、蒸馏各自的必要性，但真实世界缺乏与同期SOTA方法的直接 head-to-head 对比，因为许多prior方法不开源或未在相同硬件上验证。

Limitation

方法的前提依赖极为明显：它需要一个手工精心设计的模拟器，其中障碍类型与布局是预先定义好的，因此所谓“自动”生成技能实际上仍被限制在人类设计的 obstacle taxonomy 内，无法自动发现新技能。泛化能力受限于深度图的几何先验，对未训练过的障碍类别或自然地形（如碎石坡、灌木丛）的能力未知。策略是反应式的，没有长期规划，失败恢复（如重试攀爬）是价值函数的局部最优响应，而非有意图的 replanning。视觉延迟（10Hz深度图）与高速运动之间的矛盾被部分掩盖：策略更多依赖本体感觉与记忆来“脑补”当前环境，而非实时视觉伺服。此外，软约束阶段与自动课程的增益来源未做充分解耦消融，两者的贡献比例不清。

Takeaway

最值得记住的insight是：对于高度约束的机器人技能学习，修改物理约束本身比设计复杂奖励更能解决探索问题——这一思想可迁移到操作、穿衣、 extrinsic dexterity 等领域。
本文证明，在极简奖励与巧妙的物理课程下，低成本四足机器人也能实现以往只有Atlas才能做到的敏捷行为，这推动了RL从实验室演示向可复现、低成本系统的演进。
未来真正值得做的方向不是继续手工增加技能数量，而是结合程序化地形生成与3D视觉实现环境的自动构造，并探索从RGB语义中直接学习野外跑酷，以及引入高层策略进行显式的技能规划与失败恢复。

一句话总结

本文将直接配点法的约束松弛思想转化为RL的两阶段物理课程，以极简奖励和特权蒸馏在低成本四足机器人上实现了端到端视觉跑酷，代表了“渐进式约束强化学习”在敏捷足式运动中的成功落地。