精读笔记
Problem Setting
GuideWalk: Learning Unified Autonomous Navigation and Locomotion for Humanoid Robots across Versatile Terrains（arXiv preprint / 2026）。
这篇论文实际处理的是 humanoid local navigation 中最棘手的耦合：避障决策必须在物理可执行的步态空间内发生，而 locomotion policy 又不能只做被动速度跟踪，否则在 clutter、楼梯、斜坡、窄梁等场景中会被局部几何约束打破。这里的关键矛盾是 navigation 想要灵活、快速改变 heading/velocity，locomotion 想要连续、稳定、低冲击的全身动作；二者优化目标天然冲突。
以前方法卡在两个方向：perceptive locomotion 能处理复杂 terrain，但通常假设外部给 velocity command，缺少 obstacle-level decision；learning-based navigation 能避障，但 humanoid dynamics 太高维，直接端到端学容易产生不稳定动作或依赖 reward hacking。GuideWalk 的问题设定不是“再做一个 humanoid policy”，而是把 local navigation 的几何约束和 terrain-adaptive locomotion 的动力学约束压到同一个部署 policy 中。
Motivation
已有路线缺的是一个合适的中间结构。纯 hierarchical pipeline 的问题是 planner 输出的 command 未必是 humanoid 在当前 terrain 上能稳定跟踪的；纯 end-to-end RL 的问题是 sparse goal/collision reward 很难同时塑造避障策略和全身稳定 gait；纯 teacher-student locomotion 又通常只学 terrain traversal，不学 cluttered navigation。
作者的核心观察可以概括为：local obstacle avoidance 本身不需要从零学，DWA 这类 classical local planner 已经提供了强 inductive bias；humanoid dynamics 也不需要从导航 reward 中从零学，pretrained locomotion teacher 已经提供了稳定 motion manifold。真正缺的是把这两个 teacher 的信息合成一个 action-level supervision，再蒸馏到 deployment policy。这个方向的动机不是追求 planner-free，而是把 planner 和 locomotion prior 作为训练期 scaffold。
Core Idea
论文真正的核心不是“DWA + locomotion teacher + PPO”这几个模块的堆叠，而是改变了导航-运动控制的信息接口：不让 student 直接从 depth/elevation 到 joint action 学完整问题，也不在部署时保留显式分层控制，而是先用 DWA 把障碍/目标几何压缩成低维 velocity guidance，再用 locomotion teacher 把 guidance 投影到动态可执行动作，最后让 student 学这个组合映射。
这个建模方式引入了两个 inductive bias。第一，velocity guidance 是 temporally coherent 的，天然比 sparse goal reward 更容易被 imitation/RL 吸收，也减少了导航策略的振荡。第二，locomotion teacher 把高维 action search 限制在 human-like、terrain-adaptive 的 gait manifold 附近，使 RL finetune 不必同时探索“怎么走”和“往哪走”。和 prior 的本质差异在于，它不是固定 hierarchical controller，也不是 naive end-to-end policy，而是把层级结构蒸馏成单一 policy：训练时利用分层先验，部署时获得端到端反应性。
Method
1. DWA navigation guidance：它解决的是 obstacle avoidance 和 goal alignment 在 sparse RL 中难以稳定形成的问题。DWA 输出 forward velocity 和 yaw rate，而不是 lateral command，原因是 locomotion teacher 对前进和转向更可靠。这一点很重要：导航接口被刻意限制到 humanoid 可跟踪的 command 子空间，牺牲一部分机动性换取动态可执行性。
2. Privileged locomotion teacher：它解决的是高维 humanoid action 在复杂地形上的稳定性问题。teacher 使用 privileged terrain/state 和 AMP 训练，提供的是一个 terrain-conditioned action manifold。它的作用不是导航，而是把 DWA 的局部意图变成稳定全身动作，防止 student 在导航 reward 下学出不自然或不可部署的策略。
3. DAgger distillation：它解决普通 behavior cloning 的 state distribution mismatch。student 在自己访问到的状态上查询 composite teacher，因此学到的是其自身误差诱导分布下的修正行为。这里 DAgger 更像是快速初始化和数据覆盖工具，而非最终性能的唯一来源。
4. PPO + auxiliary BC：它解决 teacher 的局限和 imitation 的盲点。纯 IL 不知道 collision/failure 的代价，只会复制 teacher；RL 提供环境反馈，BC 则约束 policy 不要远离稳定 gait prior。这个组合的机制本质是 reward-driven improvement anchored by teacher prior。
Key Insight / Why It Works
最可能真正有效的部分是“低维导航 guidance + locomotion manifold”的耦合，而不是具体网络结构或 PPO recipe。DWA 把 navigation credit assignment 从高维动作空间中剥离出来，给 student 一个密集且平滑的中间目标；locomotion teacher 则把这个目标限制在 robot actually can do 的区域。这样，学习问题从“在高维连续动作空间中同时发现避障和步态”变成“在 teacher-defined behavior manifold 附近做局部修正”。这是明显更容易、也更可扩展的 formulation。
Stage 2 的增益可以理解为对 teacher 的局部超越：DWA 是局部、kinematic、保守的；locomotion teacher 只负责跟踪 command；student 经过 RL 后可以利用 full observation/action coupling 学到一些 teacher pipeline 中没有显式建模的动作，例如论文提到的 lateral adjustment、arm retraction。这类 emergent behavior 可能是真正“统一 policy”带来的收益，因为它突破了 velocity command 作为唯一接口的限制。
但需要直接指出：很多收益也可能主要来自 engineering / scaling。2048 并行环境、20K iterations、精心 reward、privileged teacher、depth noise injection、双传感器输入共同构成了很强训练系统。Stage 1 去掉后最终性能仍接近完整模型，说明 DAgger 的核心贡献可能更多是 sample efficiency，而不是最终能力。导航 reasoning 本身仍然更像 DWA policy distillation/retrieval，而不是 student 学会长期规划。该方法的“泛化”更可能来自训练地形和障碍分布覆盖，而非形成了可组合的 high-level reasoning。
Relation To Prior Work
它最接近三条谱系的交叉：perceptive humanoid locomotion 的 teacher-student distillation、legged local navigation 的 planner-guided / hierarchical learning、以及 IL+RL 混合训练。和传统分层导航相比，它的实质区别是部署时没有显式 planner-control split，student 直接输出 joint action，可以利用 perception 到 action 的细粒度耦合。和纯端到端 RL 相比，它不是从 reward 中学结构，而是把 DWA 和 locomotion teacher 的结构先验注入训练。和普通 locomotion distillation 相比，它多了 obstacle-aware velocity guidance，使 teacher supervision 不只包含“怎么走”，还包含“往哪绕”。
看似新的部分中，DAgger、PPO+BC、privileged teacher、AMP locomotion 都是已有思想重组；实质创新在于 composite teacher 的组织方式：用 classical local planner 产生 navigation intent，用 terrain-adaptive teacher 产生 dynamically feasible action，再把二者蒸馏成一个 humanoid navigation policy。这个创新偏系统建模和训练范式，不是算法理论突破。
Dataset / Evaluation
评估覆盖了障碍平地、上下楼梯、上下斜坡、窄梁等模拟场景，并有 Kuavo 真机上的无障碍、静态障碍、突发障碍演示。任务覆盖面足以支持“能在多类局部地形中协调避障和 locomotion”的 claim，但不足以支持强意义上的 open-world navigation 或长期规划能力。
消融设计比较有用：去掉 navigation guidance 后障碍场景变差，说明 velocity guidance 确实提供了决策稳定性；去掉 locomotion teacher 后复杂地形和 beam 基本崩溃，说明 gait prior 是必要条件；只用 IL 会在障碍任务中失败，支持 RL finetune 的必要性。不过 w/o Stage 1 的最终性能接近完整方法，只是训练更慢，这削弱了“two-stage pipeline 对最终能力必要”的说法。
真机实验是亮点但规模有限，缺少长距离、多转角、dead-end、动态人群、复杂拓扑等测试。评估更像验证 local reactive obstacle avoidance + stable walking，而不是验证 autonomous navigation 的完整闭环能力。
Limitation
第一，方法上限受 DWA guidance 限制。DWA 是局部 planner，没有长期记忆和拓扑推理；dead-end、U-shape obstacle、需要绕远路的环境会暴露其上限。student 即使蒸馏后端到端，也很难凭局部训练信号凭空获得全局规划能力。
第二，动态可行性依赖 locomotion teacher 的覆盖。teacher 对哪些速度、地形、接触模式训练充分，student 就在哪些区域更稳定；超出 teacher manifold 的动作即使 RL 能探索，也会被 BC anchor 拉回，或者导致 sim-to-real 风险。所谓统一 policy 其实把问题转移到 teacher 质量和数据覆盖上。
第三，perception setup 偏重。部署依赖 LiDAR elevation map + depth camera，说明 policy 不是仅凭廉价视觉形成 robust terrain understanding。作者也承认硬件冗余和计算开销，这不是表面问题，而是说明当前方法的 robustness 很大程度来自显式几何表示。
第四，增益归因仍不完全清晰。reward 中直接包含 DWA velocity tracking，student observation/reward/training buffer 中也使用 DWA-derived signal；因此最终 policy 到底是学会了自主避障，还是学会在局部分布中复制 DWA 并做动作层修正，文中未充分说明。
第五，泛化证据有限。模拟地形和障碍分布如果与训练高度重合，结果可能反映 data coverage 而非 compositional generalization。文中没有充分展示跨传感器退化、未见障碍形态、复杂动态物体、长时 horizon 下的性能。
Takeaway
- 1. 对 humanoid navigation，一个有效范式是先把 obstacle avoidance 压成 humanoid-friendly command manifold，再通过 locomotion teacher 投影到稳定动作流形；直接端到端从 sparse reward 学完整问题性价比很低。
- 2. Classical planner 仍然有价值，但更适合作为 training-time inductive bias / dense supervision，而不一定作为 deployment-time module。
- GuideWalk 的启发是：可以把传统模块的结构优势蒸馏进 neural policy，同时保留 end-to-end action coupling。
- 3. IL + RL 的角色分工很清楚：IL 负责进入好 basin，RL 负责修正 teacher blind spots，BC 负责防止 locomotion prior 崩掉。
一句话总结
GuideWalk 是一篇把 classical local planner 和 privileged humanoid locomotion teacher 蒸馏成单一 reactive policy 的系统型工作，真正贡献在于用训练期结构先验缓解导航-动力学耦合，而不是提出新的规划或 RL 算法。