精读笔记

Problem Setting

论文标题：Attention-based map encoding for learning generalized legged locomotion（Science Robotics / 2025）。

这篇论文瞄准的是 perceptive legged locomotion 里一个长期尴尬的交叉点：稀疏落脚地形上，model-based 方法能规划但不够鲁棒，learning-based 方法鲁棒但不够精确。真正困难不在于 velocity tracking，也不在于 rough terrain，而在于 discontinuous / sparse support 上必须把未来接触点选准；一旦 foothold 稀少，普通端到端 RL 很容易因为探索失败、奖励稀疏、表示过拟合而学不到可迁移策略。

关键矛盾是：精确接触选择需要类似 planner 的结构化归纳偏置，但真实部署又需要端到端闭环控制对模型误差、滑移、感知 drift 和执行器不确定性有容忍度。已有路线通常只能取一边：MPC/TAMOLS 类方法把 foothold 显式算出来，但受 simplified model、steppable threshold、感知质量和计算预算限制；纯 RL policy 能抗扰，但对 sparse terrain 的 map 使用方式太粗，容易学成地形模板匹配。

Motivation

作者的核心观察是：不同技术路线表面差异很大，但都可以抽象成“encoder + policy/controller”。model-based planner 的 encoder 输出未来接触/轨迹；learning-based policy 的 encoder 输出 latent；DTC 这类 hybrid 用 planner 生成 reference，再由 learned tracker 执行。差别主要在 encoder 是否能把地形和机器人状态转成对未来接触有用的中间结构。

因此缺口不是再堆一个更大的 policy，而是设计一个 neural encoder，使它具备 contact planner 的信息选择能力，同时不把系统重新变成在线优化器。作者选择 attention 的动机很直接：稀疏地形中 map 的大部分点无关，真正需要的是根据当前身体状态和命令，从地图点中选择“现在有用”的少数区域。这个选择如果能被 RL 端到端训练出来，就可能绕开显式 foothold supervision 和 MPC。

Core Idea

核心思想是把地形编码改造成 proprioception-conditioned map querying。height map 中每个点先变成局部几何 feature；机器人本体状态和速度命令形成 query；MHA 根据 query 对地图点做选择，输出紧凑表示。这样网络不是被迫把整张图压缩成一个全局 latent，而是在每个控制时刻按机器人当前状态检索潜在未来落脚区域。

这个改变的本质是引入了一个很强但合理的 inductive bias：legged locomotion 在稀疏地形上的感知需求主要是局部接触 affordance selection，而不是完整场景理解。相比普通 CNN/MLP map encoder，它保留 point-wise 可解释性；相比 model-based planner，它不显式求解接触序列，也不依赖硬阈值或可微优化；相比 DTC，它把“planner-like selection”和 whole-body control 合在一个 RL policy 内训练，使误差可以在闭环中被吸收。

Method

方法中真正必要的机制有三点。

第一，point-wise local feature 而不是 aggressive downsampling。稀疏支撑面可能很小，过早下采样会直接抹掉可踩区域；保留每个 map point 的局部几何，使后续 attention 能在接触粒度上做选择。这是在解决 sparse foothold 被表征压缩损坏的问题。

第二，用 proprioception/command 作为 query。可踩点不是静态属性，而是依赖当前 base velocity、姿态、关节状态、上一动作和运动命令。相同石块在不同 gait phase / body state 下可能有用也可能无用。状态条件化 attention 使 map encoding 变成动态 affordance，而不是静态 terrain embedding。

第三，两阶段训练。stage 1 用干净感知和 base terrains 先让 encoder 学出基本接触结构；stage 2 再加入更难地形、噪声、drift、扰动和 domain randomization。这个 recipe 很关键，因为如果一开始同时面对复杂 terrain 和 noisy perception，RL 很可能学不到稳定 map-grounding；如果只在干净 base terrains 上训练，则真实部署鲁棒性不足。它不是纯 implementation detail，而是在控制 representation 的学习难度。

Key Insight / Why It Works

我认为最核心的贡献是“把 foothold planning 变成状态条件化的 attention/retrieval 问题”。这不是 attention for attention's sake，而是把稀疏地形中的组合泛化压力降维：policy 不需要记住每类地形怎么走，只需要学会在当前运动状态下从局部几何点集中检索下一批有用支撑区域。attention 可视化中高权重点落在未来 foothold 附近，说明网络确实学出了类似 contact affordance 的 latent structure。

真正有效的原因大概率有三层。第一是 better inductive bias：point-wise attention 保留小支撑面并允许状态相关选择，比 MLP/CNN 全局压缩更适合 sparse terrain。第二是 representation alignment：proprioception query 把 map feature 和控制状态对齐，避免视觉 encoder 产生与当前可行动作无关的 latent。第三是 curriculum/data coverage：两阶段 terrain curriculum 给了足够多的几何组合，网络可以把“局部可踩结构”抽象出来。

需要注意，所谓“planning”在这里更像短 horizon retrieval，而不是显式长期推理。它没有维护长期接触计划，也没有优化未来多步 feasibility；后续步态和恢复主要由 reactive whole-body policy 解决。因此如果地形需要多步承诺、绕行、不可逆选择或全局路径约束，这种机制可能不够。

哪些部分可能只是辅助：CNN 局部 feature、reward shaping、actuator modeling、domain randomization、terrain curriculum 都很重要，但不是概念上新。两阶段训练带来的增益很可能相当大，甚至可能与 attention 架构共同决定结果；文中虽然做了消融，但增益归因仍不完全干净。尤其是 stage 2 加入更多 terrain 与噪声后，泛化提升到底来自架构、数据覆盖还是 curriculum 顺序，仍有混合。

Relation To Prior Work

这篇最接近的谱系不是一般 transformer locomotion，而是 DTC / TAMOLS / perceptive MPC 与 holistic RL 的中间路线。DTC 用 model-based planner 产生 reference，RL tracker 负责鲁棒执行；本文则把 planner 的核心功能——从地图中选未来接触相关区域——蒸馏成 neural attention encoder，但没有显式 supervision，也不在部署时跑 planner。

相对 prior RL sparse terrain work，差异不只是网络换成 MHA，而是 map 使用方式从“整图输入 policy”变成“状态条件化选择”。这解释了为什么 baseline RL 在训练地形上能过、稍微变形就失败：它更可能学到地形模板；而 attention encoder 更容易学到局部几何 affordance。

相对 transformer-based multimodal locomotion work，本文没有追求完整 transformer 架构，而是把 MHA 放在一个很具体的位置：用 proprioception query 地形点。这个设计比 generic cross-modal transformer 更有任务结构，也更容易解释。

看似新的部分中，attention 可视化和 planner-like interpretation 并不是全新思想，机器人里 affordance selection / attention map 很常见；实质创新在于把它嵌入高动态 legged RL，并证明在 quadruped 和 humanoid、仿真和真机 sparse terrains 上都能工作到相当水平。

Dataset / Evaluation

评估覆盖面在机器人论文里是很强的：ANYmal-D 和 GR-1 两种 embodiment，仿真和真机，gaps、beams、stepping stones、pallets、debris、shaky supports 等多种 sparse / uneven terrains，并且有一些训练未见地形组合。真机 zero-shot 部署是支撑 claim 的关键证据，尤其是 humanoid 在 sparse terrain 上的动态 traversal。

benchmark 设计基本支持“比 DTC 更鲁棒、比 prior RL 更泛化”的主张。DTC 在小支撑面上受 planner steppable threshold 限制，baseline RL 对 terrain variation 过拟合，本文方法在这些点上优势明显。网络结构消融也支持 point-wise attention 的必要性。

但 evaluation 仍有边界。所谓 unseen terrains 大多仍来自相近的程序化几何族，是组合外推，不是开放分布外泛化。GR-1 的部分部署依赖 motion capture + predesigned terrain mesh/raycasting，而不是完全 onboard perception，这降低了“真实感知闭环”的说服力。文中未充分说明训练 terrain distribution 与真实测试 terrain 的几何重叠程度，也没有强测 long-horizon navigation、动态障碍、严重遮挡/错误地图、软地面形变等情况。

Limitation

最重要的隐含前提是：2.5D height map 足以描述可行动性，且局部几何决定短期接触选择。一旦进入 confined spaces、overhang、需要手扶/攀爬、复杂 3D 接触或语义可踩性，当前表示会失效。

第二，泛化可能主要是 terrain family 内的结构泛化，而不是抽象 reasoning。attention 高亮未来 foothold 很有说服力，但也可能只是 learned retrieval：在训练过的几何模式附近找到相似局部结构。对真正 out-of-distribution 的物理属性，例如可移动/会塌陷/摩擦极端变化的支撑，能力上限不清。

第三，方法把显式 planner 的计算负担转移到了离线训练和 terrain curriculum 设计。训练仍需数天、大规模并行仿真、domain randomization、actuator identification 和较多 reward/style tuning。部署简单不等于系统整体简单。

第四，增益归因不完全清楚。attention 架构、两阶段 curriculum、更多 terrain、噪声模型、reward shaping、硬件工程、perception setup 都同时变化。消融说明 attention 比若干 encoder 好，但没有完全排除 scaling/data 覆盖是主要来源。

第五，长期规划缺失。policy 可以拒绝 infeasible command、选择下一步可踩区域，但没有证据表明它能做多步 lookahead 或全局策略选择。在窄通道、死胡同、需要先偏离命令再回归的场景中可能暴露短视性。

Takeaway

• 1. 对 sparse-terrain locomotion，关键不是更大的视觉 encoder，而是让地形表示以机器人状态为条件做 point-wise affordance selection。
• 这个 insight 很值得迁移到 manipulation、loco-manipulation 和 navigation-control interfaces。
• 2. 端到端 RL 并不一定要放弃 planner 的结构优势；可以把 planner 中最有用的中间变量——未来接触相关区域——变成 learned latent，而不是显式轨迹优化输出。
• 3. 泛化来自 architecture bias 与 terrain curriculum 的耦合。

一句话总结

这篇论文把稀疏地形上的显式 foothold planning 重新表述为 proprioception-conditioned point-wise map retrieval，是从 hybrid planner-tracker 向端到端但结构化 RL locomotion 演化的一步。