精读笔记

Problem Setting

这篇论文真正处理的是感知四足 locomotion 中的一个老矛盾：盲策略稳定、快、易部署，但必须靠碰撞“摸”地形；显式外感知策略能提前看到障碍，却常被建图质量、状态估计漂移、传感器延迟和控制链路复杂度限制。DreamWaQ++试图让机器人在不依赖重型 map-based pipeline 的情况下，获得足够的 obstacle awareness。

困难点不在于让网络接收点云，而在于让点云在真实控制闭环里有用。外感知低频、异步、有噪声、视野有限；本体信息稳定但滞后于地形变化；二者经常互相矛盾。控制器需要在几十毫秒内决定是抬腿、降身、停顿、探测、跨越还是继续冲。这是一个 partial observability + contact-rich dynamics + sim-to-real 的组合问题。

以前方法卡在两端：blind RL 的上限是碰撞式适应，爬楼梯等任务效率和安全性受限；perceptive/map-based 方法又把困难转移到局部地图重建和状态估计上，一旦延迟或几何不准，策略反而变慢或保守。本文的关键矛盾是：如何利用不可靠外感知提升预见性，同时不牺牲盲 locomotion 的鲁棒性。

Motivation

作者的核心动机是：locomotion 控制并不需要一个精确、完整、长期一致的环境模型。对局部障碍跨越来说，更重要的是一个能调制 gait 的短时 affordance representation：前方哪里可能高、哪里可能空、当前脚下反馈是否和视觉一致、下一步是否需要提高步高或降低身体。

已有路线缺的是“可失败的外感知融合”。很多视觉 locomotion 方法默认外感知能稳定地提供 terrain geometry；但真实机器人上，深度相机/LiDAR 帧率低、延迟大、安装位姿误差和遮挡都不可避免。如果策略强依赖这个输入，就会脆弱。DreamWaQ++的方向是把外感知变成辅助 latent，而不是控制的硬前提。

另一个缺口是 skill diversity。只靠 tracking reward 和稳定性 regularization，策略容易学成保守步态；它可以走，但不会主动形成跨越、探测、降低身体、延长 swing 等非典型动作。作者认为要让 obstacle-aware locomotion 真正敏捷，需要在训练目标中显式鼓励 latent/behavior 的多样性。

Core Idea

DreamWaQ++的核心思想是把多模态感知压缩成一个用于控制的短时上下文，而不是显式构建 terrain map 或规划 footstep。外感知提供前方几何线索，本体历史提供脚下接触和动力学线索，二者通过 latent fusion 形成 policy condition。策略学到的不是“地图到动作”的规则，而是“latent affordance 到 gait modulation”的映射。

这个建模改变了 prior 的信息组织方式。传统 perceptive pipeline 更像 perception-first：先尽量准确估计环境，再控制；DreamWaQ++是 control-first：只保留对动作选择有用的几何/动态因素。这样做引入的 inductive bias 是局部性和短时记忆：认为四足跨越多数障碍时，只需最近几帧点云和本体历史即可做出反应。这使它比完整建图更轻，也比纯盲策略更有预见性。

和 prior 的本质差异不在 PointNet、VAE 或 PPO，而在于它把外感知、本体估计、特权高度图监督和 skill discovery 放进同一个 latent-control 闭环中。外感知 latent 不只是 state input，而是直接塑造 gait family；本体 latent 不只是估计速度，而是作为外感知错误时的校正和 fallback。

Method

第一，短时外感知 memory 解决传感器低频和异步问题。作者没有做完整 scene reconstruction，而是用估计的 SE(3) 运动把最近点云变换到当前机体系下，形成更稠密的局部观测。这一机制的核心变化是：外感知从单帧、稀疏、滞后的输入，变成一个短时局部几何缓冲。它的有效性依赖短窗口内位姿漂移不大。

第二，本体 encoder 同时服务于状态估计和 latent condition。它用短历史 proprioception 估计 base velocity，并提供运动状态表征。这里的关键不是 velocity prediction 本身，而是让策略保留 blind locomotion 中最有价值的部分：即使视觉坏掉，脚下接触和关节动态仍能驱动稳定反应。

第三，多模态 mixer 解决 proprioception 和 exteroception 的不一致。简单拼接会把冲突信息直接丢给 policy；fusion latent 则允许网络学习什么时候相信视觉、什么时候相信接触、什么时候把两者解释为地形变化。这是方法里比具体网络结构更重要的机制。

第四，辅助表征学习目标把 latent 组织成控制友好的空间。VAE 约束让 latent 不至于过拟合噪声；未来本体重建鼓励预测性；height reconstruction 和 contrastive alignment 把 partial observation latent 拉向 privileged terrain representation；MI/versatility gain 鼓励 latent 和行为多样化。它们共同解决的是：RL reward 本身很难稳定地产生可解释、可迁移的多模态表示。

第五，大量噪声、延迟、传感器位姿偏差和物理随机化是实机鲁棒性的必要条件。这里不能忽略 engineering 成分：DreamWaQ++的很多“resilience”很可能来自训练分布中主动制造了真实系统会遇到的失败模式。

Key Insight / Why It Works

最重要的 insight 是：对 legged locomotion 来说，外感知的价值不在于精确建图，而在于提前调制 contact strategy。机器人不需要知道完整楼梯模型，只需要在 swing 前知道“前方高度/空洞/不确定性足够大”，从而改变步高、身体姿态和速度。这解释了为什么一个短时点云 latent 可以超过某些使用 GT height map 的 baseline：height map 准确并不等价于 policy 学到了合适的动态技能。

第二个有效原因是本体与外感知的互补不是对称的。外感知负责前方预警，本体负责闭环纠错和失效 fallback。论文中的 exteroception failure 实验表明，策略在视觉失真时仍能退化成接触式适应；这说明系统不是单纯视觉策略，而是以 blind locomotion 为底座、外感知为调制器。这个设计比“视觉主导”更适合真实机器人。

第三，versatility gain 可能是产生非保守 gait 的关键，但它的贡献边界不清。论文把探测、跨越、爬坡、leap 等行为归因于 skill discovery；这个说法有一定道理，因为普通 tracking reward 往往压制大幅动作。但这些行为也可能强依赖训练地形覆盖、reward annealing、速度 tracking 权重调整和大量并行仿真。换句话说，skill discovery 是催化剂，不一定是能力来源的全部。

第四，contrastive/privileged alignment 的实质是隐藏的 teacher signal。作者没有要求 actor 回归全部 privileged state，而是让 latent 分布靠近 GT height scan encoding，这比直接预测物理参数更合理，因为 partial observation 下很多 privileged variable 不可实现。但这也意味着训练阶段仍高度依赖 simulator 提供的干净局部地形监督。所谓 sensor-agnostic 更多是输入格式上的传感器无关，不是监督范式无关。

第五，MLP-mixer/PointNet/confidence filter 等结构大概率是有用的工程选择，而不是核心科学贡献。真正决定上限的是 latent 的训练信号、短时 memory 和数据覆盖。Transformer vs mixer 的比较说明 mixer 足够轻且性能接近，但这更像部署约束下的 architecture trade-off，不是方法成败的根因。

总体判断：DreamWaQ++不是在做高层 reasoning，也不是学到了显式规划器。它更像一个在大规模随机化仿真中训练出的多模态 reactive skill prior，通过结构化 latent 和短时记忆把 retrieval-style 行为选择做得足够平滑、及时、鲁棒。

Relation To Prior Work

它最接近的谱系是 DreamWaQ / Rapid Motor Adaptation / privileged learning / perceptive locomotion 的组合：用非对称 actor-critic 和特权信息训练可部署 policy，用本体历史做 adaptation，再加入外感知几何作为前馈线索。它不是从零提出一种新 RL 范式，而是在已有 legged RL 技术栈上重组信息流。

相对 blind locomotion，真正新增的信息是前方局部几何，使策略可以在接触前改变 gait，而不是撞到后再适应。相对 map-based perceptive locomotion，真正不同的是不追求完整地图和显式 footstep planning，而是把外感知压缩为 policy latent。相对 raw depth/RGB 方法，它使用 3D point input 和短时对齐 memory，降低对相机视角和深度图格式的绑定。

看似新的部分中，VAE、contrastive alignment、MI skill discovery、domain randomization 都有明确前史；创新主要在组合方式和控制闭环中的角色分配。比较实质的贡献是：把外感知失败视为常态来设计 latent fusion，而不是假设 perception pipeline 可靠；同时把 skill diversity 作为 obstacle traversal 的必要条件，而不是只优化 tracking 和稳定性。

Dataset / Evaluation

评估覆盖面相当广：连续楼梯、高台、gap、斜坡、可移动平台、外感知失效、跨 LiDAR/深度相机配置、跨机器人形态训练，以及真实 Go1 实机部署。这比许多只在仿真或单一障碍上展示的 perceptive locomotion 工作更有说服力，尤其是多个真机场景显示策略确实学到了不同 gait mode。

实验基本支持三个 claim：外感知融合提升楼梯/障碍效率；策略在传感器噪声和部分失败下不会立即崩溃；框架可以迁移到不同平台但需要重新训练。最强证据是同一策略在不同真实地形中的 emergent behavior，而不是单个成功率数字。

但 evaluation 也有明显限制。首先，许多真实实验是展示型而非系统 benchmark，难以排除地形、速度命令、人工干预和安全策略选择的影响。其次，和 baseline 的公平性不总是完美：built-in controller、blind DreamWaQ、ViNL-style baseline 的训练目标、硬件、传感器和调参程度可能不同。第三，跨平台结果是重新训练，不是 policy-level zero-shot transfer。第四，OOD claim 部分依赖训练分布是否已经覆盖相似几何 primitive；所谓泛化可能更多是对组合地形的插值/重组，而非真正 out-of-support 推理。

Limitation

核心前提一：局部短时观测足以决定动作。这个前提对楼梯、斜坡、局部障碍成立，但对需要长期路径选择、绕行、语义风险判断或不可逆动作规划的场景不成立。DreamWaQ++没有长期 belief state，也没有全局 planner。

核心前提二：仿真能覆盖真实失败模式。论文大量依赖 domain randomization、噪声注入、延迟随机化、传感器位姿偏差和训练地形多样性。若真实环境的几何、摩擦、可变形接触或传感器异常超出这些随机化范围，策略的“resilience”可能快速下降。

核心前提三：外感知虽然可噪声，但不能长期完全错误。文中展示相机脱落时机器人能退化为膝/脚接触稳定姿态，但这更像 emergency fallback，不代表还能高效完成任务。短时 memory 无法处理长期外感知漂移或系统性错误。

方法上限在于它没有显式因果/物理推理。探测行为、affordance-aware path deviation、leap 等看起来像 reasoning，但更可能是大规模训练下的 policy retrieval。它能在相似局部模式上泛化，但遇到需要推断隐藏结构或长期后果的任务时，上限会暴露。

增益归因不完全清晰。性能提升可能同时来自更丰富训练地形、更强随机化、特权高度监督、reward curriculum、versatility gain 和多模态结构。文中消融给出方向性证据，但不足以精确回答“到底哪一项贡献最大”。部分结果可能主要来自 scaling / data，而不是单一算法创新。

此外，sensor-agnostic 的说法需要谨慎。输入统一为 3D points 确实便于换深度相机/LiDAR，但策略仍依赖局部点云的分布、视野、安装位置和延迟特性；训练中虽然随机化了外参和噪声，但不等于对任意传感器配置都无缝泛化。

Takeaway

• 1）对四足感知 locomotion，值得优化的不是地图精度，而是能直接调制接触策略的 latent affordance。
• 精确重建可以是辅助目标，但不应成为控制链路的中心。
• 2）外感知最好作为 blind locomotion prior 的调制器，而不是替代本体闭环。
• 真实系统里 perception 会失败，策略必须能自然退化到 proprioceptive/contact-based behavior。

一句话总结

DreamWaQ++是从盲四足 RL 向轻量感知式 reactive skill prior 演化的一步：它的核心贡献不是建图或规划，而是用短时多模态 latent 把不可靠外感知转化为可实机部署的 gait modulation。