精读笔记

Problem Setting

Learning quadrupedal locomotion on deformable terrain（Science Robotics / 2023）解决的不是常规 rough terrain locomotion，而是 sim-to-real RL 在可变形接触上的训练分布缺失问题。四足机器人在沙地、草地、软垫等地面上高速运动时，脚不再与地面形成刚性非穿透约束，而是在 stance phase 中显著下陷，接触反力取决于 penetration depth、intrusion velocity、局部屈服、水平拖曳以及上一时刻留下的地形变形。这个 regime 下，刚体仿真产生的数据在控制意义上是错的：策略会学到过低 foot clearance、错误的支撑时序、错误的能量分配和对反力的过度自信。以前方法卡在两个极端：真实颗粒/软体仿真太慢，无法支撑 RL；简单弹簧阻尼或 rigid domain randomization 又不能覆盖真正导致摔倒的 contact modes。关键矛盾是：训练需要海量快速仿真，但高速可变形接触本身又是复杂、历史相关、难精确建模的物理过程。

Motivation

作者真正抓住的缺口是：腿式机器人 RL 的“泛化”很大程度只发生在训练 simulator 支持的接触族内部。过去 rough terrain + domain randomization + privileged learning 在刚体地面上表现强，但一旦 feet fully buried，策略面对的是 out-of-distribution contact，而不是简单动力学扰动。视觉也不是自然解，因为软硬、含水量、松散程度常常没有可靠视觉特征。于是问题不是缺一个更大的感知网络，而是缺一个能在训练中生成可变形地面触觉经验的仿真分布。作者的动机可以理解为：与其追求精确 terramechanics，不如构造一个足够快、物理方向正确、参数可随机化的低阶颗粒接触模型，让 RL 在相关失败模式上预训练出触觉自适应能力。

Core Idea

核心思想是把 soft terrain locomotion 从“控制器显式知道地形参数后规划”转成“策略在一个物理启发的可变形接触分布中学习，并在测试时通过 proprioceptive history 隐式识别地形”。这改变了建模方式：地面不再是刚体 contact constraint，也不是线性 compliance，而是一个带深度依赖、速度相关惯性拖曳、塑性下陷、水平阻力的反力生成器。这个 simulator 不必精确预测某一块沙子的反力，只要能覆盖真实世界中足端会遇到的反力族，就足以训练出鲁棒控制。

和 prior 的本质区别不在 LSTM 或 PPO，而在训练数据的物理支持集被扩展了。Privileged learning / RMA 类方法通常把环境变化当作隐变量识别问题，但如果 simulator 没有 deformable contact，隐变量再好也只是刚体世界里的 latent。本文新增的 inductive bias 是“可变形接触的错误模式应在训练中显式出现”，并通过 recurrent history 让策略在测试时从触觉反馈中选择合适的 gait/clearance/torque profile。它比精确仿真更 scalable，因为牺牲局部精度换取大规模采样和参数覆盖；比纯 domain randomization 更 generalizable，因为随机化围绕一个更接近真实机制的 contact family 展开。

Method

方法中真正必要的机制有三点。

第一，物理启发的快速 deformable contact。作者从 granular cone model 出发，把足端侵入颗粒介质时的法向反力近似成点接触反力，并加入深度相关、速度相关和 added-mass 风格的项；切向力用 Coulomb friction 近似；另外加入 horizontal stroke-resistive force 来模拟脚在沙中水平拖动时被“推沙”阻碍。它解决的是 rigid simulator 完全看不到的下陷和水平阻力问题。核心变化是训练环境从不可穿透平面变成会屈服、会耗能、会阻碍摆腿的介质。

第二，大范围 terrain parameter randomization。这里随机化不是普通 sim-to-real trick，而是弥补低阶模型不精确性的主要机制。由于模型不可能准确拟合所有沙地/草地/软垫，作者让策略看到一族不同 stiffness、resistive stress、friction、阻尼和水平阻力组合。它解决的是真实地形参数未知且不可视觉辨识的问题。核心变化是策略学习的是对反力分布的鲁棒性，而不是对某个地形参数点的最优控制。

第三，带历史的控制信息流。LSTM encoder 压缩 proprioceptive stream，explicit estimator 估计 body height、velocity、foot heights，actor 同时使用 command、history latent 和 estimated states。它解决的是可变形地面下传统 contact-state-based state estimation 失效、且地形属性无法瞬时观测的问题。核心变化是 terrain identification 被嵌入控制闭环：策略不是先分类地形再控制，而是在历史接触反馈中连续调整动作。

Key Insight / Why It Works

最核心的有效性来源不是某个网络结构，而是训练分布终于包含了正确的 contact failure modes。沙地上失败通常来自脚陷太深、摆腿被沙堆卡住、支撑脚反力不足、后腿 sinking 导致躯干姿态崩溃。刚体训练策略永远不会看到这些模式，因此 foot clearance、stance timing 和 torque usage 都会系统性错误。本文的颗粒模型即使粗糙，也把这些模式放进了 RL 数据里，这是主要增益来源。

第二个关键是“物理近似 + 随机化”的互补关系。单个低阶模型不准，但参数随机化可以把模型误差转化成训练分布宽度。这里的泛化更像 robust policy over a physically structured contact family，而不是学到了精确地形动力学。这个判断很重要：本文成功并不说明 granular cone model 本身足够准确，而说明它作为 data generator 的 inductive bias 足够对。

第三个关键是 history latent 的使用。可变形地形的属性不能从当前 observation 唯一确定，必须通过几步接触后的反应来推断。LSTM 在这里更像一个 online system identification / memory reuse 模块。t-SNE 和 oracle attribution 支持 history latent 携带 terrain-specific 信息；但它是否显式估计了物理参数并不重要，实际更可能是把近期接触响应映射到一组 gait adjustment patterns。这不是高层 reasoning，而是触觉条件下的快速 retrieval / adaptation。

显式 state estimator 可能是被低估的贡献。论文显示 estimator group 对 actor 输出影响很大，且 teacher with privileged terrain parameters 反而不如端到端 recurrent architecture。这说明单纯把地形参数喂给 policy 不够；对控制最有用的是已经对齐到动作空间的状态表示，比如 body velocity、height、foot height，而不是原始 terramechanics 参数。这里的机制是 representation alignment：把不可观测接触效应压缩成 actor 易用的控制状态。

哪些可能只是辅助？PPO、PD target、curriculum、噪声注入、并行仿真这些大概率是 necessary engineering，不是核心科学点。20x faster than DRFT 对 RL 很关键，但属于 enabling infrastructure。PL baseline 的失败也不完全证明 PL 路线本身错误，因为 PL/Env-GM 可能受 imitation upper bound、teacher architecture、student training setup 限制；但它清楚说明，在这个任务上 end-to-end recurrent adaptation 比常规 teacher-student latent imitation 更合适。

如果要直接归因：主要增益 = deformable-contact data coverage + physically structured randomization；次要但重要增益 = recurrent haptic adaptation + explicit estimator；工程增益 = 快速 solver、curriculum、训练规模。所谓“generalization to grass / air mattress”应谨慎解读，它更像训练出的 soft-contact robustness 对一些非颗粒地形也有效，而不是模型真正覆盖了这些地形的物理机制。

Relation To Prior Work

这篇最接近三条线：一是 legged RL sim-to-real，包括 Hwangbo/Lee/Miki/RMA/PL 系列；二是 granular locomotion / terradynamics / RFT；三是 adaptive locomotion with proprioceptive history。它不是从零提出新的 RL 算法，而是把颗粒介质的低阶物理模型嵌入 RL 训练 pipeline，并把可变形地形的触觉适应问题纳入端到端控制。

相对 rigid rough-terrain RL，真正不同是 simulator 的接触假设变了。过去方法通过地形高度场、摩擦、质量、延迟等随机化提高鲁棒性，但地面仍是不可穿透刚性约束；本文把 ground reaction 从 constraint 变成 yieldable force field。这是本质差异。

相对传统 terramechanics / RFT，本文不追求控制时在线精确计算地面力，也不做显式 terrain-aware planning。它只把低阶模型作为 RL data generator，允许模型不准但分布有用。这是实质创新：把 granular physics 从 model-based control 的负担转成 model-free policy training 的 inductive bias。

相对 privileged learning / RMA，本文的 history encoder 和 estimator 并不新，但信息组织方式更适合软地面。PL 的 teacher-student 框架把 privileged terrain parameters 当作 imitation target 的来源；本文则让 actor 直接利用 history latent 和显式估计状态，避免 student 被 teacher upper bound 和 privileged variable choice 限制。看似新的是 architecture，实质新增信息来自 deformable simulator 和 terrain randomization。

Dataset / Evaluation

评估强点是真机部署充分，而且不是只在实验室软垫上演示。沙地高速、干湿沙 transition、松散区域扰动、跑道、草地、硬地、气垫、砖路到记忆海绵的 transition，覆盖了多个 contact stiffness 和 deformability regime。尤其是沙地上 feet fully buried 仍能高速运行，这确实验证了 rigid-contact RL 的盲区。

Ablation 设计也比较有说服力：rigid、linear spring-damper、quasistatic GM、PL with rigid、PL with GM 都被比较，能支持“不是任意 compliance 模型都行，也不是只靠 PL 就行”的 claim。simulation 中随 stiffness 改变 foot clearance 的分析进一步说明策略不是固定 gait，而有一定触觉适应。

但 evaluation 也有明显边界。真实地形数量仍有限，且很多结果是同一机器人、同一足端形状、同一速度/质量尺度下的 deployment。草地和气垫的成功不能证明模型泛化到一般 nongranular soft terrain，只说明训练分布中的软接触经验对部分相邻地形有迁移。沙地实验虽强，但没有系统控制颗粒粒径、含水率、坡度、密实度等变量。增益归因仍不完全干净：完整系统同时改变 simulator、randomization、architecture、estimator、curriculum，虽然有 ablation，但还不足以精确量化每个因素的独立贡献。

Limitation

最大的前提是接触模型的适用 regime 很窄：点接触、小凸足端、浅 penetration、局部近似水平地面、下压产生反力而上抬无吸附。脚掌面积变大、履带/板状接触、深陷、坡面颗粒流、泥滩/沼泽的 suction、草地下面硬土层、多足接触间强耦合，这些都会破坏模型假设。气垫实验恰好也暴露这一点：它能跑不代表模型对气垫对，而是策略在宽分布中学到了一些保守软接触行为。

泛化能力很可能主要来自数据覆盖，而不是可解释的地形参数识别。history latent 是否真的对应 stiffness、yield stress、drag 等物理量，文中未充分说明。t-SNE 分簇只能证明不同地形产生不同 hidden states，不能证明策略学到了可组合的物理 representation。它可能只是把近期触觉序列映射到训练中见过的若干 gait templates。

scalability 上限在 simulator engineering。要扩展到更复杂地形，需要继续手工设计接触模型、随机化范围和有效参数化。问题被部分转移了：从“如何手写控制器”转为“如何手写足够好的 contact data generator”。这比传统 model-based control 更 scalable，但还不是通用软地形学习。

另一个未充分说明的是 terrain randomization range 的选择原则。范围太窄会失效，太宽可能导致保守、能耗高或学习困难。论文展示了经验上有效，但没有给出系统的 coverage criterion。未来如果换机器人尺度、足端形状或速度范围，是否仍然只需重调范围，文中未充分说明。

最后，策略是 blind 的，缺少前视规划。它依赖触地后的快速反应，因此对突然大坑、强坡、不可恢复的支撑失效没有真正的预判能力。所谓 adaptive control 不是长期 planning，而是短时触觉反馈驱动的 reactive adaptation。

Takeaway

• 1. 对 legged RL 来说，simulator 的接触支持集比网络结构更关键；如果训练分布没有真实失败模式，再强的 adaptation module 也只能在错误世界里泛化。
• 2. 低阶物理模型最有价值的用法未必是精确预测，而是作为 structured domain randomization 的生成器。
• 这个 insight 可迁移到泥地、雪地、水陆交界、柔性物体操作等场景：用便宜但方向正确的物理近似扩大经验分布。
• 3. 可变形地面控制中，显式 terrain parameter 不一定是最好的中间表示；更有用的是和控制对齐的 latent/history + state estimates。

一句话总结

这篇论文的地位是把四足 sim-to-real RL 的核心瓶颈从策略学习推进到 deformable-contact data generation：用足够快的物理启发颗粒模型和历史触觉自适应，让策略第一次在真实高速软地面上获得可用的训练分布。