精读笔记
Problem Setting
PTDL: Multi-Terrain Fall Recovery via Phase–Terrain Decoupled Learning（arXiv preprint / 2026）。这篇论文处理的不是常规 humanoid locomotion，也不是 isolated get-up，而是一个更麻烦的闭环任务：机器人在 flat、gravel、slope 上从 prone/supine 等 fallen state 恢复，站稳后立即接入 velocity-commanded walking，且部署时只有一个 proprioceptive policy。
真正困难点在两个异质性叠加：phase heterogeneity 和 terrain heterogeneity。Recovery 是低高度、多接触、非周期、动作顺序强依赖的过程；walking 是高高度、周期接触、速度跟踪主导的过程。地形又改变 recovery 的有效接触策略：flat 上可以追求快速起身，gravel 上需要更多 bracing 和慢探测，slope 上需要 anti-slide 与 lateral support。把这些都塞进一个 reward 或一个 motion prior，容易得到平均化、保守、地形无差别的 get-up。
以前方法卡住的地方主要不是单点能力，而是组合能力：flat recovery 不等于 multi-terrain recovery；multi-terrain walking 不等于 fallen recovery；domain randomization 不保证学出多模态策略；expert routing/perception-based terrain adaptation 又违背单策略、无地形标签部署的设定。这个任务的关键矛盾是：训练时需要强监督地区分 phase/terrain，否则梯度互相污染；部署时又不能依赖显式 phase controller、terrain classifier 或多专家切换。
Motivation
作者的动机可以概括为：已有路线缺少一种“训练时显式分化、部署时隐式统一”的建模方式。纯 RL 靠 task reward 很难从 fallen multi-contact 状态中稳定发现安全接触序列；DeepMimic-style tracking 对接触和地形适配过硬；单 AMP 把 get-up 和 walking 的 transition distribution 混在一起，style prior 本身变成冲突源；单纯 domain randomization 则倾向于学一个对所有地形都不太差的 compromise motion。
更具体地，已有 unified controller 主要解决 phase/mode conflict，例如用 state-dependent AMP 在 flat ground 上统一 walking/running/recovery；而 terrain-aware locomotion 主要解决 upright walking 的 foothold/velocity adaptation。PTDL 想填的缺口是 post-fall recovery 这个低姿态、多接触阶段的 terrain-conditioned strategy learning，但又不想在 deployment 引入 terrain labels、height maps 或 expert switching。
因此作者的核心观察是：terrain 信息可以作为 training-time privileged supervision 使用，但不应成为 actor input；phase 信息可以作为 training-time routing/gating 使用，但不应变成 deploy-time controller decomposition。换句话说，缺的不是一个更大的 policy，而是更合理的信息流组织方式。
Core Idea
论文真正的核心思想是把“异质性”拆成两个正交轴来监督：phase 轴上拆 recovery 与 locomotion，terrain 轴上拆 flat/gravel/slope 的 recovery constraints。训练阶段显式知道这些轴，并把不同监督分配到对应区域；部署阶段只保留一个 proprioceptive actor，让它通过历史接触、IMU、关节状态隐式选择行为。
这个思路引入的 inductive bias 很明确：不同 phase 不应该共享同一个 imitation distribution，不同 terrain 的 fallen recovery 不应该共享同一套接触偏好。PTDL 不是让网络自己从混合 reward 中发现结构，而是把结构写进训练监督：用 projected gravity 作为 phase separator，用 terrain label 作为 reward selector。这样做的直觉成立，因为 fallen/upright 在 projected gravity 和 height 上确实可分，gravel/slope 的关键差异也主要反映在接触稳定性、滑移方向和支撑宽度上。
和 prior 的本质区别不是“用了 AMP”或“用了 PPO”，而是把 privileged information 用作训练时的 supervision routing，而不是部署时输入或专家选择。它改变了建模方式：从一个 undifferentiated multi-task objective，变成一个 structured multi-regime objective；从显式 terrain-aware policy，变成 blind policy with privileged training constraints。这一点比具体 reward 公式更重要。
Method
方法层面值得保留的机制只有几类。
第一，phase-gated dual AMP。它解决的是 recovery clips 与 walking clips 在 transition statistics 上的冲突。单 discriminator 学 union distribution 时，很容易对 prone multi-contact 和 upright periodic gait 都给出模糊、不稳定的 style gradient。PTDL 用 projected-gravity gate 硬切换 recovery discriminator 和 velocity-conditioned walking discriminator，相当于给同一个 actor 提供 phase-consistent imitation prior。这里的关键变化是 discriminator 被语义分工，而 actor 不被拆分。
第二，phase-dependent task/style mixing。recovery 阶段更依赖 motion prior 和接触 shaping，walking 阶段更依赖 velocity tracking/task reward。这个 mixing 的作用不是新算法，而是避免站起前被速度跟踪 reward 牵引出不合理动作，也避免站起后还被 get-up prior 拖住。它本质是一个训练稳定性机制。
第三，terrain-stratified recovery shaping。terrain label 只在训练中选择 shaping：gravel 鼓励多点支撑、抑制稀疏支撑下的 angular motion；slope 惩罚 downhill slip、奖励 lateral support span；flat 基本保持高效起身。它解决的是 multi-terrain recovery 的 reward aliasing：同一个“站起来”目标在不同地形上的安全策略不同。如果不分地形施加这些偏置，策略会学到平均解。
第四，post-rise probe-to-walk transition。它把刚超过站立高度 gate 的脆弱阶段和完整速度命令隔开，短暂鼓励双脚加载与低速前进。这不是核心理论贡献，更像 practical bridge，但对减少二次摔倒很可能重要。
第五，多阶段 curriculum。文中用 flat dual AMP、walking finetuning、bridge、mixed-terrain finetuning 分阶段训练。这里的贡献更偏工程化；它可能是最终效果的重要来源，但不是概念上最干净的部分。
Key Insight / Why It Works
最可能真正有效的原因是 supervision disentanglement，而不是某个具体 reward 权重。Recovery 与 walking 的数据分布差异太大：一个是低高度、手臂/躯干/腿多接触、非周期；一个是高高度、双足周期、速度跟踪。单一 style prior 会把这两者混成一个难以优化的判别边界。dual discriminator + hard phase gate 给 actor 提供了更低噪声的 imitation gradient，这是核心。
第二个有效点是 terrain-conditioned reward shaping 以 privileged label 的形式存在，但 label 不进 observation。这相当于 asymmetric training：critic/reward/event 端知道地形族，actor 端被迫从 proprioceptive history 学出可用的隐变量。若接触模式足够可辨，这会比完全 blind domain randomization 更容易学到多种策略；同时又比 deployment-time terrain classifier 更简单、更鲁棒。
但需要直接指出：terrain adaptation 的“智能”可能被高估。gravel 在仿真里只是低摩擦加 ±0.02m 高度噪声，slope 是平面固定角度；这类地形差异通过 IMU、滑移、接触力后果很容易在短历史中反映出来。策略可能并没有形成可推广的地形理解，而是学到了训练分布内 contact-response pattern 到动作模板的映射。所谓 implicit selection 更像 reactive retrieval，而不是 reasoning。
最核心贡献我会放在 phase-terrain decoupled supervision 这个训练范式上，而不是具体的 gravel/slope reward。后者很可能是 reward engineering：有效，但可迁移性取决于人工设计的物理偏置是否覆盖新地形。post-rise probe 和 curriculum 也偏辅助，可能贡献显著但不够 principled。
增益来源目前不清。正文片段中的实验表格没有数值，无法判断 PTDL 相比 gated dual AMP 的提升到底来自 terrain shaping，还是来自 probe schedule、curriculum、训练预算、地形采样比例、或更细的 reward tuning。若没有更细粒度的 ablation，例如只加 gravel shaping、只加 slope shaping、改变 terrain label 隐藏/输入、改变地形分布，claim 的因果归因仍然偏弱。
整体上，这篇工作的本质更接近 better inductive bias + curriculum + privileged reward shaping，而不是 scaling、test-time compute、planning 或新 representation learning。它把结构放在训练目标里，减少策略从混合数据中自行发现结构的负担。
Relation To Prior Work
最接近的技术谱系是 AMP/DeepMimic-style humanoid control、unified fall recovery-locomotion、以及 blind terrain locomotion 的交叉。和 Lu et al. 的 state-dependent dual AMP 最接近：两者都用 projected-gravity 类信号区分 fallen/upright，并把 recovery 与 locomotion prior 分开。PTDL 的新增点是把 terrain family 也作为一个训练监督轴，而不是只处理 phase/mode conflict。
和 HumanUP/FRASA 等 get-up policy 的区别在于，PTDL 不把 stand-up 当终点，而是把 recovery 后的 commanded walking 纳入成功定义；同时它强调一个策略在多地形上学习不同 post-fall behavior，而不是只学鲁棒站起。
和 terrain-aware locomotion 的区别在于，PTDL 不使用 elevation map、vision/depth 或 deployment-time terrain classifier，也不是 mixture-of-experts routing。它把 terrain label 限制在 training-time reward selector 中，这一点是实质差异。
看似新的部分中，dual discriminator、phase gate、privileged training、terrain-specific reward 都不是全新思想；真正的组合创新在于把这些用于 post-fall recovery 的 phase × terrain 二维解耦，并坚持 deployment 单 proprioceptive actor。换句话说，方法不是算法原语创新，而是问题结构重组。
Dataset / Evaluation
评估覆盖 simulation 中的 flat、gravel、5/10/15/20 度 slope，并有 Unitree G1 真机 flat、gravel、5/10 度 slope zero-shot。任务定义上比只看 stand-up 更严格：要求超过高度 gate 后还能持续 velocity-commanded walking，避免把 quasi-static rise 误判为成功。这一点对 claim 是加分的。
baseline 设置方向合理：pure RL、pure mimic、single AMP、ungated dual AMP 可以分别检验 task reward、直接模仿、单 prior 混合、无 hard phase routing 的问题；ablation 也覆盖 terrain shaping、phase gate、recovery-locomotion transition。若数值完整，这套实验基本能验证主 claim。
但正文片段中的表格数值全部缺失，硬件成功率也以占位符呈现，因此无法判断实际提升幅度、方差、是否存在某些地形失败集中、以及硬件泛化是否强。文中未充分说明失败案例、不同初始跌倒姿态分布、坡面方向与机器人朝向关系、gravel 真实物理建模程度。
benchmark 是否真正验证“multi-terrain generalization”也有限。训练和测试都在同一 terrain families 内，slope 角度虽有变化，但仍是规则平面；gravel 仿真较简化。它更像验证了 distribution内多地形适配，而不是 open-world terrain generalization。
Limitation
第一，方法依赖离散 terrain family 可标注。训练时必须知道 flat/gravel/slope 并为其写 shaping。扩展到 mud、snow、wet rock、stairs after fall、deformable ground 时，不是自然泛化，而是需要继续设计新的 Ξκ 或增加新的训练族。scalability 上限在于人工地形分解和 reward 设计。
第二，flat-ground get-up prior 是 recovery 的主要运动骨架。gravel/slope 只是通过 shaping 做 surface-specific correction。若地形要求完全不同的接触序列，例如狭窄台阶、坑洼、障碍物卡住肢体，flat prior 可能变成错误 bias。
第三，部署时无视觉/触觉，只有 proprioception。短历史能推断摩擦和坡度后果，但无法提前知道可用支撑区域、障碍几何或局部陷落。它适合 reactive adaptation，不适合需要 lookahead 的 recovery planning。
第四，核心增益归因不清。论文把 dual AMP、terrain shaping、stability reward、probe schedule、curriculum、domain randomization 一起堆进最终系统。若表格数值缺失或 ablation 不够细，很难判断哪部分是必要机制，哪部分只是 engineering。
第五，所谓单策略隐式选择可能只是 memorized contact-response templates。训练地形族少、仿真地形简单、初始姿态分布有限时，policy 可以通过历史观测检索相似情形并执行对应动作，而不是形成可组合的地形-接触策略。
第六，真实世界验证范围偏保守。硬件只到 10 度 slope，且为了安全省略更高坡度；没有长期任务、多次跌倒、复杂地面、外部扰动后的恢复统计。sim-to-real claim 方向成立，但强度文中未充分说明。
Takeaway
- 1. 对于 unified humanoid skills，最重要的不是把所有数据混进一个大 policy，而是在训练监督中显式暴露 latent structure：phase、terrain、contact regime 都应该被用来路由 loss/reward，而不一定进入 actor observation。
- 2. Fall recovery 的多地形问题不能简单套 terrain locomotion 的 domain randomization。
- 站起阶段的接触策略差异比行走阶段更离散、更模式化，因此 terrain-stratified shaping 是合理 inductive bias。
- 3. 这篇推动的是一种 asymmetric training pattern：训练时 privileged labels/contacts/gates 强组织监督，部署时保持 blind single actor。
一句话总结
PTDL 是把 phase-gated AMP 与 training-only terrain-stratified shaping 组合起来的 humanoid fall recovery 框架，真正贡献在于用结构化监督避免 recovery/walking 与多地形目标混合导致的 compromise policy，而不是提出新的 RL 算法。