精读笔记
Problem Setting
这篇论文并不是在重新定义 humanoid motion tracking，而是在处理 tracking policy 的失败闭环：当机器人被强扰动推离参考轨迹、甚至进入倒地或半倒地状态时，policy 是否仍能利用同一套 tracking objective 回到可跟踪状态。
关键矛盾是：高精度 tracking 通常要求严格惩罚偏离参考轨迹，而 recovery 学习恰恰需要 policy 在大偏差状态中继续探索。如果训练中一旦 root height / orientation error 超阈值就 hard terminate，policy 永远看不到失败后的可恢复动态；但如果把 recovery 作为独立任务，又会引入额外 reward、curriculum、controller switching，并且破坏 single-policy tracking 的简洁性。
所以本文真正解决的是 episode termination 与 recovery learning 之间的分布断裂问题，而不是单纯提高某个 imitation metric。以前方法卡在两个方向：一类 motion tracker 把严重失败当作 episode failure 直接切掉；另一类 recovery policy 专门学站起或抗推，但与 tracking policy 分离，部署时需要模式切换或额外逻辑。Stubborn 试图把失败状态纳入同一个 on-policy learning loop。
Motivation
已有路线不够的地方在于：它们把 tracking failure 当作训练应避免的坏状态，而不是可利用的数据来源。对 humanoid 来说，真实部署中最有价值的能力恰恰发生在 nominal tracking 分布之外：被推、姿态翻转、脚接触异常、root pose 大偏移后如何重新进入 motion manifold。
作者的核心观察是：tracking failure naturally induces fall / unstable state manifold。换句话说，不需要人为枚举倒地初始姿态，也不一定需要 recovery-specific reward；如果训练过程允许 policy 在失败后继续存活一段时间，tracking reward 本身就会给出“回到参考附近”的梯度信号。
关键缺口是 training distribution 的组织方式。hard termination 下，termination count 可以作为难度信号，但它同时切断了 recovery transition；soft termination 下，policy 能看到失败后状态，但 termination statistics 又不再可靠。因此还需要一个新的 hard-sample mining signal，即基于实际 tracking error 而不是是否终止来重采样困难片段。
Core Idea
Stubborn 的核心思想是把 termination 从二值失败判定改成带物理恢复时间尺度的随机生存过程：超过 tracking error 阈值后不立即结束，而是以固定 Bernoulli probability 终止。这样 episode 在失败后仍有一个期望长度可控的恢复窗口，policy 可以在同一 tracking reward 下探索从 unstable / fallen states 回到 reference manifold 的动作。
这个设计引入的 inductive bias 很明确：失败不是 absorbing state，而是 transient recoverable state。它改变了 MDP 中训练轨迹的状态覆盖，使 value / policy 学到“偏离参考后的回归动态”。这和 prior 中靠 separate recovery controller 或多阶段 curriculum 的区别在于，Stubborn 没有显式定义 recovery task，而是通过 episode semantics 让 recovery 成为 tracking 的一部分。
第二个核心思想是，既然 PT 会削弱 termination 与 difficulty 的对应关系，就不能再用 episode 是否终止作为困难片段采样依据；需要直接用 tracking error 作为难度估计，动态提高高误差 motion segment 的采样概率。这本质上是 curriculum / hard example mining，而不是新的控制理论，但它与 PT 是配套的：PT 负责打开失败后状态分布，AdpS 负责不要让训练预算被简单片段稀释。
Method
1. Yaw-aligned tracking representation：它解决的是全局平移和 heading drift 被误当成 imitation error 的问题。对于强扰动后的 robot，如果继续追全局绝对 pose，policy 可能浪费控制努力去纠正不可恢复或不必要的全局 yaw / translation 偏差；yaw-aligned representation 保留 roll / pitch 和 gravity-relevant balance 信息，同时降低 heading drift 对 tracking reward 的污染。这个模块不是本文最原创的部分，但对 robust tracking 是必要的 representation alignment。
2. Bernoulli-based probabilistic termination：这是最关键机制。越过 root height 或 orientation 阈值后，episode 以小概率终止，而不是立即终止。它带来的核心变化是：失败状态进入训练分布，并且以有限期望 horizon 存在。这个 horizon 被解释为物理 recovery time，从而避免 episode 无限拖长或完全退化成 hard termination。
3. PT + tracking-error-driven sampling：PT 之后，termination event 不再可靠反映 motion segment 难度，因为终止受随机性和外部扰动影响。作者改用 segment-level average keypoint error 来更新 frame sampling weights：高误差片段增加采样，低误差完整完成片段降低采样，低误差但提前终止片段把权重向后段重分配。机制层面，这是为了把训练预算集中到难 tracking 和 recovery-relevant 区域。
4. Asymmetric actor-critic：critic 使用 privileged simulation information，actor 只用 proprioception。这是当前 sim-to-real humanoid RL 的常规配置，主要提升训练稳定性和部署可行性；文中没有证据表明它是 Stubborn 相对 prior 的决定性因素。
Key Insight / Why It Works
最可能真正有效的是 PT，而不是整个框架的所有组件。hard termination 的问题非常直接：它把最需要学习的 recovery transition 从 replay / rollout 中删除。PT 等价于对失败状态进行随机 censoring，而不是 deterministic censoring，使 on-policy distribution 包含了从 unstable state 回到 nominal state 的轨迹。只要 tracking reward 在失败后仍然可计算，并且机器人动力学允许在若干秒内恢复，policy gradient 就能获得恢复行为的学习信号。
从 RL 角度看，PT 还缓解了 value function 对 failure boundary 的过度不连续建模。hard termination 会把阈值边界附近的状态价值突然截断，policy 容易学到“不要进入边界”而不是“进入后如何回来”。soft termination 让边界外仍有非零 continuation value，因此 recovery action 有优化空间。这一点是本文最有迁移价值的 insight。
AdpS 更像 curriculum / hard example mining 的工程化补丁，但它是合理的。因为 long-horizon multi-motion tracking 中，uniform sampling 会严重低估少数高动态或接触困难片段；PT 又让 termination count 失真，所以直接用 tracking error 做难度信号是自然选择。其贡献主要是训练效率和稳定性，不太像能力上限的根本来源。实验中 AdpS 的提升幅度也较小，说明它可能是辅助而非核心。
Yaw-aligned representation 属于 representation alignment。它避免 policy 把 global drift 当成必须追踪的目标，从而减少扰动后过激纠偏。这对 robustness 有帮助，但不是新思想，更多是把已有 humanoid tracking 中有效的坐标系选择整合进统一框架。
整体上，Stubborn 不是 scaling 方法，也不是 retrieval / foundation model；它更接近“通过改变 termination 和 sampling 来重塑 on-policy state distribution”的训练机制创新。若有增益，主要来自 better state coverage + curriculum，而不是网络架构或复杂 reward。所谓 fall recovery 也不应理解为显式 planning；更像 policy 在大量失败后短时窗口中学到的 reactive recovery reflex。
Relation To Prior Work
最接近的谱系是 DeepMimic / BeyondMimic 风格的 motion imitation RL，加上近年来 humanoid robust tracking 中的 adaptive sampling、privileged learning、yaw-invariant representation。Stubborn 的新意不在 imitation reward，也不在 actor-critic，而在把 termination 机制作为 recovery learning 的关键建模对象。
相对 DeepMimic / BeyondMimic，Stubborn 的区别是：传统 tracker 通常通过 hard termination 保持训练稳定和 motion fidelity，但这会排除失败后状态；Stubborn 有意识地放松这个边界，让 tracking policy 看到 out-of-distribution recovery trajectories。BeyondMimic/GMT 类 adaptive sampling 已经有 hard segment mining 思想，Stubborn 的 AdpS 是在 PT 条件下对 difficulty estimator 的替换，而不是从零提出新 curriculum。
相对 HoST / HumanUP / fall-recovery 专用方法，Stubborn 的本质差异是不用 recovery-specific objective 或 separate policy。它把 recovery 看作 tracking objective 下的自然回归问题。这是实质创新，但也意味着 recovery 能力受参考 motion 和 tracking reward 的表达范围限制。
相对 Any2Track 这类 robust tracker / adapter 框架，Stubborn 更少依赖后处理或 adapter，而是训练时改变失败样本的可见性。它不是更强的 disturbance estimator，而是更愿意在训练中承认并利用失败。
看似新的部分中，yaw-aligned representation 和 asymmetric actor-critic 都是已有有效 recipe；adaptive sampling 也是已有思想的重组。真正新增的信息是：soft probabilistic termination 可以作为统一 tracking-recovery policy 的关键接口，并且其 probability 可按 physical recovery horizon 设定。
Dataset / Evaluation
实验覆盖 LAFAN1 的大规模 motion tracking，并在 Unitree G1 上做了真机展示，说明方法不是纯仿真玩具。评估也包含强外部扰动下的 recovery success，这与论文核心 claim 是对齐的。
不过 benchmark 是否完全支撑“unified robust motion tracking and fall recovery”仍有限。tracking 表格显示 Stubborn 相比 From-scratch RL 有明显提升，但和 HoloMotion、BFM-Zero、Any2Track 的比较存在潜在不公平：这些方法的训练数据规模、目标设定、是否 zero-shot / foundation model、是否针对同一 embodiment fine-tune 可能并不一致。文中没有充分说明这些 baselines 是否在完全相同数据、reward、retargeting 和 deployment assumptions 下比较。
PT ablation 是最有说服力的部分：去掉 PT 后强扰动 recovery success 明显下降，说明 soft termination 确实改善了 recovery-oriented exploration。但扰动设置较单一，主要是 5 m/s 外力，文中未充分说明不同方向、持续时间、接触配置、完全倒地姿态分布下的表现。
AdpS ablation 支持较弱：指标有改善，但幅度小。它证明了 adaptive sampling 有帮助，但不足以说明它是核心能力来源。
真机结果更多是 demonstration 而非 rigorous evaluation。缺少足够的真实世界统计、失败率、恢复时间分布、不同地面和随机扰动下的量化结果。因此它支持 deployability，但不足以完全验证 robust fall recovery 的边界。
Limitation
1. 依赖恢复状态仍可由 tracking reward 引导。PT 只是让 policy 看到失败后状态，但如果从某些 fallen pose 到参考轨迹需要长时规划、换姿态、利用手支撑或先站起再跟踪，单纯 tracking reward 可能非常稀疏或局部最优。文中未充分说明严重倒地情况下 reward 是否足够密集。
2. p_term 和阈值是强先验。作者用 4 秒 recovery time 设定 termination probability，这很合理但也很手工。不同机器人、控制频率、地面、动作类型、跌倒姿态可能需要不同 recovery horizon。固定 Bernoulli probability 没有区分“轻微失衡”和“完全趴地”两种状态。
3. recovery 更像 reactive reflex，不是长期规划。Stubborn 没有显式 memory、mode inference 或 contact-aware planning。所谓 fall recovery 可能是在训练分布覆盖的失败状态附近学到短时反应，而不是形成通用站起策略。
4. 数据覆盖仍是上限。若 motion dataset 不包含足够多可恢复姿态附近的 reference continuation，或者扰动导致状态远离训练中的 transition support，policy 可能无法泛化。核心能力可能主要来自数据覆盖 + 仿真中大量扰动采样，而不是方法本身带来真正 compositional generalization。
5. 增益归因不完全清晰。PT、yaw-aligned representation、reward、domain randomization、asymmetric critic、sampling、motion retargeting 都会影响结果。论文对 PT 的 ablation 较强，但对其他 recipe 的交互影响分析不足。
6. evaluation 有潜在偏差。tracking metrics 使用 root-relative body / joint errors，天然更适合 yaw-aligned drift-invariant methods；这不一定坏，但会弱化全局轨迹跟踪能力的评估。若任务需要精确 global navigation 或 teleoperation pose anchoring，Stubborn 的 representation 可能牺牲部分全局可控性。
7. 真机 robustness 边界不清。文中展示 G1 上的动态动作和恢复，但没有系统给出真实扰动幅度、失败案例、硬件安全策略介入情况。真实倒地恢复涉及冲击、关节限位、手臂接触和地面摩擦，仿真成功不必然等价于可安全反复部署。
Takeaway
- 1. 最值得迁移的 insight：不要把 failure boundary 设计成 absorbing termination；对需要 recovery 的 RL 任务，应让失败后状态以可控 horizon 继续存在，否则 policy 永远学不到回归动态。
- 2. Robustness 不一定需要单独 recovery reward。
- 只要 reward 在失败后仍有方向性，并且训练分布包含失败后窗口，recovery 可以作为 tracking 的副产物涌现出来。
- 这对 manipulation recovery、legged locomotion reset recovery、导航碰撞后恢复都有启发。
一句话总结
Stubborn 是一篇把 humanoid motion tracking 与 fall recovery 统一到同一 on-policy 训练分布中的方法论文，其核心贡献不是新控制器，而是用 probabilistic termination 和 error-driven curriculum 把原本被 hard termination 删除的失败后状态变成可学习的 recovery 数据。