精读笔记
Problem Setting
论文标题：Robust Fall Recovery for Armless Bipedal-Wheeled Robots Via Force-Guided Learning（arXiv preprint / 2026）。
这篇论文解决的不是一般 legged robot fall recovery，而是更窄也更难的 setting：无臂双足轮式机器人在摔倒后，仅依靠腿部和轮接触恢复站立，并且恢复后还能继续执行 locomotion command。这个形态的困难在于，机器人没有手臂撑地，没有四足那样的多接触冗余，也没有 humanoid 上身/手臂带来的额外动量调节通道；可用动作集中在下肢，跌倒后初始接触几何经常处在非常差的可控区域。
真正的问题不是 reward 里写一个 base height 或 orientation 就能解决的。长时程恢复过程里，策略早期必须从低高度、非稳定接触、接触切换频繁的区域探索出一条可行轨迹；但一旦 reward/constraint 过强，策略容易收敛到躺着不动、半立起后倒回去、或卡在某个 force curriculum 最终姿态的 dead point。关键矛盾是：没有外力引导时探索不可达或极低效；有外力引导时策略又可能学成外力依赖。论文试图处理的正是这个矛盾。
Motivation
已有路线对这个形态不够直接适用。model-based 或 motion-trajectory 方法依赖固定初始姿态和预设计轨迹，面对任意跌倒姿态和复杂地形很脆。humanoid/quadruped 的 RL recovery 虽然已经能从多姿态恢复，但它们通常有手臂、多足接触或更高 DOF 冗余，这些其实是在提供额外支撑和姿态调节能力。把这些方法直接迁移到无臂双足轮式机器人，会暴露出 reward-only RL 的局部最优问题。
作者最重要的观察是：force curriculum 作为“扶一把再逐渐放手”的训练技巧，在这里不够可靠，因为它的衰减通常是时间或训练进度驱动的，而不是由策略是否真的学会减少外力依赖来决定。因此缺的不是更多 reward term，而是一个把辅助力依赖显式纳入优化目标的机制。换句话说，外力不应该只是 curriculum scaffold，而应该成为被优化压低的 constraint signal。
Core Idea
FTSR 的核心思想是把仿真外部辅助力重新建模为 constrained RL 中的优化对象。辅助力/力矩根据当前 CoM 高度与目标高度的差异生成：机器人越低、姿态偏差越大，辅助越强；当高度接近目标或训练进入后期，辅助减弱。但与普通 force curriculum 不同，论文不只是预设一个衰减 schedule，而是把 force 和 torque 放进 constraint cost，通过 penalty/CPO-style objective 让策略在获得 recovery reward 的同时主动降低外力依赖。
这个设计引入的 inductive bias 很明确：恢复轨迹应沿着“提升高度、纠正姿态、减少外力”的方向搜索。它本质上给 RL 加了一个物理引导场，把难探索的 stand-up manifold 变得更可达，同时用约束避免策略把这个引导场当成永久动力源。与 prior 的本质差异不在于也用了辅助力，而在于辅助力从外部 schedule 变成了优化目标的一部分；信息流从“训练者按时间拿走拐杖”变成“策略被奖励/约束去少用拐杖”。
Method
方法上真正必要的机制有三块。
第一是 force-guided constrained optimization。辅助力和力矩由高度误差、姿态误差和时间系数共同决定，作用是在训练早期把系统推离不可学习的低高度 dead region。关键不是公式本身，而是 force/torque 被当作 constraint cost，并在 PPO 目标中以 penalty 形式进入 mixed advantage。它解决的是 reward-only RL 在长时程接触任务中缺乏有效梯度和容易早熟的问题。
第二是 height-progressive stage-wise rewards。论文没有用单一站立/行走 reward，而是按群体中超过高度阈值的 agent 比例切换阶段：先让上身立起，再让腿部回到稳定站姿，最后进入行走。这个设计解决的是恢复过程中的目标错配：如果一开始就用最终 locomotion reward，策略可能还没建立稳定姿态就被要求速度跟踪；如果只优化站立，又可能恢复后不具备运动能力。阶段切换基于 batch height statistics，而非固定时间，给训练增加了状态相关 curriculum。
第三是 teacher-student 表示蒸馏。teacher 使用接触力、base height、全身状态等 privileged information；student 从历史 proprioception 中拟合 teacher latent，用于真实部署。这部分解决 sim 训练信息丰富但 real robot 观测受限的问题。它的作用更像 representation alignment 和 partial observability compensation，而不是恢复策略的核心来源。
预训练 walking policy、domain randomization、多地形并行训练也是方法能落地的重要条件，但这些更偏 engineering/scaling，不应被混同为核心算法贡献。
Key Insight / Why It Works
最核心的有效原因是：论文把 fall recovery 中最难的探索问题转化成了一个被物理先验强约束的轨迹搜索问题。无臂双足轮式机器人从地面恢复时，早期动作空间里大量动作不会产生可见进展，甚至直接导致终止。height-correlated force 提供了一个人工势场，使策略更容易经历“可站起来”的状态序列；而 force penalty 又迫使策略把这些状态序列内化为自身动作，而不是停留在被扶起来的解。
这不是纯粹 scaling，也不是 test-time reasoning；更像 better inductive bias + curriculum + representation alignment 的组合。最可能的核心贡献是 force-as-constraint 这个建模，而不是 teacher-student 或 reward term。teacher-student 在很多 legged locomotion 工作里已是成熟套路，主要提升 partial observability 下的部署稳定性；stage-wise reward 也是已有思想，但在这个任务中很关键，因为没有它，force-guided 可能只学到“被抬高”，而不是形成可持续站立和行走姿态。
消融里比较有意思的一点是：w/o Force Guid. 仍能在一些 terrain 上达到很高成功率，但 smoothness/foot travel 更差。这说明 force-guided 的作用可能不是简单决定能不能成功，而是加速收敛、避免糟糕姿态、降低接触调整代价，并提高对 dead point 的鲁棒性。相反，force curriculum 直接失败，支持作者关于 schedule-based assistance 不可靠的判断。
不过增益归因仍不完全干净。作者使用 walking pretraining、4000 并行环境、较强 domain randomization、privileged teacher、复杂 reward shaping，这些都可能显著贡献成功率。文中未充分说明 force-guided 在不同数据覆盖、不同初始化、不同 penalty 系数下的稳定性边界。因此我会把这篇的贡献判断为“把辅助力变成可优化约束的有效工程化 RL recipe”，而不是一个已经理论上闭合的 constrained recovery framework。
Relation To Prior Work
最接近的谱系是 HoST/FRASA/learning-to-get-up 这类 staged RL fall recovery，以及 RMA/CTS 风格的 teacher-student locomotion。与 humanoid standing-up work 相比，这篇的任务形态更苛刻：无臂、双足轮式、低支撑冗余，因此同样的 reward shaping 更容易失败。与 quadruped recovery 相比，它少了多腿协调接触带来的天然冗余。
与 HoST 的关键差异在 force 的角色。HoST 使用 force curriculum：外力是训练过程中逐渐撤掉的辅助变量。FTSR 则声称把外力和力矩作为 constraint cost 优化，使策略显式减少外力依赖。这个差异是实质性的，因为它改变了外力从“训练进度函数”到“策略优化压力”的地位。
但很多看似新的部分其实是已有思想重组：stage-wise reward shaping、teacher-student privileged learning、PPO penalty、domain randomization、多地形训练都不是新东西。真正新增的信息在于：对于无臂双足轮式恢复，把 height-conditioned assistance 与 constraint penalty 结合，确实能缓解 reward-only 和 force curriculum 在 dead point 上的失败。这是一个面向具体 morphology 的 inductive bias，而不是通用 RL 算法突破。
Dataset / Evaluation
评估覆盖了仿真和真机。仿真中有 flat、slope、step、uneven、rough 等地形，初始姿态包括 front/back/side/dead-point 类别，并做了 domain randomization；真机在自研 JiaRan 上做了室内外草地、坡、台阶/碎石等场景，还展示了被踢倒后恢复并继续运动。这些实验基本支持论文最重要的 claim：该框架不仅能在仿真站起来，也能 sim-to-real 到无臂双足轮式机器人，并且恢复后保留 locomotion 能力。
消融设计覆盖了主要模块：去 stage-wise reward、换 force curriculum、去 force-guided、调大 force penalty、去 teacher-student、换 RMA teacher。这比只给成功视频强很多，尤其 force curriculum 失败和 w/o SWR 失败，直接支撑作者关于 dead point 和阶段目标必要性的论点。
但 evaluation 也有明显上限。真实世界统计规模很小，15/15 更像 demonstration-level validation，不足以说明大范围鲁棒性。地形和初始姿态虽然多样，但仍是作者可控分布；没有看到系统化的随机摔倒分布、极端摩擦、软地面、障碍物干扰、传感器噪声、执行器退化或连续多次跌倒测试。humanoid generalization 主要是仿真展示，不能等同于跨平台真实泛化。
Limitation
这个方法成立依赖几个强前提。第一，仿真中必须能构造有意义的辅助力场，并且 height/orientation 能足够刻画恢复进展；如果恢复需要绕障碍、复杂接触重规划或非单调高度变化，height-correlated force 可能会变成错误引导。第二，策略学习依赖大量覆盖的初始姿态和地形分布；所谓泛化很可能主要来自 data coverage + domain randomization，而不是策略具备显式推理能力。
第三，force constraint 的优化形式并不是真正严格的 CPO。论文引入 CMDP/CPO 叙述，但实际用 penalty method + PPO 优化，constraint satisfaction 的保证较弱。β、d_i、force function、target height、stage threshold 都是敏感设计，文中未充分说明如何选择以及跨机器人是否稳定。所谓 hard constraint 表述偏强，实际更像 shaped penalty。
第四，teacher-student 和 privileged observation 可能隐藏了相当多监督信号。student 从历史观测拟合 teacher latent，如果真实部署中的接触/姿态分布偏离训练，latent alignment 可能失效。论文没有充分讨论 OOD 初始姿态或真实传感器误差下 student 是否仍能恢复。
第五，generalization 到 23-DOF humanoid 的证据有限。它说明 recipe 可迁移，但不说明算法形态无关；humanoid 本身有更丰富接触和 DOF，可能比无臂双足轮式更容易找到恢复动作。这里的泛化 claim 应谨慎看待。
最后，这篇没有解决长期接触规划问题。策略表现出来像“知道怎么从多个姿态恢复”，但更可能是通过大规模仿真覆盖和 reward/force shaping 学到的 reactive retrieval-like controller，而不是形成可解释的恢复计划。
Takeaway
- 1. 对长时程接触恢复任务，辅助信号不应只是 curriculum schedule；把辅助依赖本身作为优化对象，往往比简单逐步撤力更稳。
- 2. 对欠驱动/低冗余形态，reward-only RL 的主要瓶颈是 early trajectory feasibility，而不是最终 reward 写得不够好。
- 一个合适的物理引导场可以显著改变可学习性。
- 3. Stage-wise reward 的价值不在“分阶段”这个形式，而在避免恢复、稳定、行走三个目标在错误时间互相冲突。
一句话总结
这篇论文在无臂双足轮式机器人 fall recovery 中把“外力辅助”从训练脚手架改造成可优化约束，是一类以物理引导场和阶段化 reward 提升 guided RL 可学性的实用方法演化。