精读笔记

Problem Setting

这篇论文真正要解决的是：在配备复杂传动机构（谐波减速器）的大型四足操作机器人上，仅通过task rewards（如“扔得越远越好”）直接训练高动态全身运动策略，并实现可靠的sim-to-real transfer。真正的难点不在于生成参考轨迹，而在于task rewards对仿真误差的极度敏感——当奖励是稀疏或目标导向时，策略会无情地利用actuator模型失配、接触模型误差等仿真漏洞（reward hacking）。以往工作要么退回到dense tracking rewards（牺牲最优性和全身协调性），要么只能在小型、透明驱动的机器人上做纯task reward优化。对于B2+Z1 Pro这种60kg级、手臂带谐波减速器且无力矩传感器的平台，这构成了一个硬性瓶颈：没有精确actuator模型，task rewards在sim-to-real中几乎必然崩溃。

Motivation

作者的核心观察是：domain randomization（DR）和在线系统辨识对谐波减速器的非线性摩擦、滞后、延迟等效应的覆盖能力接近极限，因为这些方法仍依赖对参数分布的先验假设；而Hwangbo等人提出的Actuator Net虽然直接学习actuator模型，却硬性依赖输出端力矩传感器——这在消费级/工业级硬件上通常不可用（Z1 Pro没有关节力矩传感，只能通过电流估算，但谐波减速器的非线性使电流-力矩映射完全不可靠）。因此，现有路线在“无力矩传感的大型谐波驱动手臂”这一现实约束下失效。另一方面，作者意识到，直接端到端训练athletic行为的探索挑战被低估了：预训练一个通用WBC可以提供可行解流形，而参考轨迹不应成为上线，只应作为冷启动的hint。

Core Idea

核心方法思想有两层。第一层是UAN（Unsupervised Actuator Net）：放弃“预测真实力矩”的监督学习思路，转而让RL直接学习一个加在仿真器上的残差力矩δτ，使得仿真器的前向动力学推演出的下一状态（关节位置/速度）与真实硬件的编码器读数一致。这本质上把actuator系统辨识重新建模为一个“状态转移对齐”问题，而非“力矩回归”问题。由于corrective torque没有ground truth标签，RL通过rollout试错自然地发现了能复现真实动力学的补偿信号，且训练过程中的长时程reward设计（匹配整条轨迹）天然抑制了误差累积发散。第二层是“参考轨迹即hint”的两阶段训练：预训练阶段让WBC在随机指令下建立通用的全身运动先验；微调阶段引入task-specific参考轨迹作为one-hot phase embedding和初始行为偏置，但奖励函数完全切换为task rewards，允许策略在物理可行范围内自由偏离参考轨迹。这打破了“tracking reward保transfer，task reward求性能”的零和困境，把参考轨迹从“上线的约束”降级为“探索的初始化”。

Method

关键机制精简如下。其一，UAN采用2层MLP，输入过去100ms的位置/速度误差历史，输出corrective torque修正Isaac Sim中的默认actuator模型。数据通过在真机施加square wave、sine wave和Gaussian noise激励采集。其二，仿真器对腿部保留传统DR（地形、质量、PD增益、latency等），但手臂完全交由UAN修正，不再对arm joint做DR，避免UAN与DR的冲突。其三，WBC预训练以随机base velocity和末端执行器位姿为指令，输出关节位置目标，建立全身协调的基础能力。其四，微调时从预训练权重冷启动，actor学习率压至极低（1e-5），entropy系数置零，输入包含任务phase的one-hot embedding，奖励完全替换为task-specific项。参考轨迹仅用于引导探索，不作为tracking目标。

Key Insight / Why It Works

UAN真正有效的底层原因是它绕开了谐波减速器中不可观测的“真实力矩”中间变量，直接对可观测的“状态转移”进行对齐。对于具有复杂传动的系统，力矩本身就是隐变量，而状态转移是显变量；用显变量监督残差模型避免了电流-力矩映射中的非线性信息损失。此外，用PPO训练UAN而不是用监督回归，核心优势在于奖励信号贯穿整个rollout，迫使网络学习稳定的长时程动力学修正——文中显示监督式的Actuator Net在5分钟长rollout上发散，而UAN保持紧致，这说明RL训练赋予了隐式的正则化（平滑性和稳定性）。在微调阶段，预训练WBC的作用本质上是提供了一个“全身运动流形”上的优质初始化，将高维动作空间的探索约束在物理合理区域内；参考轨迹则进一步将探索起点拉到任务邻域。但值得注意的是，最终投掷距离的提升主要来自task reward驱动下的全身协调发现（后腿蹬地与手臂甩动的时序配合），这验证了task rewards在仿真被UAN校准后确实能释放比tracking更优的物理极限。整个pipeline中最不可替代的是UAN；预训练+微调是合理的工程组合，但其增益在上限上仍受参考轨迹质量制约。

Relation To Prior Work

与Hwangbo et al.的Actuator Net关系最直接：前者用真实力矩标签做监督，UAN无标签、以状态转移误差为奖励。这是从监督到无监督的本质跳跃，也是本文能应用于消费级硬件的关键。与DR/ROA路线相比，UAN不是“用随机化包裹不确定性”，而是“用数据修正确定性模型”，在强非线性环节上后者效率显著更高。与Fu et al.等基于tracking reward的WBC工作相比，本文在微调阶段实质上放弃了tracking reward，允许策略偏离参考轨迹，这是从“模仿参考”到“优化任务”的转变。与Ji et al. (DribbleBot)等直接端到端task reward工作相比，本文的两阶段pipeline和UAN校准使得类似方法能扩展到更大、驱动更不透明的机器人。本质上，本文属于“Real-to-Sim校准 + Task-reward RL”谱系，核心增量在于无监督actuator残差学习及其在全身athletic任务上的系统验证。

Dataset / Evaluation

真机平台为Unitree B2 + 强化后的Unitree Z1 Pro arm（60kg级）。任务覆盖投掷（ball throw）、哑铃抓举（dumbbell snatch）和雪橇拖拽（sled pull），横跨爆发性、负重性和抗阻性三种athletic模式，具有一定的全身协调性验证广度。系统辨识评估同时使用了训练分布内轨迹（square/sine/Gaussian）和分布外轨迹（真机throw轨迹），UAN在两者上均取得最低MSE，这一设计有效support了UAN的泛化claim。任务评估上，消融实验在仿真中对比了No-Fine-Tuning、No-Pre-Training、No-E2E和Ours，表明task reward微调优于冻结WBC的高层级策略和纯跟踪。但真机实验只展示了Ours的结果，未在真机上部署基线方法（Default/DR/ROA的投掷策略在真机上不稳定而失败），因此真机层面的“相对增益”只能定性推断。此外，drag任务的真机表现（113N摩擦）与仿真上限（150kg虚拟质量）存在物理量纲和动力学差异，严格对应关系文中未充分说明。

Limitation

UAN的有效性隐含前提是：训练激励轨迹（square/sine/noise）能够覆盖athletic任务中手臂关节的可达状态空间。如果投掷或举重产生了训练时未激励到的极端速度/加速度区域，UAN可能外推失效——文中throw轨迹测试虽为unseen，但其动力学范围是否真正超出训练分布仍不明确。另外，UAN假设各arm actuator同质并共享网络，若关节存在制造差异或老化非对称，共享策略会引入系统误差。微调阶段对参考轨迹的依赖是另一硬前提：没有参考轨迹时该pipeline无法启动，且每个任务仍需手工设计phase-based reward和状态机逻辑（如throw-set-up/throw/settle），这并非全自动的task learning。仿真器层面，UAN只补actuator，未涉及结构柔性（文中真机不得不物理加固臂杆）和接触模型误差（球与桶的接触仿真失配导致真机投得比仿真更远）。最后，整个方法的data效率仍存疑：UAN需要先在真机运行大量开环激励（总计约5分钟Gaussian noise + 各50秒正弦/方波），对于昂贵或易损平台，数据采集成本不可忽视。

Takeaway

最值得迁移的insight是：对于含有复杂传动、无力矩传感的执行器，“状态转移对齐”比“力矩预测”更实用、更scalable；RL作为残差动力学模型的训练框架，其长时程稳定性优于开环监督回归。
此外，全身控制器预训练+task reward微调的范式证明了在sim-to-real中，参考轨迹可以安全地从“约束”降级为“hint”，这对所有需要突破tracking性能上限的机器人操作任务都有启发。
未来真正值得推进的方向包括：1）将UAN思想扩展到腿部和全身柔性环节；2）用生成模型或视频模仿自动生成参考轨迹，消除对人工参考的依赖；3）在仿真中显式引入结构完整性约束，避免真机强化。
本文的核心价值在于它给出了一个“先无监督校准actuator，再释放task reward”的可靠路径，推动了大体重机器人的athletic loco-manipulation从“仿真基准”走向“真机爆发”。

一句话总结

本文通过UAN实现了无力矩传感器下的无监督actuator残差校准，并以预训练WBC+task reward微调首次在大型谐波驱动四足操作机器人上验证了高动态athletic loco-manipulation的sim-to-real转移，核心贡献是将actuator系统辨识从“力矩监督”转向“状态转移对齐”的无监督RL框架。