精读笔记
Problem Setting
论文标题：HEFT: Heavy-Payload Full-size Humanoid Teleoperation with Privileged Motion Guidance and Windowed Payload Curriculum（arXiv preprint / 2026）。这篇论文实际处理的是 full-size humanoid 在真实负载下的 whole-body teleoperation，而不是普通 imitation tracking。关键矛盾是：部署端只能用低延迟 raw VR sparse reference，但 full-size robot 对 reference artifact 极敏感；同时 payload 不是一个均匀扰动，而是随 motion segment 改变可行域。以前路线卡在两个地方：teleop tracker 多数默认参考足够可跟，payload-aware controller 多数围绕特定任务或规定力场，二者没有在 raw-reference-conditioned setting 下统一。真正难点是 raw VR error、retargeting error、large inertia、contact stability、external wrench 同时耦合；在小机器人或无载场景里这些问题可以被隐藏，但在 175cm/65kg humanoid 上会直接变成摔倒和 drift。
Motivation
已有路线不够的原因不是缺一个更大的 policy，而是训练信号和部署信号之间的错配没有被正确建模。在线 motion reconstruction 理论上能清理 VR artifact，但会引入延迟，破坏遥操作最重要的人机反馈闭环；完全信 raw VR 又会让 controller 学到 tracker drift 和 body-frame bias。作者的核心观察是：clean reconstructed motion 不应该作为在线 command，而应该作为训练期 privileged target。
payload 侧的缺口类似。全局 force curriculum 假设“更重就是更难”，但在 reference tracking 里难度取决于动作窗口：同样 20kg，站立支撑可能可行，转身、深蹲、快速上肢运动可能不可行。作者因此把 payload curriculum 从 global schedule 改成 motion-window feasibility schedule。这个动机是合理的，也是论文最有价值的建模转向之一。
Core Idea
HEFT 的本质是把两个不可部署但有用的信号都留在训练期：clean reconstructed motion 用来纠正 raw VR，expert-labeled payload cap 用来约束重载采样。部署 policy 不依赖这些信号，但训练过程利用它们塑造 latent 和 reward landscape。换句话说，它不是让机器人在线“看得更准”，而是让机器人在训练中学会 raw reference 到 physical-intent reference 的隐式投影。
与 prior 的本质区别在于信息流：prior 往往把 human sensing/reconstruction 当成前端，把 tracker 当成后端；HEFT 则把 reconstruction 变成 privileged supervision，把 payload feasibility 变成 curriculum prior。这样做的 inductive bias 是：operator intent 和 tracker artifact 可以通过 paired raw-clean 数据分离；payload robustness 应沿着 motion manifold 的局部可行性增长。这个 bias 比 generic noise injection 和 uniform force curriculum 更贴近实际问题，因此更可能扩展到多动作遥操作。
Method
PMG：解决 raw VR reference 不可信但必须部署的问题。actor 始终看 raw stream，reward/critic/privileged latent 看 clean stream。核心变化是训练目标从“跟踪输入”改成“从输入恢复可行意图”。这比给 mocap 加高斯噪声更强，因为 VR artifact 是结构性的，包括 drift、latency、body-frame bias 和 end-effector offset。
WPC：解决 payload difficulty 非均匀的问题。先用 clean-reference expert 对每个 motion window 搜索可行 payload cap，再在 cap 内按训练进度采样 wrist loads。核心变化是避免把不可行动作窗口也强行暴露给高载荷训练，减少 policy 在 tracking 和 robustness 之间的冲突。
Teacher-student/RMA：解决 privileged signal 不能部署的问题。teacher latent 含 clean reference、payload、contact、domain randomization 等，student adapter 从可见历史和 raw reference 预测 latent。这里的新意不在 RMA 本身，而在 privileged latent 承载的是“参考清理 + 负载扰动”的联合上下文。
payload force model：用两腕向下外力近似双手负载。这个选择让训练问题可控，也使 WPC 可规模化标注；但它把 object interaction 的很多难点外包掉了，尤其 grasp、geometry、sliding、bracing 和环境接触。
Key Insight / Why It Works
最核心的有效性来源大概率是 representation alignment，而不是 policy architecture。PMG 把 raw VR 与 clean physical motion 对齐，使 policy 学到一个隐式 denoising/intent extraction mapping。因为 reward 不奖励追随 raw drift，策略会把一部分 raw command 当作噪声处理；因为 actor 仍然看 raw，部署时不需要在线 reconstruction。这解决了 teleop 中最麻烦的 latency-accuracy tradeoff。
WPC 的有效性来自 curriculum 对 feasible set 的裁剪。它不是让策略神奇地学会更强力学控制，而是避免把高负载施加到明显不可行的 motion windows 上，减少训练分布中的矛盾样本。这个机制会显著提升高 payload success，尤其在 reference library 很杂时。严格说，这更像 expert-guided data filtering / curriculum shaping，而不是新的 payload reasoning。
最可能的核心贡献是 PMG + WPC 这两个 training-time privileged supervision 的组合：一个处理 reference corruption，一个处理 payload feasibility。RMA、PPO、大 MLP、motion window observation、domain randomization 都更像常规工程支撑。
需要直接指出的是，部分增益可能主要来自 scaling / data：训练库包含上百小时 mocap、数小时 paired VR、大规模并行 PPO 和 5e9 frames。PMG 相比 mocap-only/noise baseline 的提升，可能来自真实 VR artifact coverage，而不只是“privileged guidance”这个形式。WPC 相比 TWIST2+FC 的提升，也可能来自 baseline curriculum 不适合 full-size payload tracking，而不完全是 window cap 的普适优势。
不存在真正的 planning 或长期 reasoning。policy 依赖 reference window、proprio history 和 latent adaptation，更多是局部动力学补偿与动作先验复用。硬件任务看起来多样，但很多成功来自 human teleoperator 提供高层时序、路径和接触策略；机器人 policy 主要负责把这些参考稳定地落地。
Relation To Prior Work
HEFT 属于 physics-based humanoid motion tracking / whole-body teleoperation / privileged RL adaptation 这条谱系，离 TWIST/OmniH2O/HumanPlus/SONIC 更近，而不是传统 task-specific loco-manipulation。它借用了已有思想：asymmetric actor-critic、RMA latent、motion imitation reward、offline human motion reconstruction、force curriculum。这些都不是单独的新机制。
真正不同的是组合方式和问题设定。相对 sparse-to-full-body reconstruction 工作，HEFT 不把 reconstruction 放到在线感知链路，而是作为训练期 teacher signal。相对 SONIC/Unitracker 这类扩大 motion tracking 覆盖面的工作，HEFT 关注的是 raw deployable VR artifact 与 full-size payload 的耦合。相对 FALCON/HALO/重物 loco-manipulation，HEFT 不学习特定 carry skill 或 explicit force adaptation，而是在 reference-conditioned tracking 下学习对负载扰动的鲁棒性。
看似新的部分中，teacher-student distillation 和 privileged observation 是已有范式重组；实质创新在于两个 supervision 的定义：paired raw-clean VR reference 和 window-level payload feasibility cap。这两个信号把原本在线难处理的问题变成离线可标注、训练可蒸馏的问题。
Dataset / Evaluation
evaluation 覆盖了三类 claim：noisy VR tracking、random clean motion tracking、高动态 motion 下的无载稳定性，以及不同 payload 下的成功率。G1 + L7 仿真对 PMG 有一定说服力，L7 真机 24kg 负载也确实比多数 humanoid teleop paper 更接近 human-scale utility。
但 benchmark 对 claim 的支持仍有限。VR held-out 只有 8 条 trajectory，主要看 long-horizon root error，这能验证 drift 抑制，但不足以说明对广泛 VR artifact 的泛化。WPC 的 payload evaluation 主要在仿真中按 wrist force 测，真实物体演示多样但缺少系统统计、失败案例和 operator variability。真机任务展示“同一 policy 可用”，但没有严格隔离 human operator compensation、object geometry、grasp strategy 和 policy robustness 的贡献。
因此，这篇的实验强在系统落地和工程可信度，弱在泛化边界和因果归因。它验证了 HEFT 在作者平台、作者数据、作者 teleop pipeline 下有效；是否能自然迁移到不同 humanoid、不同 tracker layout、不同 object interaction 仍未充分证明。
Limitation
最大限制是问题被转移到了离线数据准备：需要 paired raw/reconstructed VR、clean retargeting、expert rollout labeling、window cap search。迁移新平台或新动作库时，这些都要重做。所谓 deployable policy 很干净，但训练 pipeline 很重。
第二个限制是 payload model 过于简化。两腕外力能覆盖“手上有重物”的一阶动力学扰动，但不能覆盖抓握失败、物体摆动、接触摩擦、碰撞、双手相对约束、环境支撑等关键因素。因此它展示的是 heavy-payload tracking robustness，不是完整 heavy-object manipulation。
第三，泛化可能强依赖 motion/data coverage。策略不具备显式 feasibility reasoning，也没有在线估计 object dynamics 的明确机制；adapter latent 可能只是从历史中识别扰动风格并采取保守补偿。遇到训练库外的动作-负载组合，WPC cap 不再提供保护。
第四，增益归因不完全清楚。PMG 的收益可能来自真实 paired VR 数据覆盖；WPC 的收益可能来自剔除不可行高载窗口；大规模训练和 full-size hardware tuning 也可能贡献很大。文中未充分说明各因素的独立贡献，尤其是 reconstruction quality、VR pair 数量、expert cap resolution、operator feedback 对真机成功的影响。
Takeaway
- 1. 对低延迟遥操作来说，clean reconstruction 更适合作为 training-time supervision，而不是 online front-end；这是可迁移的 insight。
- 2. 重载能力不应按全局 payload schedule 学，而应按 motion-conditioned feasibility 学；这一点可迁移到其他 reference-conditioned robustness 问题，如接触、地形、工具使用。
- 3. 这篇真正推动的是 full-size humanoid teleop 的系统边界：把 raw VR、general tracking、heavy payload 放到同一部署 policy 里，而不是为每个 task 写 controller。
- 4. 未来更值得做的是把 WPC 从 expert-label curriculum 推到可在线估计的 feasibility/load-aware latent，并把 wrist-force approximation 扩展到真实 object dynamics 和 grasp/contact modeling。
一句话总结
HEFT 是一篇把 full-size humanoid teleoperation 从“干净参考下的动作跟踪”推进到“raw VR + heavy payload 下的训练期特权监督和局部可行性 curriculum”的系统型论文，真正贡献在信息流重组织和 payload feasibility 建模，而不是新控制器架构。