精读笔记
Problem Setting
这篇论文不是在解决“人形机器人能不能边走边伸手”这个表层问题，而是在问：当 locomotion 和 manipulation 被放进同一个 RL policy 中训练时，critic 的结构是否会决定两个目标之间的 credit assignment 质量。
真正困难点在于这两个目标的学习动态不对称。locomotion reward 通常更密集、更稳定、更早可学；reaching reward 更稀疏、更依赖探索，并且 arm 动作可能扰动身体稳定。统一 critic 被要求用一个 value function 解释两类 reward 的混合回报，这实际上把 objective trade-off 隐式交给函数逼近器和 reward scale。以前很多 whole-body RL / unified controller 工作默认接受这种混合价值估计，没有单独验证它是不是训练瓶颈。
因此本文的关键矛盾是：我们希望一个 humanoid policy 同时形成协调行为，但不希望 value learning 阶段把一个目标的优势信号变成另一个目标的抑制项。
Motivation
已有路线主要把问题归因到 reward design、curriculum difficulty 或 whole-body action representation；作者的动机是把注意力转向 critic architecture 这个更底层但经常被忽略的设计选择。
核心观察很有价值：统一 critic 训练出来的 policy 并非失败，它也会 reach，也能推进 curriculum，也能积累大量 reach count；但它到达慢、吞吐低、timeout 多。这说明常规训练指标不足以暴露 objective interference。换句话说，问题不是 policy 没学到 manipulation，而是学到了一个被 locomotion value landscape 约束后的保守 manipulation。
所以本文缺的不是更复杂 reward，而是一个更明确的结构性假设：不同目标的价值估计应该先被隔离，再由 shared embodiment 在动作执行层面耦合。
Core Idea
核心思想很简单但重要：不要让 locomotion 和 manipulation 共享一个统一 critic 去估计 combined value，而是为两个目标维护分离 critic，并让各自 critic 接收 disjoint reward signal。这样 actor 更新中的 advantage 不再来自一个混合标量，而是来自目标专属价值函数。
这改变的是建模方式：从“一个全局任务价值函数解释所有行为”变成“多个目标价值函数分别塑形局部行为”。它引入的 inductive bias 是 objective factorization。对于 humanoid loco-manipulation，这个 bias 很合理，因为腿部控制和手臂 reaching 虽然动力学耦合，但 reward 语义和探索难度明显不同。
和 prior 的本质区别不是又加了一个分支 actor，而是把 value estimation 的信息流切开。很多 unified whole-body controller 追求动作空间统一和行为协调；本文反而指出，在学习信号层面过早统一会造成干扰。协调可以发生在环境动力学和 rollout 分布中，但 critic 不必共享同一个 scalar objective。
Method
方法里值得保留的机制只有几件事。
第一，dual actor-critic：locomotion branch 和 arm branch 分别有 actor/critic，critic 对应不同 reward。它解决的是混合 reward 下 advantage 污染的问题。核心变化是 arm policy 不再需要通过包含 locomotion bias 的 value function 来判断自己的动作是否有利。
第二，frozen-branch transfer：在后续阶段冻结 locomotion 或复用 locomotion branch，避免 arm 学习破坏已经稳定的步态。这不是创新性的算法贡献，但在多目标 humanoid RL 中是合理的工程约束，因为 locomotion 是基础能力，一旦被 joint training 扰动会放大训练不稳定。
第三，sequential curriculum：从站立 reaching 到 walking reaching，再到 orientation-constrained reaching。它主要负责形成可学习分布，避免一开始探索空间过大。这里 curriculum 更像必要训练 scaffold，而不是本文主要结论的来源。
第四，anti-gaming reward mechanisms：包括 validated reach、displacement、timeout 等。它的作用更像对照实验：如果加 reward 防作弊不能超过 dual critic baseline，说明瓶颈不是 reward hacking，而是 critic-level objective interference。
Key Insight / Why It Works
最关键 insight 是：multi-objective humanoid RL 中，critic 不是被动估计器，而是决定不同目标梯度如何竞争的结构性瓶颈。统一 critic 看似信息更多，但实际上要求一个函数同时拟合 locomotion stability、velocity tracking、arm reaching progress 等不同时间尺度和 reward geometry 的回报。早期训练中 locomotion 信号更容易优化，它会占据 value representation，导致 arm action 的 advantage 更容易被解释为风险或扰动，最后表现为 arm action magnitude 被压低。
dual critic 有效的原因更像 better inductive bias，而不是 scaling。它没有依赖更大模型、更多数据或更复杂 reward，而是改变了 credit assignment 的分解方式。对于这种目标之间弱语义耦合、强动力学耦合的任务，先分解学习信号、再通过身体动力学自然耦合，可能比端到端统一价值估计更稳定。
论文中最可能的核心贡献是“critic 分解会显著影响 reaching efficiency，并且常规训练指标看不出来”。相比之下，anti-gaming 机制基本是辅助，甚至实验显示没有带来额外收益。curriculum 也是背景条件，不足以解释 S6u 和 S6s 的效率差。
但需要直说：目前归因并不完全干净。S6u 和 S6s 不只改了 critic，还改了 arm action dimensionality。5-DoF action space 可能天然更容易学习、更少冗余、更不容易产生低效探索。因此文中“critic architecture 是主要解释”的说法是 plausible，但不是被严格证明。当前证据支持“统一 critic 有问题”，但还没有完全排除“动作空间简化带来大部分增益”。
Relation To Prior Work
这篇论文最接近 humanoid whole-body RL、loco-manipulation controller、multi-objective RL critic decomposition 这几条线。和 HOVER、ULC、deep whole-body control 等工作的区别在于，它不试图展示更通用的技能库或更强的 controller，而是把一个很具体的 architecture choice 单独拿出来比较。
从技术谱系看，它不是提出全新 RL 算法，更像把 multi-critic / objective decomposition 的老思想移植到单智能体 humanoid loco-manipulation，并指出这个 choice 在人形机器人上不是细节而是主导因素。实质创新在于 controlled comparison 和 evaluation framing，而不是网络结构本身。
和 reward hacking 相关工作的关系也比较明确：传统分析容易把异常行为归因于 reward misspecification；本文显示即使 reward 没明显坏掉，统一 critic 也会诱发效率层面的目标压制。这是一个更细粒度的 failure mode。
对 IL+RL fine-tuning 的讨论是有启发但还偏 speculative。它把 locomotion/manipulation 干扰类比为 RL fine-tuning 中新 reward 覆盖 IL skill 的问题。这个类比合理，但文中没有真正做 IL+RL 实验，因此目前只是一个值得迁移的假设，而不是已验证结论。
Dataset / Evaluation
评估在 NVIDIA Isaac Lab 的 Unitree G1 仿真上完成，任务覆盖从静态 reaching 到 walking reaching，再到固定/变化 orientation target。任务族有一定 curriculum 宽度，但仍然是单机器人、单仿真环境、单类 reaching manipulation，不是广义 mobile manipulation benchmark。
标准化 evaluation 的设计比训练指标更可信，因为它固定 target sampling、validated reach 条件、timeout，并报告 time-to-reach 和 throughput。这确实更直接支持作者关于 efficiency gap 的 claim。论文最强的证据不是成功率差异，而是 latency 和 throughput 差异，因为这能暴露“会 reach 但动作保守”的 failure mode。
明显 limitation 是没有真机、没有多 seed、没有跨任务泛化，也没有完整 ablation 分离 critic architecture 与 action dimension。benchmark 可以支持“在这个设置下 dual critic 明显更高效”，但不足以支持“critic architecture 普遍比 reward engineering 更重要”这种更广泛结论。
Limitation
第一，因果归因不干净。S6u 是 12-dim arm action，S6s 是 5-dim arm residual action；这可能显著影响探索难度、动作幅度统计和控制稳定性。文中说 5-DoF 是 12-DoF 子集，因此 critic 更可能是解释变量，这个论证不充分。子空间更小本身就是强 inductive bias。
第二，single-seed 让结论的统计强度很弱。humanoid PPO 对 seed、reward scale、initialization 和 curriculum timing 都敏感；没有多 seed 很难判断 3.5× speedup 的稳定性。
第三，dual critic 的前提是目标可以被合理分解，且 reward 信号语义较清晰。如果任务需要高度耦合的全身操作，例如推重物、攀爬、双臂搬运、动态接触操作，过度分解 critic 可能反而阻碍学习共同策略，因为 arm 的动作价值必须通过 base dynamics 才能体现。
第四，所谓对 IL+RL 的启示尚未验证。文中没有 imitation-pretrained policy，也没有 catastrophic forgetting 实验。这个部分目前是机制类比，不是实证贡献。
第五，仿真-only 和 simplified arm control 限制了结论外推。固定 wrist/hand、5-DoF 单臂 reaching 距离真实 manipulation 还很远；到 dexterous manipulation 或 contact-rich tasks 时，reward decomposition 和 critic isolation 是否仍成立文中未充分说明。
Takeaway
- 1. 多目标 humanoid RL 里，critic architecture 应该被视为主要设计轴，而不是 PPO 实现细节；统一 critic 可能在训练曲线上看起来正常，却在执行效率上显著失败。
- 2. 对弱语义耦合、强动力学耦合的任务，一个可迁移原则是：学习信号先分解，执行身体再耦合。
- 不要过早用单一 value function 强行压缩所有目标。
- 3. reward engineering 不能替代正确的 credit assignment 结构。
一句话总结
这篇论文把 humanoid loco-manipulation 中常被忽略的 critic 分解提升为核心变量，提供了一个有说服力但尚未完全消除混杂因素的证据：多目标 RL 的效率瓶颈可能首先来自 value-level objective interference，而不是 reward shaping 或 controller 容量。