精读笔记

Problem Setting

本文实际解决的是轮腿机器人在双轮模式下端到端学习联合运动与操作（开门、包裹搬运）的策略学习问题，且要求最小化任务特定的奖励工程。真正困难在于这类任务具有高维连续状态、丰富接触和长期稀疏奖励。以前方法卡在手密集奖励调参（易引入偏差、限制行为多样性）或任务分解（牺牲全身协同）上。关键矛盾是：如何在保留端到端协同潜力的同时，避免手工奖励设计。

Motivation

密集奖励需要大量调参且过早锁定次优轨迹；分解控制无法利用身体不同部位间的协同；课程/示范仍需大量手工构造。作者观察到：若底层 locomotion（双轮站立）已解决，任务学习可退化为稀疏奖励发现问题。此时好奇心可替代密集奖励，但原始 RND 在高维观察空间直接应用会失效（探索发散、收敛极慢）。关键缺口是：如何将好奇心聚焦到任务相关的低维状态上，同时保持部署简单。

Core Idea

提出“好奇心状态（curiosity state）”作为 RND 与机器人控制之间的关键适配层。不将 RND 应用于原始高维观察，而是将其限制在人工选定的低维任务相关状态子集上（如门铰链角度、包裹速度）。这改变了探索的数学对象：从“观察空间的新颖性”转向“任务动力学空间的新颖性”。通过允许 curiosity state 包含模拟特权信息，训练时获得对任务核心动态的强引导，而部署时策略仍只使用标准感知。本质上是用人的任务先验对探索空间进行低维投影，使 RND 在连续控制领域变得实用。

Method

1. 纯稀疏奖励（任务完成 +1），消除密集奖励的轨迹偏置。2. 好奇心状态映射 ϕ：将完整状态映射到选定的低维物理量，使 RND 的预测误差集中在任务相关动态上。这是解决原始 RND 在机器人高维空间失效的核心机制。3. 训练-部署解耦：RND 仅在训练时使用特权状态，策略网络不依赖它们，简化真实部署。4. FOV 模拟：在模拟中显式处理相机视野遮挡，迫使策略主动管理目标可见性，提升 sim-to-real 可靠性。5. 极轻量的塑形奖励仅用于站立和平滑，不引导任务路径。

Key Insight / Why It Works

方法有效的最核心原因是好奇心状态提供了强结构化的低维探索目标，而非原始 RND 在高维空间中的无差别探索。这本质上是一种针对机器人任务的强归纳偏置。其次，内在奖励随预测器训练自然衰减，起到了隐式课程/退火作用，使策略从探索逐步过渡到优化稀疏奖励。但必须指出：成功的关键前提可能是机器人已具备双轮站立这一强运动先验（来自 [10]），该先验极大压缩了探索空间。若无此前提，稀疏奖励下的探索难度将大幅上升。因此，本文更像是“在强先验支撑下对 RND 的工程化实用验证”，而非纯粹通过好奇心解决从零开始的探索。不同 seed 涌现多样化开门姿态的事实，验证了稀疏奖励确实避免了密集奖励的行为偏差。

Relation To Prior Work

与 RND [Burda et al., 2019] 是直接的适配关系：继承了预测误差即内在奖励的框架，但核心修改是引入 curiosity state，将 RND 从 Atari/离散空间适配到连续机器人控制。与 loco-manipulation 领域的主流工作（如分层控制、MPC+RL 混合、分解式 loco-manipulation）不同，本文坚持端到端 RL，强调全身协同。与 Huang et al. [42] 的好奇心驱动操作相比，本文首次在真实轮腿机器人上验证了复杂接触任务的端到端稀疏奖励学习。本质差异不在算法创新，而在提出了 RND 在真实机器人上的实用化方案（curiosity state + 特权信息解耦），并验证了其在强运动先验下的可行性。

Dataset / Evaluation

覆盖推门、拉门、包裹搬运三个任务，展示了一定的任务级泛化，但均属于同一机器人类型的接触+移动物体任务。有真实世界真机实验（推门连续 15 次、包裹 5 次），但统计样本量较小。模拟中进行了初始位置、门把手高度、物体位置的 OOD 扰动测试，范围有限。Evaluation 基本支持了“稀疏奖励+好奇心可减少任务特定工程”的核心 claim，但未在真实世界验证跨环境（不同建筑、不同门、非实验室条件）泛化，也未与同等工程量的密集奖励方法在真实世界进行严格对比。

Limitation

方法高度依赖底层 locomotion 先验（双轮站立已解决），实际探索空间被人为压缩；若从头训练，可行性不明。Curiosity state 仍需针对每个任务手工挑选状态量，并非完全自动化。真实世界评估处于受控实验室环境，连续成功次数的统计说服力有限，未展示复杂非结构化泛化。RND 内在奖励理论上不会归零，可能持续干扰；归一化操作虽改善收敛但破坏了状态访问计数的理论基础。此外，站立与平滑塑形奖励依然存在，所谓“无任务特定工程”是相对的。

Takeaway

1. 在机器人领域应用内在动机时，不要对整个观察空间做 novelty estimation，而应聚焦于人工定义的低维任务状态——这是将 RND 类方法实用化的关键 insight，可迁移到其他机器人学习任务。
2. 稀疏奖励+好奇心的端到端学习在真实机器人上是可行的，但其成功高度依赖底层技能的强先验；未来更 scalable 的路径可能是将好奇心与预训练技能库/运动先验（如 AMP）结合。
3. 未来真正值得做的方向是：如何自动学习或元学习 curiosity state 的选择，以及如何在没有强 locomotion 先验的平台上验证该方法。

一句话总结

本文通过 curiosity state 机制将 RND 聚焦于任务相关的低维特权状态，在强双轮站立先验的支撑下验证了真实轮腿机器人可在稀疏奖励端到端学习复杂 loco-manipulation，本质是对内在动机在机器人控制领域的一次成功工程实用化，而非算法层面的突破。