精读笔记
Problem Setting
这篇论文解决的不是一般 continual RL/IL 的“旧任务别忘”，而是在更苛刻的机器人部署约束下维持一个单一共享控制器的技能 repertoire。旧任务的环境、reward、demo trajectory、loss 都可能不可用；同时部署端不能用 task-specific heads、routing、adapter 或 experts。换句话说，不能通过“多模型/多头/路由”把干扰问题藏起来。
真正难点在于共享 policy 的参数空间同时承担两个目标：新技能要能快速写入，旧技能之间已经形成的可复用结构不能被破坏。作者指出平均 success 或 backward transfer 不足以描述这个矛盾，因为一个策略可能每个技能单独看都有一点成功率，但相关技能对之间的共同可靠性已经崩掉。这就是文中所谓 skill-coupling collapse。
以前方法卡住的地方在于它们通常优化 per-task retention：正则化保护参数、replay 复用旧样本、distillation 保输出、gradient projection 限制冲突。但这些方法要么需要旧数据/旧 loss，要么在线 acquisition 时就强行兼顾旧任务，要么通过模块化绕过共享 policy 的约束。本文的关键矛盾是：旧技能不可访问，但又必须继续参与共享参数的重整合。
Motivation
作者的核心观察是：机器人连续学习中真正有用的不是“旧技能还剩一点成功率”，而是旧技能是否还能在同一个控制器中保持互相兼容。对于共享运动控制，技能之间的耦合结构本身就是资产；如果 reach、open、press 等局部能力不能稳定共存，那么 repertoire 实际不可用。
已有路线缺的是一种旧技能的可微代理：在没有旧轨迹、没有旧 reward、没有旧 task loss 的情况下，旧技能仍能产生梯度，参与后续 policy 的 consolidation。多任务优化方法如 PCGrad/Nash-MTL 假设所有任务 loss 同时存在；continual setting 中这个假设不成立。replay 方法可以恢复旧任务信号，但违反“无旧轨迹/transition”的约束。模块化方法能避免干扰，但部署时不再是一个纯共享 policy。
因此作者想到 wake-sleep：wake 专注写入当前技能，sleep 用冻结的 compact memory 离线重平衡共享 policy。这个方向的动机不是生物类比，而是把“在线学习新技能”和“离线协调旧新技能”解耦，避免 acquisition 阶段同时承担过多目标。
Core Idea
论文真正的核心是把旧技能从“不可访问的数据/环境”转换成“可微的冻结 surrogate”。RL 中旧技能由 frozen critic 在旧 state buffer 上评估当前 actor；IL 中旧技能由 frozen actor snapshot 在旧 observation buffer 上提供蒸馏目标。这样旧技能不需要完整 trajectory、action、reward 或 transition，也能在 sleep 阶段对当前共享 policy 产生梯度。
第二个关键是 consolidation 的目标不是简单地 replay 或蒸馏所有旧技能，而是将每个 skill memory 产生的梯度视作一个 bargaining participant。Nash-style gradient combination 引入的 inductive bias 是“不要让某个技能的梯度尺度或局部曲率支配共享更新”，而是找一个对所有 memory 都有非负/较均衡 agreement 的方向。这比 mean gradient 更适合 skill-coupling collapse，因为后者本质上是共享参数兼容性问题，而不是单个任务 loss 最小化问题。
和 prior 的本质区别在于信息流被重新组织了：旧技能不在 wake 阶段持续约束新技能学习，而是在 wake 之后统一参与离线重整合；旧任务信息不以 trajectory replay 形式进入，而以 frozen local surrogate 形式进入；部署端没有增加 task routing。这个设计更 scalable 的地方在于它和 substrate 相对解耦：critic memory 可用于 RL，actor memory 可用于 IL。但它的上限也明显受 surrogate fidelity 和 buffer coverage 限制。
Method
方法层面最必要的机制只有三类。
第一，compact frozen skill memory。它解决的是旧任务 loss 不可用的问题。RL memory 用 frozen critic + unordered states，把旧技能压缩成“在这些旧状态上，当前动作是否仍被旧 critic 认为有价值”；IL memory 用 frozen actor + unordered observations，把旧技能压缩成“在这些旧观测上，当前策略是否保留旧动作输出”。核心变化是旧技能从数据回放对象变成可微约束对象。
第二，Nash-bargained sleep gradient。它解决的是多 memory consolidation 中的梯度支配问题。各技能 surrogate 的梯度尺度、噪声和可靠性不同，简单求和会偏向高幅度 memory；归一化后用 Nash objective 选择 convex weights，相当于把 consolidation 定义为多技能之间的协商，而不是经验风险最小化。这是最像实质贡献的部分。
第三，稳定化约束。adaptive anchoring 用 previous sleep checkpoint 给 sleep update 加保守拉力，避免 frozen surrogate 把 policy 推到离谱区域；local excitability 用活动稳态调节 feedforward RL actor，缓解 wake/sleep 激活分布变化。前者是合理的 trust-region-ish 工程保护，后者更像稳定训练的辅助 trick。它们重要，但不是论文的核心建模创新。
Key Insight / Why It Works
这篇方法有效的最可能原因不是“睡眠”本身，而是它给旧技能保留了低成本、可微、可反向传播的接口。continual learning 的难点常常不是完全没有旧信息，而是旧信息无法以和新 policy 参数对齐的形式参与优化。frozen critic / actor memory 恰好提供了这种对齐：它们在当前参数上直接产生梯度，而不是只提供静态约束或 episodic samples。
最核心的贡献应是“surrogate memory + offline Nash coordination”的组合。memory 单独存在并不新，distillation/replay/critic regularization 都有类似影子；Nash-MTL 本身也不是新方法。但把不可访问旧任务替换成 sleep-time surrogate gradients，再用 Nash bargaining 做共享 policy 的离线重整合，是本文真正新增的信息流组织方式。
它本质上是在做 memory reuse 和 representation alignment，而不是 planning、reasoning 或长期状态建模。PRS 的提升来自共享参数在旧 state/observation 支持集上的重新对齐；所谓 skill coupling 更像是局部行为 manifold 的一致性恢复。对 RL 来说，critic memory 让当前 actor 朝旧 critic 高值动作移动，这可能恢复旧技能，也可能利用 critic 外推；作者用 late-wake states、normalizer snapshot、gradient clipping/normalization、early stopping、anchor 来限制风险，但没有从根本上解决 critic hallucination。
哪些可能只是 engineering：adaptive anchoring、excitability、早停、normalizer snapshot、梯度范数监控大概率是必要的稳定化工程。特别是 local excitability 的 ablation 显示它改变 AFSR/SPI/PRS 的 trade-off，但机制归因并不干净。SurgicAI 中 wake-time multi-anchor distillation 和 sleep-time distillation 的边界也会混淆贡献；SR Wake-Only 作为 ablation 有帮助，但还不足以完全说明增益来自 Nash 而不是更强的多锚蒸馏和 observation buffer 覆盖。
如果要直说：这篇的能力上限由 stored buffer 覆盖和 frozen surrogate 质量决定。它不是让 policy 获得更抽象的技能组合能力，而是在旧技能局部分布上周期性把共享 policy 拉回一个多技能折中点。这个机制对短技能流、相近状态空间、共享低层控制结构的任务很合理；对强分布转移、长 horizon 组合、需要新旧技能重新规划的场景，claim 还没有被验证。
Relation To Prior Work
最接近的谱系有三条：continual learning 的 distillation/replay，multi-task gradient surgery/Nash-MTL，以及 offline consolidation/progress-compress 类方法。
相对 replay，本文的差异是不用旧 actions/rewards/transitions/trajectories，而是存 state/observation buffer 加 frozen functional approximator。严格说这不是“无记忆”，而是把 trajectory memory 换成 surrogate memory；优势是更轻、更可微，代价是依赖 surrogate extrapolation。
相对 LwF/DER/actor distillation，本文的新意不是蒸馏，而是 sleep 阶段把多个旧技能 memory 同时变成 bargaining gradients，并且 RL 侧用 critic 而不是 actor output 作为行为代理。IL 侧其实更接近多锚 output distillation，只是放到 wake + sleep 两个阶段并用 Nash 加权。
相对 PCGrad/Nash-MTL，本文的实质差异是 sequential access：原方法要求多任务 loss 同时可用，本文用 frozen memories 伪造旧任务梯度。这个转换很关键，因为它把 multi-task optimization 移植到了 continual robot learning 的信息约束下。
相对 modular lifelong robot learning，本文坚持单一 deployed policy，没有 routing/head/module selection。这一点是问题设定上的硬差异，也让结果更能说明共享参数 consolidation 的价值。但如果实际系统允许模块化，本文方法未必比专家库更优；它解决的是特定约束下的共享控制器维护问题。
Dataset / Evaluation
评估覆盖了两个 substrate：Meta-World 上的 state-based SAC 连续 RL，以及 SurgicAI 上的 vision-conditioned ACT imitation。这个设计比只做一个 manipulation benchmark 更有说服力，因为同一 sleep consolidation principle 被套到了 critic memory 和 actor memory 两种形式上。
但任务规模仍然小：主实验是两个五技能流，附加一个 MT8 和 reverse order。没有真实机器人长期部署，没有跨机器人形态，没有开放世界新增任务。SurgicAI 是仿真手术环境，且每个 subtask 只有固定 workflow 顺序，不能证明复杂长期任务组合。
PRS 是有价值的评价补充，因为它确实能暴露平均成功率掩盖的 pairwise collapse；但它也有明显主观性：pair set 是预注册的，但哪些 pair 代表“skill coupling”仍由人为定义。PRS 用 min(success_i, success_j) 也只是 pairwise worst-retention proxy，并没有直接测试多步技能组合或真实协同执行。因此它支持“平均成功率不足”这个 claim，但不足以完全证明 policy 保留了深层共享技能结构。
实验结果最强的是 MT5：AFSR、PRS、SPI 都明显好于非 oracle baseline。SurgicAI 结果更复杂：Sleeping Robots 在 AFSR/BWT 上最好，但 PRS 不是最好，SPI 也不是最好。这说明方法对 retention 很有效，对 pairwise reliability 的普适优势还没有完全坐实。
Limitation
第一，frozen memory 是局部代理，不是旧技能本身。RL critic 在旧状态、新动作上评估当前 policy，本质存在 out-of-distribution action extrapolation。只要 sleep 把 actor 推离 wake-time action support，critic value 就可能是幻觉。文中有 diagnostics 和 anchor，但没有 uncertainty-aware critic 或 conservative objective，理论保证很弱。
第二，buffer coverage 决定恢复能力。unordered states/observations 虽然不是 trajectory replay，但仍然是旧分布样本。如果 buffer 没覆盖关键决策点、失败恢复状态或长 horizon transitions，sleep 只能恢复局部输入输出关系，不能恢复完整技能动态。核心能力可能主要来自数据覆盖，而不是从 memory 中学到可泛化技能结构。
第三，scaling 上限不清晰。每个技能一个 frozen critic/actor snapshot，sleep 时所有 memory 都要产生梯度并参与 bargaining。技能数增长后，计算、内存、梯度冲突和 surrogate 过时都会恶化。MT8 只能说明短程扩展，不足以支持 lifelong claim。
第四，增益归因仍有不清楚处。MT5 ablation 支持 Nash sleep，但 excitability、anchor、sleep budget、critic validation 等工程保护共同作用，哪些是必要条件文中未充分说明。SurgicAI 中 wake-time distillation 已经使用旧 actor memories，sleep 的独立贡献虽有 SR Wake-Only 对比，但和 buffer selection、multi-anchor distillation、ACT 本身的 representation reuse 纠缠。
第五，方法可能只是把 continual learning 的难点从“旧任务访问”转移到“旧 surrogate 是否可信”。这在受控 benchmark 上可行，但在真实机器人中，传感漂移、动力学变化、目标变化、partial observability 都会让 frozen memories 快速过时。
Takeaway
- 1. 这篇最值得记住的是问题重定义：连续机器人学习不能只看 isolated task retention，必须评估共享 policy 内相关技能的共同可靠性。
- skill-coupling collapse 这个 framing 比方法本身更可能被迁移。
- 2. 一个有用的设计模式是：把旧任务压缩成可微 surrogate memory，然后在离线阶段做多目标协调。
- 这个模式可以迁移到 VLA、robot foundation policy fine-tuning、具身多技能库压缩等场景。
一句话总结
Sleeping Robots 是一类“用冻结可微技能记忆替代旧任务访问，并在离线阶段用多目标梯度协商重整合单一共享 policy”的 continual robot learning 方法，真正贡献在于把共享技能可靠性从 per-task retention 中单独拎出来并给出一个可操作的 consolidation 机制。