精读笔记

Problem Setting

这篇论文解决的是 WAM 在 continual imitation learning 中的无旧数据抗遗忘问题。关键不是“机器人连续学习”本身，而是 replay 这个最强 baseline 与现实约束冲突：旧任务 demonstrations 往往不能保存、不能共享、不能重新访问，但没有旧数据又很难约束新任务 fine-tuning 后的旧技能分布。

真正困难点在于，模仿学习的遗忘不是单纯参数漂移问题，而是训练目标里旧任务状态-动作分布完全消失。正则化和参数隔离只能间接保护能力，无法提供旧任务 conditional behavior 的监督；而真实 ER 虽有效，却违反本文设定。这个任务的关键矛盾是：需要旧分布样本来保持旧技能，但系统只剩旧任务语言描述和当前任务数据。

Motivation

已有路线不够的根本原因是它们把 memory 当成外部资源：存 demonstrations、存 exemplar、存 task-specific parameters，或者训练额外生成器。这在小模型、小数据或公开 benchmark 上可行，但在 foundation robot policy 场景中很脆弱，因为预训练数据常常是私有的，部署方可能只拿到模型而拿不到原始 trajectories。

作者的核心观察是 WAM 天然比 VLA 多一个接口：它不仅输出动作，还能预测未来观测。因此 WAM 本身可以被看作一个 task-conditioned simulator / trajectory generator。缺口在于，现有 continual robot learning 没有系统性利用这个接口做 replay；它们仍把 WAM 当普通策略来 fine-tune，而不是把它内部的生成分布作为可复用记忆。

Core Idea

ReGen 的真正核心是：用 WAM 自己生成旧任务 pseudo-demonstrations，再把这些 pseudo-demonstrations 与新任务真实 demonstrations 混合训练。它不是试图防止参数变化，而是试图在每次更新时重新注入旧任务的行为分布，使训练目标重新包含旧任务条件下的 state-action pairs。

直觉上这可能有效，因为 WAM 的旧技能并不只存在于 policy head，而存在于 joint action-observation generative model 中。语言指令选择旧任务模式，初始视觉观测提供场景 grounding，递归预测把单步 world-action prediction 展开成轨迹。相比 ER，它牺牲真实数据保真度换取无需存储；相比正则化，它提供显式行为监督；相比普通 VLA，它利用了未来观测生成这一额外结构。

Method

方法机制可以压缩为一个闭环生成 replay 过程。首先，用当前任务 demonstration 中的真实观测作为 seed，这是为了给 WAM 一个可感知的物理场景入口；否则旧任务 instruction 本身不足以确定可执行状态。然后，用旧任务 instruction 条件化 WAM，让模型预测动作 chunk 和未来观测。之后，把预测出的未来观测作为下一步输入递归展开，形成旧任务 pseudo-trajectory。

终止机制依赖 WAM 的 reward / progress head：当模型连续认为任务接近完成时停止 rollout。这一步的核心作用不是提高任务理解，而是截断低质量长 horizon generation，避免后半段模糊观测和错误动作继续进入 replay buffer。最终训练仍是普通 BC，只是数据集变成当前真实数据加旧任务伪数据。换言之，ReGen 的方法复杂度主要在数据生成侧，而不是学习目标侧。

Key Insight / Why It Works

ReGen 有效的最可能原因是 memory reuse，而不是新优化算法。WAM 在预训练和旧任务训练中已经把一部分旧任务 dynamics 编进了生成模型；ReGen 通过 instruction-conditioned rollout 把这些 latent memories 显式采样出来，再用 BC 防止 fine-tuning 把它们覆盖掉。它更像 self-rehearsal：模型给自己出旧题，并用自己的答案维持参数空间。

核心贡献是把生成 replay 与 WAM 的 joint action-observation modeling 绑定起来。单纯 action-only VLA 很难做这件事，因为没有状态递推接口；额外训练 generative replay model 又需要旧数据和系统复杂度。WAM 的优势在于 action 与 future observation 共享生成过程，使 replay 至少在形式上接近 demonstration trajectory，而不是孤立动作标签。

但需要直说：这篇的增益很大一部分可能来自 scaling / data coverage。Cosmos-Policy 的预训练规模、LIBERO 任务相似性、当前观测 seed 与旧任务场景的重叠，都可能让 pseudo-replay 更像 retrieval than reasoning。所谓“imagine past”并不等价于可靠 world simulation；论文自己的分析已经显示 imagined success 和 grounded success 有巨大 gap。也就是说，ReGen 的 replay 信号有效，但它未证明 WAM 形成了稳定的长期因果状态模型。

辅助机制包括 replay 数量和 reward-based termination。它们会影响稳定性，但不是本质创新。真正值得迁移的 insight 是：如果一个 foundation policy 同时具备生成状态和生成动作的能力，那么 continual learning 可以通过生成式自我回放实现，而不一定依赖真实旧数据存储。

Relation To Prior Work

这篇最接近三条线：experience replay in continual imitation learning、deep generative replay、world-model / WAM-based robot control。它和 ER 的本质差异是 replay source：ER 复用真实旧数据，ReGen 复用模型内部生成分布。它和传统 generative replay 的差异是生成器不是额外训练的模型，而是同一个 WAM；这减少了系统组件，也把 replay 质量直接绑定到策略的 world-action consistency。

看似新的部分——生成旧样本防遗忘——其实是 generative replay 的老思想；真正新增的信息是把这个思想放进 WAM 语境后，旧任务 replay 可以通过 language-conditioned recurrent future prediction 得到，不需要保存旧 trajectories。它也不同于 VLA continual learning 中的 adapter / LoRA / regularization，因为那些方法主要在参数空间做约束，而 ReGen 在数据空间恢复旧任务监督。

技术谱系上，它属于 rehearsal-based continual learning 的无真实数据分支，而不是正则化方法。实质创新不是理论上的 continual learning 新范式，而是利用 WAM 的生成接口把 rehearsal 从 external memory 转成 internal generative memory。

Dataset / Evaluation

评估覆盖了 LIBERO 的 Object、Goal、Spatial 以及一个小规模真机 xArm7 设置，说明方法至少跨模拟与真实机器人有初步有效性。LIBERO 的三类 suite 能测试对象、目标和空间变化，但整体仍是短程桌面 manipulation，任务之间共享大量视觉和动作结构；这对 ReGen 有利，因为当前观测 seed 更可能适配旧任务 replay。

实验基本支持核心 claim：无旧数据时，ReGen 明显缓解遗忘，并优于 sequential fine-tuning、EWC、PackNet、LoRA 等非 replay 或弱 replay 方法。但它没有证明生成 replay 可替代真实 replay；ER 和 simulator rollout replay 仍是更强参照。RAR 的强表现尤其重要：一旦 replay 轨迹由真实 simulator 渲染而不是 WAM 生成，性能接近 ER，这说明主要瓶颈不是 replay 框架，而是 WAM 生成质量。

真机实验有价值，但规模偏小，且任务结构高度相似：carrot / eggplant、bowl / plate 的 pick-and-place 组合。它验证了 feasibility，不足以证明开放场景 continual robot learning。evaluation 的另一个限制是：当前任务观测被用来初始化旧任务生成，这在实际部署中是否总能满足旧任务对象和布局条件并不清楚；Spatial suite 的特殊处理已经暴露这个假设。

Limitation

最大的隐含前提是旧任务可以通过语言指令从 WAM 中被可靠召回。若模型没有在旧任务上形成稳定生成分布，ReGen 只会生成自信但错误的 replay。第二个前提是当前场景能支持旧任务想象：对象、容器、空间关系必须存在或可由模型合理补全；否则伪轨迹没有物理意义。

可扩展性上限来自 recurrent generation 的误差累积。长 horizon 视觉退化会导致状态分布漂移，随后动作预测基于错误状态继续漂移，最终 replay 变成噪声监督。论文观察到 PSNR 随 stage 下降，这意味着多阶段 continual learning 可能出现 generation collapse 或 self-distillation of errors。

更严重的是 action-observation inconsistency：WAM 可以生成看起来完成任务的未来帧，但动作执行并不能导致该状态。这说明其 world model 可能更像 conditional video prior，而不是严格 action-grounded dynamics model。若 replay 中的 observation-action pair 不物理一致，BC 会学习到错误配对，长期会污染策略。

增益归因也不完全清晰。可能主要来自大规模预训练的 task retrieval、LIBERO 任务分布 overlap、当前观测 seed 提供的 hidden scene supervision，而不一定来自真正的 compositional lifelong learning。文中未充分说明在更大任务序列、更少 overlap、更长 horizon、更复杂接触动力学下是否仍有效。

Takeaway

• 第一，WAM 的 future observation generation 不只是辅助预测头，它可以变成 continual learning 的 memory interface；这是本文最值得记住的点。
• 第二，生成式 replay 是否能替代真实 replay，关键不在 continual objective，而在 action-grounded generation fidelity。
• 未来真正要做的是让 WAM 生成的视觉未来与动作因果一致，而不是只提升图像 PSNR。
• 第三，ReGen 提供了一条可迁移思路：对于任何同时建模状态转移和决策的 foundation agent，都可以尝试用自身生成分布做 rehearsal，把旧数据存储压力转移到模型内部记忆。

一句话总结

这篇论文把 WAM 的生成未来能力重新解释为一种无旧数据 replay memory，实质贡献是将 continual imitation learning 从外部经验回放推进到模型自举的生成式回放，但其上限仍由 WAM 的动作-观测一致性和长时生成保真度决定。