精读笔记

Problem Setting

这篇论文解决的不是一般 continual learning，而是更现实的 continual imitation learning 约束：预训练 WAM 已经学过一批任务，之后顺序适配新任务时，旧任务 demonstration 不可保存、不可访问，只剩旧任务 language instruction。真正困难在于旧任务的状态分布和动作标签都消失了，而 BC fine-tuning 又会把模型表示快速拉向当前任务分布。以前最有效的 experience replay 在这里被剥夺；正则化和参数隔离保留的是参数或子空间，不保留旧任务的状态-动作覆盖，因此在机器人 manipulation 上很容易只保留“能力痕迹”而非可执行行为。核心矛盾是：机器人 continual IL 需要旧经验监督，但 foundation robot policy 的数据现实正在让旧经验不可用。

Motivation

作者的动机很清楚：如果 replay 是防遗忘最可靠的机制，而真实 replay 又不可用，那么唯一可扩展的方向是让模型自己生成 replay。普通 VLA 没有这个接口，因为它通常只从 observation-language 到 action；WAM 的特殊性在于它联合建模 action、future observation 和 progress，因此可以被当作一个带动作的世界生成器。关键观察是：WAM 参数中可能已经隐式存储了旧任务的视觉动态和动作模式，continual learning 时不一定需要外部 buffer，而可以把这些隐式知识显式采样出来。缺口在于此前 robotics generative replay 多依赖单独生成模型或旧数据训练生成器，ReGen 尝试把 policy 本身变成 replay generator。

Core Idea

ReGen 的核心思想是把 WAM 的生成能力从“辅助预测未来”改造成“旧任务记忆回放”。给定旧任务 instruction 和一个可行动的视觉 seed，WAM 生成动作 chunk 与未来观测；未来观测再作为下一步输入，递归展开成一条 pseudo-demonstration；这些 pseudo-trajectories 与新任务真实 demonstrations 一起训练，近似恢复旧任务 BC 目标。

直觉上它可能有效，是因为 catastrophic forgetting 在 BC 中主要来自新任务数据独占梯度，导致旧任务条件下的 action manifold 漂移。pseudo-replay 即使不完美，也能持续给旧 instruction 下的旧动作表示施加约束，使参数更新不至于完全被新任务吸走。它和 prior 的本质区别不是“用了 replay”，而是 replay 的来源从外部记忆变成模型内部的 action-conditioned world imagination；引入的 inductive bias 是：旧技能可以通过语言条件 + 世界生成递归从 WAM 参数中重建。这个 bias 比保存 buffer 更 scalable，但上限完全受生成器自身 fidelity 限制。

Method

方法机制可以压缩为三步。第一，初始化时用当前任务 demonstration 的真实观测作为 seed，解决无旧任务初始状态的问题；这是必要的，否则旧任务 rollout 没有物理场景锚点。但这也说明方法不是从纯 language hallucinate 旧经验，而是依赖当前场景提供可复用的物体/布局支撑。

第二，WAM 递归生成 pseudo-trajectory：每一步预测动作 chunk、未来 observation 和 reward/progress，再把预测 observation 喂回去。这样做解决的是单步动作标签不足以形成 replay distribution 的问题；它把 WAM 的短 horizon joint prediction 变成了长 horizon rehearsal 数据。核心变化是 replay supervision 从真实轨迹采样变成 model rollout sampling。

第三，用 reward/progress head 提前终止，避免 rollout 进入长 horizon 模糊和语义漂移区域。这个设计不是核心创新，但很关键，因为生成 replay 的噪声会直接变成 BC label noise。最后的训练只是把当前真实数据和 pseudo-replay 混合做 BC；这部分没有新意，真正的新意在 pseudo-replay 的构造。

Key Insight / Why It Works

最重要的 insight 是：对 WAM 来说，future visual generation 不是额外任务，而可以作为 continual learning 的 memory interface。它有效的原因不是模型真的“理解过去”，而是旧任务的 action-observation manifold 被预训练/旧阶段训练压进了参数；ReGen 通过条件采样把这部分 manifold 重新暴露成监督数据。换句话说，这更像 memory reuse + representation anchoring，而不是 reasoning 或 planning。

核心贡献最可能是递归生成 replay 这个信息流重组：旧任务 instruction 激活旧技能，current observation 提供场景 anchor，自生成 observation 维持 rollout，pseudo-action 约束 action head。它减少遗忘的机制主要是防止 action latent drift，而不是提升新任务学习。论文中的 representation drift 分析支持这一点。

哪些部分可能只是辅助：reward-based termination 是质量过滤；replay 数量是 data augmentation；chunk horizon、训练细节、LoRA/Seq-FT 对比都不是核心。哪些部分可能来自 scaling/data：Cosmos-Policy/Cosmos-Predict2-2B 本身已经有强视频生成与机器人数据先验，ReGen 的有效性很可能高度依赖这个 foundation model 的覆盖范围。若底座没有足够旧任务和相近场景记忆，pseudo-replay 会退化成自信但错误的 label generator。

需要直接指出的是，文中的 imagined success 与 grounded success 差距很大，说明 WAM 会生成看起来成功的未来画面，但动作并不一定能导致那个画面。这意味着所谓“world action model”里的 world 与 action coupling 还不够强；ReGen 当前更像利用视觉生成做 replay regularization，而不是可靠的 model-based simulator。

Relation To Prior Work

它最接近三条线：experience replay for continual IL、deep generative replay、world model / WAM for robot control。与 experience replay 的差异是 replay 数据来源：ER 存真实旧数据，ReGen 从当前 WAM 采样旧任务 pseudo-data，因此省掉 buffer 但牺牲 fidelity。与传统 generative replay 的差异是它不另训生成器，也不需要旧数据训练生成器；生成器就是 policy 自身。与 Dreamer 式 world model 的差异是它不在 imagined latent 中做 RL/planning，而是把 imagined trajectory 转成 BC replay。

看似新的部分其实是已有 generative replay 思想在 WAM 上的重组：用生成模型合成旧样本防遗忘并不新。实质创新在于发现 WAM 的 joint action-observation prediction 恰好提供了 robotics replay 所需的两类标签：状态和动作；因此 replay 不再只是图像/latent 样本，而是可训练 policy 的 pseudo-demonstration。它属于“foundation model as memory/generator for continual adaptation”的谱系，而不是传统参数正则化或架构扩展路线。

Dataset / Evaluation

评估覆盖了 LIBERO 三类 manipulation suite 和一个小规模 xArm7 真机序列，足以说明该机制不是纯仿真 artifact，但还不足以证明开放世界 continual robot learning。LIBERO 的任务共享大量物体、场景结构和 manipulation primitives，正适合检验“模型能否从相近场景中生成旧任务 replay”；但这也可能高估 ReGen 在低 overlap 任务流上的表现。LIBERO-Spatial 需要旧任务对象配置初始化，基本暴露了场景覆盖依赖。

实验最能支持的 claim 是：在有强 WAM 底座、任务分布相关、旧任务 instruction 可用、当前/旧场景有重叠时，pseudo-replay 能显著减轻遗忘。它没有充分验证的 claim 是：无需旧数据即可一般性保持过去技能。RAR 和 ER 仍显著更强，说明如果能拿到真实环境或真实 replay，生成 replay 仍不是替代品。真机实验有价值，但任务数量少、结构相近、评估 trial 少，更像 feasibility demo 而非 robustness proof。

Limitation

最根本限制是 ReGen 不创造旧任务信息，它只从 WAM 参数中抽取旧任务信息。因此它的上限由底座模型的记忆、覆盖和生成一致性决定。若旧任务没有被 WAM 充分编码，或者当前环境缺少旧任务对象，pseudo-replay 会变成 hallucination，而 BC 会把 hallucination 固化成错误策略。

第二个限制是自回归视觉退化。长 horizon rollout 中模糊、artifact 和语义漂移会累积，且 continual stages 越多越严重。这不是表面画质问题，而是监督分布逐渐偏离真实状态分布，最终 replay 从 anti-forgetting 信号变成 label noise。

第三个限制是 action-observation inconsistency。论文自己显示 imagined success 高于 grounded success，说明模型可以想象成功结果，却给不出导致该结果的动作。这直接挑战 WAM 作为 replay generator 的可信度：pseudo-state 和 pseudo-action 未必来自同一个物理可执行轨迹。

第四，增益归因不完全清楚。ReGen 的效果可能部分来自强大视频模型的 data coverage、任务 overlap、当前观测 seed 的隐式场景提示，以及 replay 对训练的 regularization，而不一定来自真正的可泛化世界建模。所谓“continual without demonstrations”也不是完全无旧信息：旧任务 instruction、模型参数中的旧数据记忆、以及相似当前场景都在提供隐式 supervision。

Takeaway

• 1. 最值得记住的是：WAM 的 future observation head 可以被重新解释为 continual learning 的 memory interface，而不只是辅助预测目标。
• 这为 robot foundation model 的 lifelong adaptation 提供了一条比存 buffer 更符合数据现实的路线。
• 2. ReGen 推动的不是新的 BC objective，而是 replay 来源的迁移：从 external demonstrations 到 self-generated pseudo-demonstrations。
• 这个 insight 可以迁移到其他 embodied / multimodal continual learning：只要模型能生成 condition-consistent input-output trajectories，就可以把生成能力转成 rehearsal。

一句话总结

这篇论文把 WAM 从动作策略推进为可生成旧经验的内生 replay 机制，实质贡献是将 continual imitation learning 的记忆来源从外部 demonstration buffer 转移到模型自身的 action-conditioned world imagination，但其上限仍由生成 fidelity、场景覆盖和动作-观测一致性决定。