ICLR 2024 / 强化学习/世界模型

Online Continual Learning for Interactive Instruction Following Agents

作者：Byeonghwi Kim , Minhyuk Seo, Jonghyun Choi · 单位：Yonsei University, Seoul National University · 会议/期刊：ICLR 2024 · 分类：强化学习/世界模型 · 发布日期：2024

智能体交互式学习

精读笔记

Problem Setting

Online Continual Learning for Interactive Instruction Following Agents（ICLR 2024）处理的是一个比标准 CL 更麻烦、但又比真实机器人简单不少的设置：ALFRED 式 embodied instruction following agent 在训练后持续接收新的行为类型或新的房间环境类型，必须边学边保留过去能力。

关键矛盾是：agent 的输入输出并非单帧分类，而是语言、视觉、动作、物体交互组成的长链条；任何 action/object prediction 的遗忘都会在闭环 rollout 中被放大成任务失败。因此，传统 classification CL 中“平均准确率下降一点”的问题，在这里会转化为完整任务失败。

以前方法卡在两点。第一，embodied AI 大多假设训练数据一次性可得，continual deployment 不在核心建模假设里。第二，online CL 方法虽可迁移过来，但要么只 replay hard labels，要么 distill 早期 logits，要么需要 task boundary。对交互式 agent 来说，task boundary 不是自然可得信号；而 early logits 很可能是未充分学习的 policy prior，反复蒸馏会固化错误。

Motivation

作者真正的观察是：online memory 中保存的 logits 不是天然可靠的知识，它们带有模型当时学习阶段的偏差。DER++ 这类方法默认 stored logits 是可蒸馏的 past knowledge，但在 online setting 中，样本第一次进入 memory 时模型可能还很弱，尤其新 behavior/environment 刚出现时更明显。

所以缺的不是更大的 replay buffer，也不是更复杂的 agent backbone，而是一个能随训练进展修正 memory soft targets 的机制。同时，这个机制不能依赖 task id 或 boundary，否则就违背了 task-free online deployment 的设定。

CAMA 的出发点非常工程化但合理：如果当前模型对某个 ground-truth class 的 confidence 已经高于随机水平，并且最近一段时间稳定较高，那么它生成的新 logits 可能比 memory 中旧 logits 更接近当前表征下的可用知识；反之，就不应贸然覆盖旧 logits。

Core Idea

核心思想是把 episodic memory 从“样本缓存”提升为“可自我更新的 soft-label memory”。memory 里的 logit 不再是历史快照，而是通过 confidence-gated moving average 逐渐被当前模型重写。这个信息流改变很关键：过去知识不是只从旧模型或旧 logits 单向约束当前模型，而是当前模型在足够自信时也反向改善 memory 中的蒸馏目标。

它引入的 inductive bias 是：学习进展可以由类别级 confidence 近似估计；soft target 的更新速度应与模型对该类别的熟练度绑定。这个 bias 不强到需要 task segmentation，也不弱到固定 EMA。相比 X-DER，它没有显式知道“当前是哪个任务”；相比 DER++，它承认 stored logits 会过期并主动维护。

这也是本文最本质的不同：不是提出新的 embodied policy，而是把 online CL 中的 memory target 从静态 prior 改成动态 prior，并用 confidence 作为低成本的质量门控。

Method

方法机制可以压缩为三件事。

第一，memory 同时保存输入、hard labels 和 action/object logits。hard labels 保证 replay 时仍有 supervised imitation signal；soft logits 提供类别间关系和旧模型行为分布，用于缓解 forgetting。这里解决的是单纯 replay hard labels 不足以保留旧 decision boundary 的问题。

第二，每次 replay memory 样本时，用当前模型重新计算 logits，并与旧 logits 做 moving average。这样 memory 中的 soft target 会跟随模型表征更新，避免 DER++ 中 early logits 长期不变。核心变化是蒸馏对象从 frozen historical prediction 变成 temporally refined prediction。

第三，moving-average 系数不是常数，而由 action/object class 的近期 ground-truth confidence 决定。confidence 低时少更新，防止新任务早期模型不稳定污染旧 memory；confidence 高时多更新，让 memory 及时吸收更成熟的预测。减去随机猜测基线并限制最大更新率，本质上是防止无意义置信度和完全覆盖。

需要注意，论文中 agent 架构沿用已有 ALFRED imitation-learning agent，mask generation 也没有作为 continual 问题处理。方法贡献不在 embodied architecture，而在 logit-memory maintenance。

Key Insight / Why It Works

最重要的 insight 是：在 online continual learning 中，memory 的质量不是只由样本选择决定，还由 memory 中监督信号的时间戳决定。旧 logits 可能不是 knowledge，而是 undertrained model 的噪声。CAMA 的有效性来自修正了这个被很多 logit-distillation 方法忽略的问题。

它本质上属于 memory reuse + better data prior，而不是 reasoning、planning 或 world model。它没有显式建模环境动力学，也没有形成长期状态记忆；任务成功率提升更可能来自 action/object classifiers 对旧分布的遗忘减轻，而不是 agent 学会了更强的交互推理。

动态 confidence 是核心贡献；固定 EMA 是弱 baseline。固定更新会在新任务早期把低质量 logits 写入 memory，等于把错误扩散到蒸馏目标。confidence gating 起到 curriculum-like 的作用：只有当模型对某类已经学到一定程度，才允许它改写该类软目标。这类似 self-training 中的 pseudo-label filtering，但用于 continual memory 的 logit refresh。

论文中 Figure 3 显示 confidence 与 accuracy 同步上升，这是方法成立的经验前提。但这里也有风险：confidence calibration 在 ALFRED imitation setting 中可能还算可用，换到更强 domain shift、long-tail classes 或 RL exploration 后未必成立。若模型过度自信，CAMA 会把错误 logits 更快写回 memory。

哪些是辅助？类别级近期均值队列、action/object 分头更新、clip 与 alpha 限制都是合理稳定化工程；真正新东西是“用模型当前熟练度控制 memory logits 的可塑性”。哪些可能只是 engineering？ALFRED agent 架构、augmentation、memory size 选择、balanced environment subsampling 都更像实验适配，不是核心思想。

Relation To Prior Work

这篇最接近 DER++ 和 X-DER。DER++ 存 logits 做 distillation，但 logits 写入后基本静态；CAMA 的改动是让 logits 在线更新。X-DER 也更新 logits，但依赖 task boundary 或 class novelty 信息；CAMA 的改动是用 confidence 替代 task identity 作为更新门控。

从技术谱系看，它不是新的 embodied learning paradigm，而是 replay-based online CL + logit distillation 的一个 task-free refinement。它把 self-paced/self-training 的 confidence heuristic 移植到 continual memory target 更新上。

和 rehearsal-only 方法相比，CAMA 增加的是 soft relational knowledge 的维护；和 regularization 方法相比，它不试图冻结参数，而是通过 memory 约束函数输出；和 teacher-model distillation 相比，它省掉存旧模型和额外 teacher inference，但代价是依赖 stored logits 的可维护性。

实质创新在于：把 logit memory 的 stale target 问题明确化，并提出无需 task boundary 的更新规则。看似新的 Behavior-IL / Environment-IL benchmark 也有价值，但它更像把已有 ALFRED split 重新组织为 continual stream；任务本身不是全新交互能力。

Dataset / Evaluation

评估建立在 ALFRED 上，提出两个 continual split：按行为类型递增的 Behavior-IL，以及按环境类型递增的 Environment-IL。覆盖了语言指令、导航、对象交互和 seen/unseen scene evaluation，比简化 robotic CL benchmark 更接近 embodied instruction following。

但这仍然是 simulator + offline expert demonstrations。训练是 behavior cloning，不是真实在线探索；streaming 的 online 性体现在数据访问顺序，而不是 agent 在真实部署中主动收集数据。没有真机，没有真实感知失败，没有动态环境，也没有人类交互反馈。

Evaluation 基本支持核心 claim：在 task-free online stream 下，动态更新 logits 比静态 logits、replay、regularization 更有效。但它没有充分证明该方法能在真实开放世界持续学习，也没有验证 mask generator 的 continual 更新。作者显式假设 object masks 可用/由外部模块处理，这削弱了 embodied claim 的完整性。

另一个问题是任务顺序影响较大，论文 appendix 也承认不同 behavior 共享 object/action classes 会产生 forward transfer。因此部分增益可能受 sequence overlap 和 benchmark composition 影响。所谓 unseen environment 仍在 ALFRED 分布内，泛化强度有限。

Limitation

第一，核心前提是 confidence 可作为 logit quality proxy。这个前提在校准良好的 supervised imitation setting 下可能成立，但在真实 deployment、OOD observation、噪声标签、partial observability 下很脆弱。模型若高置信错误，CAMA 会系统性污染 memory。

第二，方法依赖 expert demonstrations 和 ground-truth labels。它不是从真实交互反馈中持续学习，也没有处理 reward sparsity、失败恢复或安全探索。因此“online continual learning for agents”更准确地说是“online supervised continual imitation learning for ALFRED agents”。

第三，object localization 被弱化：论文只做 object class prediction，mask generation 交给外部或假设可用。对 ALFRED 这类任务而言，交互成功高度依赖 mask；不把 mask generator 纳入 continual setting，会把一个关键难点移出问题定义。

第四，scalability 上限来自 memory coverage。CAMA 可以改善 memory logits，但不能凭空补足 memory 没覆盖的旧状态、长尾物体或 rare behaviors。若任务空间扩大到开放词表对象、自然语言多样指令和真实环境变化，500 条 demonstration 级 memory 是否足够没有证据。

第五，planning/reasoning 能力可能是假象。实验中的成功更多反映 policy 记住了 ALFRED 模板化行为链和对象共现结构；CAMA 保住的是这些映射，而不是显式长期计划或世界模型。将其归为“强化学习/世界模型”并不准确，论文方法本身几乎没有 world model 成分。

Takeaway

  • 1. Online CL 中 memory 的问题不只是“存哪些样本”，还包括“存下来的监督信号是否过期”。
  • 这点可以迁移到视觉分类、VQA、机器人 imitation learning 等所有存 logits 的 CL 方法。
  • 2. Confidence-gated memory update 是一个简单但实用的 pattern：让模型只在“自认为学会”某类后才改写历史 soft targets。
  • 它比 task-boundary-based update 更适合真实流式场景，但需要额外关注 calibration。

一句话总结

这篇论文把 ALFRED 式交互指令执行改造成 task-free online continual learning 问题，并提出一种 confidence-gated logit-memory 更新机制；它是 replay/distillation 系方法在 embodied imitation setting 中的务实演化，而不是新的世界模型或推理型 agent。