ICLR 2024 / 数据集/基准

Online Continual Learning for Interactive Instruction Following Agents

作者：Byeonghwi Kim , Minhyuk Seo, Jonghyun Choi · 单位：Yonsei University, Seoul National University · 会议/期刊：ICLR 2024 · 分类：数据集/基准 · 发布日期：2024

智能体交互式学习

精读笔记

Problem Setting

《Online Continual Learning for Interactive Instruction Following Agents》（ICLR 2024）。

这篇论文实际解决的是 embodied instruction following 的在线持续学习问题：agent 在 ALFRED 式语言指令 + 视觉观察 + 动作/对象交互任务中，按流式顺序接收新的行为类型或新的环境类型，并需要在学新分布时保持旧行为/旧环境能力。

真正困难点不是把图像分类 CL 搬到 embodied AI，而是遗忘会通过闭环轨迹被放大。动作预测或对象类别预测的一次偏移，会导致后续 observation distribution 全部改变，最后表现为 task success 断崖式下降。因此这里的关键矛盾是：模型必须快速适应新行为/新房间布局，但参数更新又会破坏旧的语言-视觉-动作 grounding。

以前方法卡在两个地方：一类 embodied agent 默认全量数据 offline training，不考虑部署后增量学习；另一类 continual learning 方法虽然能 replay 或 distill，但多在分类设定下评估，且依赖 task boundary、旧模型保存或静态 logits。对 ALFRED 这种长序列交互任务，单纯 finetune 会严重遗忘，单纯 replay 又很难保证旧策略分布稳定。

Motivation

作者的核心动机不是提出一个更强的 ALFRED agent，而是指出当前 embodied instruction following benchmark 的训练假设过于静态：真实机器人不可能一次性预见所有行为和环境。

已有路线不够的关键在于 logit prior 的质量。DER 类方法把过去模型的 logits 存进 memory，用作后续 distillation target；但在线训练早期模型本身还没学好，这些 logits 可能是欠拟合甚至错误的。把它们固定下来，相当于把早期不成熟知识冻结成长期 teacher。X-DER 尝试更新 logits，但通常需要 task/class boundary 信息，在 task-free stream 下不自然。

作者的关键观察是：当前模型对 ground-truth label 的 confidence 与该类预测准确率有相关性。因此 confidence 可以作为一个廉价、无需 task boundary 的 proxy，用来判断当前 logits 是否比 memory 中旧 logits 更值得信任。论文真正补的缺口是：task-free online CL 中，如何让 memory 中的数据先验随模型学习逐渐变好，而不是停留在首次写入时的质量。

Core Idea

CAMA 的核心思想是把 memory logits 从“静态蒸馏目标”改成“可持续修正的软知识状态”。每次从 memory 取样训练时，当前模型会重新产生 logits；这些新 logits 不直接替换旧 logits，而是通过 confidence-aware moving average 写回 memory。confidence 高，说明模型当前对相关类已经较成熟，就更相信新 logits；confidence 低，则保留更多旧 logits。

这改变了信息流：prior work 多是从 old model 或 old logits 单向约束 current model；CAMA 则形成一个闭环——current model 训练于 memory logits，同时又在足够可信时更新 memory logits。它引入的 inductive bias 是“知识更新应当随学习成熟度逐步发生”，而不是按 task boundary 或固定周期发生。

与 prior 的本质区别在于，它不需要知道当前样本属于哪个 task，也不需要保存历史模型。scalability 上，它比旧模型蒸馏更轻；generality 上，它比依赖 task boundary 的 logit rewriting 更适合连续流。但它仍然依赖监督标签下的 confidence，而不是无监督自校准。

Method

方法可以压缩为三层机制。

第一，构造 online replay + logit distillation 的基本框架。stream sample 和 memory sample 共同组成 batch，模型同时做 supervised behavior cloning loss 和 memory logits 的 MSE distillation。这解决的是单纯 finetuning 的参数漂移问题；memory 提供旧分布输入，logits 提供旧输出函数形状。

第二，更新 memory logits，而不是把首次存入的 logits 永久当 teacher。这解决 DER/DER++ 类方法的 outdated-logit 问题。在线场景下，早期 logits 经常来自未充分训练的模型；如果不更新，distillation 会长期拉向低质量目标。

第三，用 class-wise recent confidence queue 决定更新系数。对动作类和对象类分别维护近期 ground-truth confidence 均值，并减去随机猜测基线后裁剪，再乘以小于 1 的上限系数。它解决的是“当前 logits 什么时候可信”的问题。核心变化是 logit update 从固定规则变成由模型学习状态调节的门控更新。

其他实现细节，如具体 ALFRED backbone、augmentation、optimizer、batch size，并不是论文贡献的核心；它们主要保证 baseline 可比较。

Key Insight / Why It Works

这篇论文最重要的 insight 是：在 online CL 中，memory 的价值不只在于存输入样本，也在于存一个随时间改善的输出先验。传统 replay 只复用输入覆盖；DER 类方法复用输出分布，但输出分布可能过时；CAMA 尝试让输出先验和模型能力同步演化。

它有效的直接原因大概率是 memory reuse + better logit target，而不是更强的 embodied reasoning。ALFRED agent 的底层策略仍是 imitation learning，planner 并没有获得新的长期状态建模能力。CAMA 改善的是旧任务上的 action/object decision boundary 稳定性，进而减少轨迹早期错误，最终体现为 SR/GC 提升。

confidence-aware 部分是核心贡献。固定 moving average 也能缓解 logits 过时，但会在模型还没学好新类/新环境时把不稳定 logits 写入 memory，产生污染。confidence gate 相当于一个轻量的 curriculum：模型越熟悉某类，越允许它重写过去的 soft target。这更像是 online teacher refinement，而不是简单 distillation。

不过，这个机制并不神秘，也不是新的 representation learning。它没有显式建模 behavior/environment 的 latent structure，也没有 retrieval policy 的复杂改进，更没有 test-time compute。增益更可能来自：在有限 memory 下减少低质量 distillation target 的负面影响，以及利用 ALFRED 中动作类、对象类在不同 task 间的共享结构。若 task 间 overlap 更低，或 confidence calibration 失效，收益可能明显下降。

需要注意一个潜在问题：confidence 是对 ground-truth label 的 confidence，这在训练阶段可用，但它是一种 hidden supervision。真实部署中如果没有 expert action/object labels，就不能直接维护这个指标。因此论文 claim 的 task-free 是“不用 task boundary”，不是“不用监督信号”。

Relation To Prior Work

技术谱系上，这篇属于 replay-based online continual learning + logit distillation，而不是 embodied planning 方法。它最接近 DER/DER++ 和 X-DER。

相对 DER++，真正不同点是 memory logits 不再静态；这确实是实质改进，因为在线早期存入的 logits 质量差是一个真实问题。相对 X-DER，区别是更新规则不依赖 task boundary / task identity，而是依赖 confidence。因此 CAMA 更适合 task-free setting。

但从思想来源看，它不是完全新范式。moving average teacher、confidence-based weighting、memory distillation 都是已有思想。新意在于把这些组合到 embodied instruction following 的 continual benchmark 中，并把 confidence 用作 logit rewriting 的 task-free proxy。

与 embodied AI prior work 的关系也要看清：论文并未提出新的语言理解、导航、对象定位或规划架构；它把已有 ALFRED-style imitation agent 放进 continual stream，并在训练记忆机制上做改动。因此它对 embodied AI 的贡献更像 benchmark/setting + CL mechanism，而不是 agent architecture breakthrough。

Dataset / Evaluation

论文基于 ALFRED 构造了两个 CL-ALFRED setting：Behavior-IL 按行为类型增量学习，Environment-IL 按环境类型增量学习。覆盖了语言指令、视觉观察、导航和对象交互，比只做分类或简化 household task 的 continual benchmark 更接近 embodied instruction following。

评估包括 seen/unseen environments，并报告 last 与 avg 指标。这个设计能部分验证灾难性遗忘和中间阶段性能，不只是最终模型表现。多 task order 的随机序列也缓解了单一顺序带来的偶然性。

但 benchmark 仍是 simulator + offline expert demonstrations，不是真实机器人部署；学习是 behavior cloning，不是从自主交互反馈中在线适应。更重要的是，论文假设 object mask 可用，只评估 object class prediction，而没有持续更新 mask generator。这绕开了 embodied interaction 中很关键的视觉定位难点。

实验基本支持“CAMA 比现有在线 CL baseline 更适合该设置”的 claim，但不能支持“agent 学会真实持续交互推理”的强 claim。SR 仍远低于 joint training，unseen 性能也不高，说明泛化能力仍主要受数据覆盖、基础 agent 能力和 benchmark overlap 限制。

Limitation

最核心限制是监督依赖。CAMA 的 confidence 来自 ground-truth action/object label 的概率，因此它适用于带专家示范的在线 imitation learning，而不是无标注部署流。若真实机器人在环境中自主探索，没有逐步 expert label，这个更新信号不可直接获得。

第二，方法把 object mask generation 排除在外，假设 mask 可用。对 ALFRED 来说，这显著降低了问题难度。实际 continual embodied learning 中，视觉检测/分割的增量学习可能比 action logits 更脆弱。

第三，所谓泛化仍可能依赖 benchmark overlap。不同 behavior 共享大量动作和对象，不同 environments 也共享视觉语义与交互规则。CAMA 利用这种共享结构稳定 logits 是合理的，但这不等于学到了抽象可组合技能。文中也承认 task order 会影响性能，说明 forward transfer 很依赖共享类覆盖。

第四，confidence 作为质量 proxy 有明显上限。深网高置信错误、分布外过度自信、类别不均衡、长尾对象都可能让 moving average 写入错误 logits，形成 confirmation bias。文中用经验曲线说明 confidence 和 accuracy 相关，但没有充分分析 calibration 或长期漂移。

第五，增益归因不完全干净。CAMA 相比 DER++ 和 X-DER 的提升可能来自 logit update、动态系数、不同 task-free 假设适配、以及 memory 与 task overlap 的共同作用。消融覆盖了固定系数，但还不足以完全拆开这些因素。

最后，这不是规划能力的突破。定性案例看起来像 agent 记住了旧行为，但更可能是旧任务动作/对象分类边界被保存得更好。长期状态建模、因果 reasoning、失败恢复和探索学习都不是本文解决的问题。

Takeaway

  • 1. 对 online CL 来说，memory 中存什么比 memory 多大同样重要；静态 logits 可能是有害 teacher，持续修正 memory prior 是值得迁移的方向。
  • 2. task-free 不一定需要显式 task inference；用模型自身的学习成熟度信号作为更新门控，是一种更轻、更通用的替代路线。
  • 但这要求 confidence 足够可校准。
  • 3. Embodied continual learning benchmark 的关键不应只看分类遗忘，而要看错误如何在交互轨迹中累积。

一句话总结

这篇论文把在线持续学习中的 logit distillation 机制系统移植到 ALFRED 式交互指令执行，并用 confidence-gated moving average 修正 memory logits，是一个偏 benchmark/CL-memory 机制的实质改进，而不是 embodied reasoning 或规划架构的突破。