Awesome World Models / OpenReview

Reward-Free Curricula for Training Robust World Models

作者：作者信息待提取 · 单位：University of Oxford, University College London · 来源：General Approaches to World Models · 发布日期：日期待提取 · 分类：8. World Models in the context of Model-Based RL

基于模型的强化学习

精读笔记

Problem Setting

《Reward-Free Curricula for Training Robust World Models》（ICLR 2024）关注的是一个很具体但重要的空缺：reward-free world model pretraining 通常只考虑在单一环境或固定环境分布中收集有用经验，但 generalist agent 还需要对环境实例变化 robust。这里的环境不是下游 task，而是同一 underspecified environment 下的不同参数化实例，例如地形幅度/尺度、物体数量、场景大小等。

真正困难点在于 curriculum 信号缺失。若有 reward，可以用 regret、TD error、return gap、learning progress 来判断某个环境是否值得继续训练；但 reward-free 阶段没有 task-specific objective，因此传统 UED/PLR/ACL 的核心度量不可用。另一方面，uniform domain randomization 虽然 reward-free，但它假设所有环境实例需要相同数据量，这是明显不成立的：复杂环境、稀有动力学、组合更多的实例会消耗更多模型容量和数据预算。

这篇论文抓住的关键矛盾是：我们想优化的是“未知 reward 下的 robust downstream performance”，但预训练阶段唯一可观测的是无奖励交互数据和模型预测误差。论文的贡献就是把这两者建立联系：如果后续策略完全依赖 world model 训练，那么 robust downstream regret 的上界可以转化为跨环境 worst-case latent dynamics error。

Motivation

已有 reward-free world model 路线，例如 Plan2Explore/Dreamer 系列，主要在一个环境分布内做 state-action exploration：哪里模型不确定，就去哪里探索。这解决的是环境内部 coverage 问题。但当存在一族环境实例时，还有一个更外层的问题：应该在哪个环境里探索。简单地把 domain randomization 套上去并不够，因为它没有根据 world model 当前状态调整采样预算。

UED/PLR 似乎是自然选择，但它们的环境选择信号本质上来自 task reward 或 regret；没有 reward 时，teacher 不知道什么是“难环境”。作者的核心观察是：在 reward-free pretraining 中，环境难度不应定义为 policy return 低，而应定义为 world model 在该环境上的 dynamics error 高。换句话说，把 curriculum 的评价对象从 policy 换成 model。

这个缺口很清楚：reward-free RL 有 exploration policy，但没有 environment curriculum；UED 有 environment curriculum，但需要 reward。WAKER 正是把 uncertainty-based intrinsic motivation 提升到 environment-parameter level。

Core Idea

论文的核心思想可以概括为：为了让后续任意 reward 下在 world model 中训练出的 policy 都 robust，预训练时应最小化所有环境实例中的最大模型误差，而不是最大化某个探索奖励的平均值。这个建模变化很关键：它把 reward-free curriculum 从“任务性能驱动”改成“模型误差均衡驱动”。

理论上，作者用 simulation lemma 形式的界说明：给定一个足够好的 latent representation，world model policy 在真实环境中的 regret 可以被该 policy 和真实最优 policy 访问区域上的 dynamics TV error 控制。由于 reward 未知，无法知道这些 task-dependent state-action distribution，于是定义一个寻找最大模型误差的 exploration policy，用其覆盖未来可能 reward 下会访问的高误差区域。进一步取环境参数上的 maximum，就得到 minimax world model error 目标。

和 prior 的本质区别在于：WAKER 不再把 curriculum 看作 task difficulty scheduling，而是看作跨环境主动数据分配。它引入的 inductive bias 是“训练预算应流向当前 model uncertainty 最大的环境实例”，这比 uniform DR 更 sample-efficient，也比 reward-based UED 更适合 reward-free generalist pretraining。

Method

方法层面不需要把 DreamerV2、Plan2Explore、ensemble 等模块逐个看成创新。真正的机制只有几层。

第一，单一 world model 覆盖整个 UPOMDP。不同环境参数 θ 对应 latent space 中不同但共享参数的子区域 Zθ。这样做解决的是跨环境知识共享问题：相似环境的 dynamics 可以共享表示和模型参数，而不是为每个 θ 学一个独立模型。它也让后续可以训练一个定义在全 latent space 上的 task policy。

第二，把环境选择指标定义为环境级 world model error。真实 latent dynamics 不可得，因此用 ensemble latent transition heads 的 disagreement 近似误差。这一步解决 reward-free 阶段缺少 regret/return 信号的问题。严格说，这只是一个 proxy；但它是整个算法能运转的核心，因为它把不可观测的 downstream regret 转成可在线估计的模型不确定性。

第三，根据误差 buffer 对环境参数做重采样。WAKER-M 使用误差 magnitude，偏向当前最不确定的环境；WAKER-R 使用误差下降速率，偏向 learning progress 更大的环境。论文结果显示 WAKER-M 更稳定、更符合理论目标，因为理论推导本身指向 minimax error，而不是 learning progress。

第四，保留一定比例 domain randomization。这个不是核心创新，但很必要：它防止 uncertainty estimate 早期失真导致环境覆盖塌缩，也确保未访问环境最终会被采样。换句话说，WAKER 不是完全替代 DR，而是在 DR 上叠加 active reweighting。

Key Insight / Why It Works

这篇论文最重要的 insight 是：reward-free robust pretraining 的 bottleneck 不是“如何定义一个更聪明的 intrinsic reward”，而是“如何把有限交互预算分配到环境族中最欠拟合的部分”。WAKER 的有效性主要来自 data coverage 和 curriculum，而不是模型架构或 planner 能力的突破。

为什么它有效？因为 uniform DR 在复杂度不均匀的环境族上会系统性 under-sample hard instances。world model 的 downstream failure 往往发生在这些 hard instances 的未建模 dynamics 上。WAKER 通过 ensemble disagreement 找到这些区域，并增加真实数据采样，从而降低 worst-case prediction error。这个因果链在论文中是比较清楚的：环境采样热图显示 WAKER 偏向复杂环境；prediction-error CVaR 下降；policy CVaR 和 OOD 表现提升。

最可能的核心贡献是 minimax regret 到 minimax model error 的 framing，以及把 UED 的 regret signal 替换成 model uncertainty signal。算法本身并不复杂，甚至可以看作 Plan2Explore + environment-level prioritized replay / active domain randomization。但这个重组是有价值的，因为它解决了 reward-free setting 中 UED 缺信号的问题。

哪些部分可能只是辅助？DreamerV2、Plan2Explore、ensemble disagreement 都是已有组件；Boltzmann sampling、EMA smoothing、error buffer 也更像 engineering。WAKER-R 的 learning-progress variant 结果不如 WAKER-M，说明“学习进度 curriculum”的经典直觉在这里不一定是主因。真正起作用的是 worst-case uncertainty reweighting。

需要警惕的是，这里的 robustness 很大程度上是 distributional coverage 的结果，不应解读成模型获得了更强的长期推理能力。policy 是在 learned world model 中 zero-shot 训练，但如果测试环境仍与训练参数族高度相关，那么所谓 OOD generalization 可能主要来自训练时对边界复杂环境的过采样，而不是抽象结构泛化。论文没有证据表明 WAKER 能解决组合爆炸、因果迁移或真实物理 sim-to-real 中的深层泛化问题。

Relation To Prior Work

最接近的路线有三条：reward-free world model exploration、domain randomization/active domain randomization、以及 UED/PLR。

相对 Plan2Explore / reward-free world model，WAKER 的新增信息在于把探索维度从 state-action space 扩展到 environment-parameter space。Plan2Explore 问的是“在当前环境里去哪里”；WAKER 问的是“下一个 episode 应该在哪个环境里”。这两个维度正交，因此 WAKER 可以和 Plan2Explore 或 random policy 搭配。

相对 domain randomization，WAKER 的本质区别是 non-uniform adaptive allocation。DR 的隐含假设是环境分布本身就是训练预算分布；WAKER 则把训练预算分布视为需要根据 model state 动态优化的对象。这一点在环境复杂度高度不均匀时尤其重要。

相对 UED/PLR，WAKER 的实质创新是去掉 reward dependence。PLR 用 TD error / regret-like signal 选择高学习价值关卡；WAKER 用 dynamics uncertainty 选择高模型误差环境。因此它属于 UED 技术谱系，但目标对象从 policy robustness 变成 world-model robustness，训练信号从 task regret 变成 reward-free prediction uncertainty。

看似新的部分其实多是已有思想重组：ensemble uncertainty 来自 model-based/offline RL，intrinsic exploration 来自 Plan2Explore，curriculum reweighting 来自 UED/ACL。但“reward-free minimax regret → minimax world model error → environment-level active sampling”这一链条是论文真正的概念贡献。

Dataset / Evaluation

实验覆盖了像素输入的连续控制和物体推动类任务，环境参数包括地形生成参数、场景大小、物体数量和颜色组合。它们比单一 DMControl task 更接近“环境族 robust pretraining”，但仍是可控模拟环境，且环境参数空间低维、结构清楚、可枚举或近似离散管理。

评估方式相对合理：作者不用平均 return 作为主要指标，而用 CVaR 近似 worst-case robustness，这与 minimax regret 动机一致。OOD 评估包括更陡地形、楼梯、额外物体，能一定程度测试超出训练分布的泛化。另一个有价值的评估是直接测 world model image prediction error 的 worst-case，这帮助确认性能提升并非完全来自 policy training variance。

但 evaluation 仍没有完全证明“general robust world models”。首先，OOD 仍与训练生成机制强相关，例如更陡 terrain 是训练参数边界外推，楼梯也仍在 locomotion terrain family 内。其次，没有真实世界或真机实验，也没有高维不可枚举环境参数。第三，HE/RW oracle baseline 需要人工 domain knowledge，WAKER 胜过它们的一部分结果说明手工 curriculum 难，但不等于 WAKER 已解决 general environment design。

总体上，实验支持“在低维参数化模拟环境族中，uncertainty-based environment curriculum 优于 uniform DR”；不充分支持“大规模 generalist world model pretraining 可直接依赖该机制”。

Limitation

最关键的前提是 Assumption 2：world model 的 representation q 已经能把 POMDP history 编成 Markov latent state。理论界只分析 latent transition error，没有处理 representation learning failure。但在像素 POMDP 中，表示错误往往才是主要问题。这个假设很强，论文没有真正验证或放松。

第二，ensemble disagreement 被当作 TV dynamics error 的 proxy，但二者没有严格校准关系。尤其在深度 latent world model 中，ensemble disagreement 可能反映 epistemic uncertainty、optimization noise、latent scale、decoder ambiguity 的混合物。附录中多 domain 训练需要分别归一化 uncertainty，已经暴露出跨域 uncertainty calibration 是实际瓶颈。

第三，方法把问题从“如何 robustly solve downstream tasks”转移为“如何 robustly cover model error”。这在 reward-free 设置下是合理 surrogate，但不是等价。某些高模型误差区域可能对任何下游 reward 都无关，某些低误差但任务关键的 rare transition 可能被忽略。没有 reward 时无法区分 task-relevant 和 task-irrelevant dynamics，这是 reward-free pretraining 的根本限制，WAKER 没有消除它。

第四，scalability 上限明显。当前 Derror 是针对已采样环境参数的 buffer；当 θ 是高维连续空间、组合生成空间或隐式 simulator seed 时，简单 buffer 和 Boltzmann sampling 会失效。作者提到未来用 function approximation 估计参数空间 uncertainty，但这不是本文解决的问题。

第五，WAKER 依赖 exploration policy 在每个被选环境中找到高误差 state-action。如果 Plan2Explore 不够强，环境级 curriculum 只能反复采样同一环境的浅层状态。随机探索实验中性能明显差很多，说明 WAKER 的能力上限被内部 exploration 强烈限制。

最后，增益归因虽比很多论文清楚，但仍不能完全排除“更多复杂环境数据”这一简单解释。WAKER 可能主要是自动发现了一个类似 RW-Oracle 的复杂环境重加权策略；其泛化收益更像 data distribution shaping，而不是模型获得了更抽象的环境理解。

Takeaway

  • 1. reward-free robust world model pretraining 需要两个层次的 exploration：环境内部 state-action coverage，以及环境族上的 parameter coverage；过去工作主要做前者，WAKER 补上后者。
  • 2. 对 reward-free UED，一个自然且可迁移的替代信号是 model error / uncertainty，而不是 policy regret。
  • 这一思想可以迁移到数据采集、simulator scheduling、多域预训练和机器人 domain randomization。
  • 3. 最值得保留的技术判断是：robust downstream policy 不一定要在预训练时知道 reward，但 world model 必须在所有潜在环境中没有灾难性 dynamics blind spot；minimax error 是比平均 prediction loss 更对齐 robustness 的目标。

一句话总结

这篇论文把 UED 的环境 curriculum 思想改造成 reward-free world model pretraining 中的 uncertainty-driven data allocation，是一次有清晰理论动机的 curriculum/data-coverage 方法演化，而不是新的 world model 架构突破。