Awesome World Models / OpenReview

Open-World Reinforcement Learning over Long Short-Term Imagination

作者：作者信息待提取 · 单位：MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai, China, Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo, China, School of Computer Science and Technology, East China Normal University, Shanghai, China · 来源：General Approaches to World Models · 发布日期：日期待提取 · 分类：8. World Models in the context of Model-Based RL

基于模型的强化学习

精读笔记

Problem Setting

《Open-World Reinforcement Learning over Long Short-Term Imagination》（ICLR 2025）关注 raw-pixel open-world RL 中的长程探索，而不是传统意义上的 dynamics prediction 精度。任务环境是 MineDojo / Minecraft，agent 只能看图像和接收 sparse reward / MineCLIP reward，不使用 Minecraft API、GPS、voxel 或 demonstrations。

真正困难点在于：open-world 的状态空间大，目标稀疏且视觉上局部出现；低层控制需要大量 trial-and-error 才能把“看到一个远处相关物体”转化为“靠近并交互”。DreamerV3 这类 MBRL 虽然能用 latent imagination 提升样本效率，但短 rollout 很难把远处目标的价值传回当前动作。换句话说，问题不是 world model 不会预测下一帧，而是它的 imagination budget 太短，无法承担 open-world exploration 的 temporal abstraction。

这篇论文抓住的关键矛盾是：要学长期 transition，需要看到长期成功或至少接近目标的数据；但在早期探索阶段，agent 正是缺少这些数据。LS-Imagine 的答案是用外部语义模型和图像 zoom-in 人为制造“接近目标”的伪长期监督。

Motivation

已有路线各有明显短板。API / LLM controller 类 Minecraft agent 在能力上强，但不属于标准视觉控制设定；VPT / STEVE-1 等依赖大规模视频或 imitation prior，比较对象不完全同质；model-free visual RL 试错成本太高；DreamerV3 这样的 world-model agent 虽然更干净，但在 open-world sparse exploration 下显得短视。

作者的核心观察是：很多 MineDojo 任务失败不是因为最后交互动作学不会，而是 agent 很久都不能有效发现和接近任务相关目标。若能在 imagination 中直接把“当前看到的远处相关区域”连接到“靠近该区域后的状态”，critic 就能更早地给前序行为提供价值信号。

因此这篇论文缺的不是更大的模型或更长的 naive rollout，而是一种 goal-conditioned 的长程 shortcut：在不真实执行大量环境步的情况下，让 actor-critic 看到潜在的远期收益。

Core Idea

LS-Imagine 的核心是把 Dreamer 类固定一步 latent transition 改造成 short-term transition + long-term jumpy transition 的混合时间尺度 world model。短期分支仍负责普通一步预测；长期分支在 affordance map 触发时，直接在 latent imagination 中跳到一个任务相关的未来状态，并同时预测该 jump 对应的真实时间间隔和累计回报。

这个设计改变的是信息流：任务文本不只是用于 reward shaping，而是通过 affordance map 进入 representation learning、jump decision、intrinsic reward 和 value backup。长期价值不再只能通过很多 one-step rollout 间接传播，而是通过 jump state 被显式插入 actor-critic 的 λ-return 中。

本质区别在于，prior world models 通常把 temporal abstraction 交给模型容量或 hierarchy 自发学习；LS-Imagine 则直接用视觉-语言先验规定“哪里值得跳”。这使它在 Minecraft 这类视觉目标驱动任务上更 scalable，因为它避免了在巨大状态空间里盲目 rollout。但这种 scalability 是有条件的：任务必须能被 affordance prior 捕捉。

Method

1. Affordance map：它解决“没有成功轨迹时如何知道哪里值得探索”的问题。通过 sliding crop + zoom-in 生成伪视频，再用 MineCLIP 和任务文本打分，得到每个图像区域的探索价值。这里的关键不是 U-Net，而是把 pretrained video-language alignment 转成 spatial reward prior。

2. Affordance-driven intrinsic reward：它解决 early-stage reward 太稀疏的问题。reward 设计鼓励高 affordance 区域出现在图像中心，因此实质上推动 agent 朝相关目标移动。它比 MineCLIP trajectory reward 更局部、更直接，也更容易给 post-jump state 估值。

3. Jumpy transition：它解决短 imagination horizon 的 value propagation 问题。当 affordance map 具有尖峰且置信度高时，模型在 latent imagination 中从当前状态跳到 zoomed / target-approaching state。这个 jump 不对应某个真实动作，因此 actor 在 jump step 不直接更新动作；它主要服务于 critic 的长期价值估计。

4. Variable-time λ-return：它解决 jump 后价值如何正确折扣的问题。long-term transition 预测 Δt 和区间累计回报 G，使 value backup 不把一个 jump 错当成一个环境步。这是方法成立的必要条件，否则长期 branch 只会制造不一致的 optimistic value。

5. Series mixed imagination：它解决 long-term branch 是否真正影响前序决策的问题。串行路径让 jump 后状态的价值沿同一条 imagination sequence 回传；并行路径实验较差，说明单独生成 post-jump rollout 不足以指导 pre-jump state。

Key Insight / Why It Works

最核心的有效性来源不是“world model 更长”，而是“把任务语义先验转化为 temporal abstraction”。LS-Imagine 成功的前提是：在 Minecraft 采集任务中，目标完成概率与视觉上接近某类对象/区域高度相关。affordance map 把这个结构显式编码出来，jump transition 则把该结构接入 actor-critic 的 credit assignment。

我认为最实质的贡献是 series mixed imagination + variable-time value backup。affordance reward 本身可以看成 reward shaping，U-Net 是工程加速，zoom-in 是构造伪标签的技巧；但把 post-jump value 以可变时间尺度接回 pre-jump latent state，确实改变了 Dreamer 类短 rollout 的优化几何。

不过，方法中很大一部分能力来自 representation alignment / hidden supervision：MineCLIP 已经在 Minecraft 视频-语言数据上学到了“cut tree / mine ore / obtain water”对应的视觉和行为语义。LS-Imagine 实际是在检索和重用这个先验，而不是完全从 RL 交互中发现长期结构。所谓 long-term imagination 更像 affordance-conditioned retrieval / shortcut prediction，不是开放世界里的通用长期因果模型。

增益也可能部分来自 curriculum：早期 intrinsic reward 把探索压到目标相关区域，降低了稀疏探索难度；后期 jump frequency 下降，说明一旦策略能靠近目标，long-term branch 的作用变小。这支持一种解释：LS-Imagine 主要是 bootstrap exploration，而不是持续进行复杂规划。

Relation To Prior Work

它最接近 Dreamer 系列、Director、Dr. Strategy、hierarchical world models 和 affordance-guided RL。与 DreamerV3 的差异不是 backbone，而是 imagination 时间尺度：Dreamer 依赖连续一步 latent rollout，LS-Imagine 显式插入可变步长 jump。与 Director 的差异是，Director 学 latent goal hierarchy，而 LS-Imagine 的 high-level abstraction 来自视觉 affordance 和任务文本，不是从 reward 中自发形成。

与 hierarchical RL / options 的关系也很明显：jumpy transition 可以被看作一种没有显式 low-level policy 的 option model，只建模 option outcome、duration 和 return。不同之处在于 option initiation 由 affordance map 触发，option outcome 由 image zoom-in 伪造，而不是从真实 option execution 学来。

与 affordance map 工作相比，LS-Imagine 的新增点是把 affordance 不只用于 action selection 或 exploration bonus，而是用于 world model 的 temporal abstraction 和 value backup。这个连接是实质创新。相反，MineCLIP 打分、U-Net 近似 affordance、reward shaping 等更像已有思想的组合。

Dataset / Evaluation

评估集中在 MineDojo 的五个视觉低层任务，以及附录中的 Tech Tree 子任务链。任务覆盖了采集木头、水、沙、剪羊毛、挖铁矿等场景，基本都符合“视觉目标发现 + 接近 + 交互”的结构。实验能较好支持论文关于 sparse visual target exploration 的 claim，但不能充分支持更广义的 open-world decision-making claim。

比较对象包括 DreamerV3、Director、VPT、STEVE-1、PTGM 等。由于这些方法的输入、训练数据和控制形式并不完全一致，绝对性能比较只能作为参考；最有说服力的是相对 DreamerV3 和 ablation 的提升。

没有真实世界 / 真机验证，也没有跨游戏、跨视觉域或复杂非导航任务测试。Tech Tree 结果有意义但有限，因为任务分解由 DECKARD 提供，LS-Imagine 只是执行子目标；这不能证明其具备自主长期规划能力。benchmark 主要验证了“affordance-guided temporal shortcut 能提升 Minecraft 视觉探索”，而不是“通用 open-world RL 已被解决”。

Limitation

最大的限制是方法强依赖 affordance 可视化假设。它适合“目标或目标相关区域能在图像中被定位，并且靠近它通常有用”的任务；不适合固定视角、2D、驾驶、抽象策略、复杂 inventory dependency 或需要多步符号前提的任务。作者在附录也承认 zoom-in 假设主要适用于 3D embodied navigation。

第二，long-term transition 的监督并不是真实长期动态，而是 zoomed crop + intrinsic reward 匹配得到的伪 post-jump。这个 post-jump state 是否真实可达、是否对应正确动作序列，文中未充分说明。随机保留 30% short-term imagination 可以缓解跳过关键动作的问题，但也说明 jump 本身不能学习 intermediate control。

第三，增益归因不清。MineCLIP 同时参与 reward、affordance 标注和伪探索评估，容易把 benchmark-specific semantic prior 注入整个训练过程。核心能力可能主要来自 MineCLIP 数据覆盖，而非 LS-Imagine 自身学到了更强世界模型。如果 MineCLIP 对某任务无效或存在 domain shift，方法可能迅速退化。

第四，所谓泛化没有被强验证。实验是同一平台内少量任务，且任务文本与 MineCLIP 预训练分布高度相关。这里的“open-world”更多指 Minecraft 状态空间大，而不是开放组合任务或开放语义泛化。

第五，计算和流程复杂度不低：affordance 标注、U-Net 训练、双分支 world model、long-term tuple 构造都增加系统复杂度。若性能提升主要来自 dense semantic shaping，那么是否需要完整 long-short world model 是一个仍未完全回答的问题。

Takeaway

  • 1. 对 open-world visual MBRL，单纯加长 rollout 不是最优路径；更有前景的是引入任务相关 temporal abstraction，让有限 imagination budget 覆盖更远的价值状态。
  • 2. Affordance 不应只被看作 exploration bonus，它可以作为 world model 的结构先验，决定何时抽象、跳到哪里、如何做 value backup。
  • 这是可迁移的设计思想。
  • 3. 这篇论文的长期想象不是通用长期预测，而是 pretrained semantic prior 驱动的 shortcut。

一句话总结

LS-Imagine 是 Dreamer 系 world model 向 affordance-guided temporal abstraction 演化的一步：它用 MineCLIP 语义先验构造 jumpy imagination，把远期目标价值接入短 horizon actor-critic，但其能力边界仍主要受视觉 affordance 假设和预训练语义覆盖限制。