Awesome World Models / OpenReview

Foundation Models as World Models: A Foundational Study in Text-Based GridWorlds

作者：作者信息待提取 · 单位：School of Electronic Engineering and Computer Science, Queen Mary University of London, United Kingdom · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：3. World Models for Navigation

具身智能机器人导航基础世界模型

精读笔记

Problem Setting

《Foundation Models as World Models: A Foundational Study in Text-Based GridWorlds》（Awesome World Models / 2025）关注的是一个很基础但容易被高层抽象掩盖的问题：foundation model 能不能直接进入 RL loop，承担低层 world model 或低层 policy 的角色。

这不是在解决 gridworld 导航本身，而是在测量两种 integration point 的有效性边界：LLM 作为 simulator 生成训练数据，还是 LLM 作为 actor 每步输出动作。真正困难点有两个：第一，world model 需要稳定、可重复、局部精确的 transition/reward prediction，而 LLM 是概率文本生成器；第二，policy 需要长期状态覆盖、记忆使用和不确定性处理，而 LLM 的逐步 action generation 很容易退化成局部启发式。

以前很多 FM-for-RL 工作绕开了这个难点：让 LLM 设计 reward、提出 goal、调用技能、生成 PDDL/code，再交给传统 planner 或 agent。这些路线证明了 LLM 可以提供语义先验，但没有回答它是否能直接模拟环境动力学或直接执行低层控制。本文的关键矛盾是：LLM 的 prior 很强，但 RL 需要的是可靠的闭环交互接口；强 prior 和可控 dynamics 之间并不天然等价。

Motivation

作者的核心动机是：如果真实环境交互昂贵，最自然的复用 foundation model 的方式不是只让它做旁路建议，而是让它替代一部分环境交互或策略搜索成本。但已有路线大多依赖人为设计的中间层，例如 PDDL、技能库、reward program、high-level planner，这使得 FM 的作用被抽象层过滤掉，也很难判断 FM 自身具备多少 world-model 能力。

这篇论文缺的不是一个更强的 RL 算法，而是一个直接比较：当我们把 LLM 放在 RL 框架中两个最核心的位置——model 和 policy——会发生什么。作者的观察是，这两个位置对 LLM 能力的要求完全不同：作为 FWM，只要生成的数据足够覆盖并且误差不致命，RL 可以吸收噪声并在真实环境中修正；作为 FA，则 LLM 必须在线保持长期一致的行动策略，容错空间小得多。

因此本文实际上是在寻找 FM prior 的合理落点：它更适合做高精度低层控制，还是更适合做一种 noisy but useful 的数据生成器。

Core Idea

核心思想很直接：不要先把 LLM 包装成复杂 planner，也不要把它限制在 reward shaping 这种辅助角色，而是把它作为 RL 框架中的两个低层对象来测试。第一种是 Foundation World Model：LLM 根据文本描述、当前状态和动作输出 next state、reward、terminal，用这些模拟交互预训练传统 RL agent。第二种是 Foundation Agent：LLM 根据当前 observation、目标和历史轨迹直接输出低层动作。

本质区别在于信息流的组织方式。FA 把 LLM 的推理能力直接暴露在在线控制回路中，要求每一步都正确且长期一致；FWM-RL 则把 LLM prior 转换成一个训练分布，让 RL policy 在其上进行压缩、泛化和容错，再通过真实环境 fine-tuning 修正偏差。后者相当于把 FM 的语义/规则先验变成 sample-efficiency prior，而不是把 FM 当成最终 policy。

这个设定引入的 inductive bias 是：LLM 已经知道“grid、坐标、边界、方向、目标”等结构，因此可以 zero-shot 生成局部 dynamics 或启发式动作。相比从 scratch RL，它减少了探索和规则发现成本；相比高层 planner，它更直接，但也更暴露 LLM 在数值一致性、概率校准和长期记忆上的弱点。

Method

方法层面真正必要的机制只有三件。

第一，用 prompt 把环境动力学显式化，让 LLM 输出 transition / reward / terminal。这解决的是 zero-shot world-model 接口问题：如果 LLM 的知识不能被约束成环境 API，RL agent 无法消费它。详细 prompt 与 minimal prompt 的对比不是为了 prompt engineering 本身，而是测试 LLM 是依赖显式规则推理，还是能从“gridworld”概念中恢复规则。

第二，把 FWM rollout 用于 RL agent 预训练，再转到真实环境 fine-tuning。这解决的是 LLM 模拟不完美的问题。作者没有要求 FWM 完美等价于环境，而是让 policy learning 在模拟分布中先获得结构化行为，再用真实交互校正 model bias。这里的核心变化是：LLM 不直接决定最终行为，而是提供一个 warm-start 经验分布。

第三，把 LLM 直接作为 FA，并通过不同提示方式要求其使用目标、状态和历史。这个机制在测试 LLM 是否能把文本记忆转化为系统探索策略。AO/SP/FP 的区别本质上是 test-time reasoning scaffolding：不给 plan、给弱 plan、强制基于 memory 选下一个位置。它测试的是 LLM 的在线规划稳定性，而不是训练能力。

需要注意的是，TRPO/PPO/RecurrentPPO 本身不是本文的创新点，只是承接 FWM 数据的标准 RL 后端。

Key Insight / Why It Works

最重要的 insight 是：LLM 作为 world model 和作为 policy 的失败模式不同，且前者更容易被 RL 吸收。作为 FWM，LLM 只需在局部 transition 上大体正确，错误可以通过缓存、有限状态空间覆盖、真实环境微调来缓解；作为 FA，LLM 必须在长 horizon 上形成一致搜索策略，一旦陷入局部循环或错误使用 memory，就没有学习机制修正。

确定性 setting 中 FA 表现好，并不说明 LLM 已经具备通用 embodied control；更合理的解释是目标明确、状态完全可见、最优策略与常识语言高度对齐，LLM 可以通过已有模式直接检索/推理出“往右上走”。这更像 representation alignment + retrieval of canonical grid behavior，而不是复杂规划能力。

FWM-RL 在 stochastic/partial observable setting 中更稳，是因为它把“不可靠但有结构”的 LLM rollout 转化成可训练数据。即便 LLM 采样随机奖励位置的分布不均匀，只要覆盖了足够多 reward locations，recurrent policy 就能学习到搜索结构。这里有效的不是 LLM 精确模拟概率过程，而是提供了比随机探索更有信息密度的 curriculum / data coverage。

论文中最可能是真贡献的部分，是清楚揭示了 FM prior 的一个可迁移用法：不要强迫 LLM 成为最终决策器，而是让它生成带结构偏置的 synthetic interaction，然后交给可学习 policy 压缩和纠偏。相反，prompt 变体、模型列表、具体 PG 算法更多是辅助。

也要直接指出：所谓 stochastic simulation 能力很弱。LLM 在大离散空间中不能产生均匀分布，在二元非均匀分布中又倾向过度偏向高概率项。这说明当前 LLM 不是 calibrated stochastic simulator。若任务依赖精确概率动力学，FWM 的可靠性会迅速下降。

模型规模带来的提升非常明显，很多增益可能主要来自 scaling / data，而不是方法本身。GPT-4/Gemini 1.5 会做边界约束和坐标更新，小模型会系统性失败；这更像预训练规模带来的规则执行能力，而非本文算法带来的能力。

Relation To Prior Work

这篇属于 FM-for-world-model / FM-for-RL integration 谱系，但刻意避开了几条常见路线。

相比 PDDL/code world model，它不把 LLM 产物编译成显式符号模型或可验证程序，而是直接把 LLM 当作 black-box transition oracle。优点是接口简单、domain engineering 少；缺点是缺少可验证性和概率校准。

相比 LLM planner / Tree-of-Thought / RAFA，它不依赖 search over thoughts 或高层未来想象，而是测试每步低层动作选择。这使得评估更直接，也更残酷：LLM 的长期闭环控制缺陷会暴露出来。

相比 reward shaping、goal generation、VLM-guided exploration 等 auxiliary FM 方法，本文的不同点是 FM 不再只是辅助信号，而是直接占据 model 或 policy 的位置。但从思想上看，FWM-RL 仍然接近 model-based RL / Dyna / synthetic data pretraining：新意不在“用模型生成经验”，而在模型来自 zero-shot foundation model，且无需环境数据训练。

实质新增的信息是一个经验性边界判断：当前 LLM 更适合作为 noisy simulator / data prior，而不是直接作为复杂不确定环境中的低层 policy。

Dataset / Evaluation

评估环境是 text-based gridworld，包含确定性完全可观测和随机奖励位置的部分可观测变体，附录还讨论 key/history 和 sticky actions。这个选择适合隔离坐标推理、边界约束、reward matching、随机采样和 memory 使用，但覆盖范围非常窄。

它没有真实机器人、视觉输入、连续控制、复杂物理，也没有跨域导航 benchmark。所谓 Foundation World Model for Navigation 的 claim 在这里最多被验证为“文本离散导航中的低层动态模拟和探索预训练可行”，不能外推到 embodied navigation 的感知-动力学耦合问题。

评估确实支持本文较弱但重要的 claim：当前 LLM 能在简单文本环境中提供有用先验；FA 在简单确定性任务中强，遇到不确定性和部分可观测会退化；FWM-RL 比直接 FA 更 robust。然而它不支持更强 claim：LLM 已经是通用 world model，或 FWM 能稳定替代真实模拟器。

一个明显 evaluation limitation 是环境规则高度可语言描述，且 gridworld 是 LLM 训练语料中极常见的概念。benchmark overlap / implicit memorization 不能排除。模型表现可能反映的是熟悉模板上的规则执行，而非真正可迁移 world modeling。

Limitation

核心前提是环境能够被短文本完整描述，状态/action/reward 能被符号化，并且 LLM 输出可以被解析成可靠 API。这在 text gridworld 成立，在真实 embodied AI 中通常不成立。

第二个前提是 model error 不会在 rollout 中灾难性累积。本文 gridworld 状态空间小、transition 可缓存、horizon 短，误差容易定位；但在长 horizon、连续状态、非平稳或多对象交互环境中，LLM 逐步模拟的 compounding error 会成为主问题。

第三，随机性处理是硬伤。LLM 不是概率采样器，temperature 不是 distribution control。用高温提示“生成均匀随机位置”并不能保证分布正确。FWM 在 stochastic setting 中仍有效，可能只是因为 reward location coverage 足够，而不是因为它学会了环境随机机制。

第四，FA 的 planning 能力不应被高估。确定性成功很可能是对坐标导航模板的直接检索或浅层推理；随机 setting 下无法稳定覆盖全图，说明它没有形成可靠长期状态机。prompt-induced plan 更像 test-time scaffolding，不是 robust policy learning。

第五，增益归因不清。文中未充分说明 FWM-RL 的提升到底来自 LLM prior、预训练步数、reward-location coverage、还是真实 fine-tuning 的快速纠偏。也没有与 learned-from-scratch world model、code-generated simulator、oracle noisy simulator 做对照，因此无法判断 LLM world model 相对其他 synthetic model 的独特价值。

第六，scaling 依赖明显。大模型显著好于小模型，很多结论可能主要来自 scaling / data，而不是方法设计。若换成不在预训练分布中的动力学规则，性能可能显著下降。

Takeaway

  • 1. 当前 FM 更值得优先作为“数据先验 / rollout generator”接入 RL，而不是直接作为复杂环境中的低层 policy。
  • 让可学习 agent 吸收并纠正 FM bias，比让 LLM 闭环控制更稳。
  • 2. FWM 的价值不必来自完美模拟；只要 synthetic interaction 覆盖了有用结构，就能改善 sample efficiency。
  • 这一点可迁移到昂贵交互场景：用 FM 生成 curriculum-like rollouts，再用真实环境校正。

一句话总结

这篇论文是一个低层 FM-RL 接入点的边界实验：它真正贡献的是表明当前 LLM 更适合作为 noisy but useful 的 zero-shot world-model prior 来提升 RL 样本效率，而不是作为可靠的通用 embodied policy。