NeurIPS 2023 / 强化学习/世界模型

Leveraging Pre-trained Large Language Models to Construct and Utilize World Models for Model-based Task Planning

作者：Karthik Valmeekam, Sarath Sreedharan, Subbarao Kambhampati · 单位：School of Computing & AI Arizona State University Tempe, AZ, Department of Computer Science Colorado State University Fort Collins, CO · 会议/期刊：NeurIPS 2023 · 分类：强化学习/世界模型 · 发布日期：2023

强化学习世界模型规划

精读笔记

Problem Setting

论文标题：Leveraging Pre-trained Large Language Models to Construct and Utilize World Models for Model-based Task Planning（NeurIPS 2023）。

这篇论文处理的是高层技能规划中的 domain model acquisition 问题，而不是通常意义上的强化学习 world model learning。设定里 agent 已经有一组可执行的高层 skills，问题是如何从动作自然语言描述中得到可用于任务规划的因果模型，即每个动作的参数、前提和效果。

真正困难点不在于搜索计划。经典规划器早已能在给定 PDDL domain、initial state、goal 的情况下做可靠搜索。困难在于 PDDL domain model 本身通常需要专家手写，而 LLM 虽然能生成看似合理的动作序列，却经常违反前提、遗忘中间状态、无法稳定维护长程依赖。

以前 LLM-as-planner 方法卡在两个地方：一是 plan correctness 不可靠，尤其在长计划和约束密集 domain 中；二是反馈通常发生在执行阶段，错误修正是 task-specific 的，不能很好复用。每次计划错了再提示 LLM，本质上是在反复纠同一类因果错误。

关键矛盾是：LLM 拥有大量关于动作和物体的常识，但缺乏可验证的状态转移机制；符号规划器拥有可靠搜索和验证机制，但缺乏 domain knowledge。本文就是把这两者通过显式 PDDL 世界模型接起来。

Motivation

作者反对的不是 LLM 参与规划，而是反对把 LLM 放在最不擅长的位置：直接做 combinatorial search。已有路线希望通过 ReAct、self-correction、environment feedback、unmet precondition feedback 等方式修补 LLM planner，但这些反馈大多是在线、局部、计划级别的，无法从根上消除重复错误。

核心观察是：LLM 对“某个动作通常需要什么条件、会产生什么效果”这类局部因果知识，比对“如何在几十步内稳定组合动作达到目标”更擅长。换句话说，LLM 可能不是好的 planner，但可能是可用的 domain-model author。

关键缺口是自动化/半自动化的符号模型构建。经典规划长期依赖人工写 PDDL，模型获取成本高；LLM planning 又缺少可复用、可验证的世界模型。本文的动机正是把人类反馈从 plan correction 前移到 model correction：一次修模型，多任务复用。

Core Idea

论文真正的核心思想是改变建模方式：不再让 LLM 从 instruction 直接映射到 plan，而是让 LLM 先把动作库转换成显式 PDDL domain model，再由外部 planner 或 validator 使用这个模型。这个转变引入了强 inductive bias：世界状态由 predicates 表示，动作由 precondition/effect 表示，规划变成在显式状态空间上的搜索，而不是语言模型隐式 token continuation。

这种设计理论上有效，因为它把任务拆成两个性质不同的子问题：模型构造和计划搜索。LLM 负责语义解析与常识补全，符号 planner 负责组合搜索与可执行性保证。前者是 pattern/knowledge-heavy，后者是 search-heavy。LLM 在前者上相对强，在后者上明显弱。

和 prior 的本质区别在于，本文把反馈对象从“某条计划”换成“domain model”。这改变了信息流：human/validator feedback 被写入可复用模型，而不是作为一次性 prompt context 消耗掉。这个变化比具体 prompt 模板更重要，也是本文相对可扩展的原因。

Method

方法中最关键的不是某个 prompt，而是三个机制。

第一，action-wise PDDL construction。LLM 每次只为一个动作生成参数、前提、效果和新 predicate，并维护一个动态 predicate list。它解决的是整域一次性生成容易符号不一致、上下文过长、predicate 重复的问题。这个机制把 domain construction 变成增量知识工程。

第二，predicate inventory with natural-language descriptions。每个 predicate 不只是 PDDL 符号，还带自然语言解释。这个设计解决的是 PDDL 对普通用户不可读的问题，也使后续 human feedback 可以自然语言化。这里的核心变化是把符号模型变成可被人类 inspection/advice 的对象。

第三，LLM as feedback compiler。validator 给出的语法/类型错误、人类给出的事实错误，都通过继续原 PDDL 构造对话被写回 action model。LLM 在这里不是 planner，而是 PDDL 编辑器/接口层。它的作用是降低符号模型修正门槛。

第四，修正后的 PDDL 有两种使用方式：更强的一条是直接交给 Fast Downward 这类 classical planner；较弱的一条是作为 plan validator 给 LLM planner 提供 unmet precondition/goal feedback。实验显示前者才是主线，后者更多说明 LLM planner 即使有反馈仍不可靠。

Key Insight / Why It Works

这篇论文有效的核心原因是 representation alignment，而不是 LLM 获得了规划能力。LLM 的语言知识被投影到 PDDL 这种可执行、可验证、可搜索的符号表示中；一旦进入 PDDL，正确性主要来自 planner/validator，而不是 LLM。

最可能的核心贡献是“model-level correction is reusable”。在以往 LLM planning 中，反馈是 plan-local 的：这次告诉它某动作前提没满足，下次类似任务它还可能犯错。本文把反馈沉淀到 action model 中，等价于把纠错从 inference-time prompt patch 升级为 domain-level memory。这个机制显著降低重复人工反馈。

另一条重要 insight 是：LLM 的常识更适合生成 lifted action schemas，而非 grounded action sequences。生成 PDDL action model 只需要局部因果结构；生成 plan 需要跨步状态维护和搜索。前者更接近 LLM 在预训练中见过的文本模式和常识描述，后者需要系统性算法能力。

哪些可能只是 engineering？两轮生成、动态 predicate list、PDDL-to-NL 翻译、backprompting VAL 都是有用工程，但不是本质创新。本质创新是把 LLM 的角色从 planner 改成 domain model constructor/interface。

哪些可能来自 scaling/data？GPT-4 显著优于 GPT-3.5，说明能力很可能高度依赖模型规模、代码/PDDL/网页数据覆盖和 instruction following，而不是一个普适算法突破。IPC domains 和 household actions 很可能与训练分布中的规划/PDDL/机器人文本有 overlap；文中没有排除 benchmark leakage 或 implicit memorization。尤其 Logistics、Tyreworld 这类经典 domain 在网上 PDDL 资源丰富，增益来源不清。

所谓“world model”也需要谨慎理解：这里不是从交互数据中学习 dynamics，也不是神经模型内部形成可 rollout 的世界模型，而是 LLM 辅助写出一个符号 domain model。它更接近 automated knowledge engineering than learned world model。

Relation To Prior Work

最接近的路线有三类。

第一类是 LLM-as-planner / LLM-as-agent，例如 ReAct、Inner Monologue、corrective re-prompting、SayCan 等。这些方法让 LLM 直接产生或修正计划，再通过环境/人类/affordance 模型过滤。本文的本质差异是 planner 不再是 LLM，LLM 只生成可复用 domain model。它不是让 LLM planning 更强，而是绕开 LLM planning 的弱点。

第二类是 LLM + classical planner，例如把自然语言 goal 翻译成 PDDL，再交给 planner。已有方法通常假设 domain model 是人工给定的；本文新增的是让 LLM 也生成 domain model。因此它补上的是 domain side，而不只是 problem side。

第三类是 classical planning 中的 action model acquisition / knowledge engineering。本文并没有发明 PDDL acquisition 这个问题，实质上是用 GPT-4 替代一部分人工建模，并用自然语言反馈做 interactive model editing。新意在于利用 foundation model 的 commonsense + code-like formalization 能力，降低模型工程门槛。

因此它属于“LLM as interface/tool user/knowledge compiler + symbolic planner”这条谱系，而不是端到端 RL world model 或 neural planning。看似新的是 LLM 构造 world model；更准确地说，是把传统 symbolic planning 的 domain engineering 用 LLM 半自动化。

Dataset / Evaluation

实验覆盖两个 IPC domain 和一个 household robot domain。范围上比简单 ALFWorld 风格任务更有约束，尤其 household domain 包含更多 manipulation skills 和物理可行性条件；但整体仍是小到中等规模的 STRIPS-style domain，并未触及复杂 PDDL features、数值资源、时序约束、条件效果、概率、部分可观测等更难设置。

evaluation 最有说服力的是：GPT-4 生成的 PDDL 经少量反馈可修正，修正后 classical planner 在多任务上表现稳定。这支持“LLM 可用于 domain model acquisition，并与 sound planner 结合”的 claim。

但 evaluation 没有充分支持更强的 claim，例如“LLM 构造一般意义上的 world model”或“方法能扩展到复杂真实机器人部署”。初始状态 grounding 被假设正确，低层 skill execution 被假设可用，goal translation 只作为辅助环节处理。真实系统中 perception、symbol grounding、skill failure、partial observability 会引入大量额外误差。

LLM-backprompted-by-VAL 的实验反而表明：即使用正确 PDDL 反馈，LLM planner 仍容易循环、忽略反馈或引入新错误。这一点削弱了“LLM planner + validator”路线，但强化了“直接用 classical planner”的必要性。

Limitation

最大限制是方法把问题从 planning 转移到了 model acquisition 和 grounding。只要 PDDL domain model 正确，planning 很容易；但 domain model 是否能规模化构建、验证和维护，仍是核心瓶颈。

第一，强依赖 GPT-4。GPT-3.5 表现明显差，说明这不是一个模型无关的框架，核心能力可能主要来自 scaling / data coverage。对于训练数据中少见的专业 domain，效果文中未充分说明。

第二，强依赖人类/validator feedback。validator 只能发现语法、类型和计划验证错误，无法自动发现 missing effects、overly strong preconditions、错误抽象层级等语义问题。人类仍需理解 domain causal structure。论文说降低 PDDL 门槛是成立的，但没有消除知识工程成本。

第三，PDDL 表达能力本身限制了可建模世界。真实 household robotics 中有连续几何、抓取失败、对象遮挡、资源约束、不确定效果和部分可观测。本文基本在 fully observable deterministic symbolic abstraction 下工作，deployment gap 很大。

第四，predicate ontology 可能成为扩展瓶颈。动作多了以后，LLM 自动发明 predicate 会带来冗余、粒度不一致、类型层级不清等问题。文中通过动态 predicate list 缓解，但没有系统解决 ontology management。

第五，benchmark leakage 风险不能忽略。Logistics、Tyreworld、Blocksworld 以及 PDDL 格式在公开数据中高度常见。GPT-4 生成这些 domain 的能力可能部分来自 memorization/retrieval。对 household domain 的开放性更强，但仍未证明对长尾、专有技能库的泛化。

第六，所谓 correctness guarantee 只相对于给定 PDDL model 成立。若模型错，planner 会稳定地产生“对错误模型正确”的计划。这是所有 model-based planning 的老问题，本文没有根本解决，只是让模型更容易被人修。

Takeaway

  • 1. 对 LLM planning，最有价值的方向可能不是继续逼 LLM 做搜索，而是把 LLM 用作可验证模型/约束/目标的编译器。
  • 让算法做算法擅长的事，让 LLM 做语义接口和知识补全。
  • 2. 反馈应该尽量写入可复用结构，而不是留在一次性 prompt history 里。
  • 本文从 plan-level correction 转向 model-level correction，这个 insight 可迁移到 program synthesis、tool use、agent memory、robot skill libraries 等场景。

一句话总结

这篇论文在 LLM planning 方向中的真正贡献，是把 LLM 从不可靠的直接 planner 重定位为可修正的 PDDL 世界模型构造器，并用经典规划器承担搜索与正确性，属于“foundation model as symbolic model compiler”的方法演化。