Awesome World Models / OpenReview

RADI: LLMs as World Models for Robotic Action Decomposition and Imagination

作者：作者信息待提取 · 来源：World Models for Embodied AI · 发布日期：2025 · 分类：5. World Models x VLAs / Combining World Models and VLAs

具身智能机器人视觉语言动作/策略学习

精读笔记

Problem Setting

论文标题：RADI: LLMs as World Models for Robotic Action Decomposition and Imagination（Awesome World Models / 2025）。

这篇论文实际处理的是 LLM-based robotic task planning 中的一个老问题：LLM 很容易生成“语言上合理”的 household action sequence，但这些序列经常缺少关键前置动作、违反 object state constraint，或无法在 simulator 中完成目标。也就是说，planner 的输出与环境状态转移之间没有闭环。

真正困难点不是把任务拆成 walk / open / grab / put 这类 atomic actions；VirtualHome 里这件事已有大量工作能做。困难在于：长程任务的正确性取决于一串隐含状态条件是否被满足，例如容器是否打开、对象是否可达、手里是否已有物体、目标状态是否真正被改变。LLM 如果只根据语言模式生成脚本，很容易漏掉这些状态约束。

以前方法主要卡在 open-loop planning：给定 goal、observation、action set 后一次性生成 plan，最多通过 prompt engineering 或 hierarchical decomposition 改善格式和覆盖率，但缺少一个能在执行前预测 consequence 的内部检查器。RADI 试图解决的关键矛盾是：LLM 的语言先验足够强，可以写出看似完整的计划；但机器人规划需要的是状态一致性，而不是自然语言合理性。

Motivation

作者的核心动机是：如果 LLM 被宣称可作为 robotics world model，那么它不应只会“说下一步该做什么”，还应能回答“做完这些动作后环境会变成什么样，以及这个变化是否达到目标”。已有 LLM planning 工作证明了 LLM 能生成 task plans，但没有充分验证 LLM 是否具备 action outcome prediction 的能力。

这里缺的不是更复杂的 planner，而是一个显式的 outcome verification 过程。LLM 的规划错误很多并非来自不知道目标，而是来自没有在生成后检查状态前提与结果。例如忘记 open cupboard 这类错误，用语言常识或 affordance constraint 是可以在执行前发现的。

因此 RADI 的方向很自然：把 LLM 的常识推理能力从“生成动作”转移一部分到“模拟执行后果”。这不是传统意义上的 learned dynamics model，而是利用 foundation model 已有知识，在 test time 对 plan 做 semantic-physical consistency checking。

Core Idea

RADI 的核心思想是把 LLM 从单一 planner 改造成 planner + imagined executor + critic 的闭环系统。第一步由 LLM 将复杂任务分解成 atomic action sequence；第二步让 LLM 基于当前环境状态“想象”整段动作执行后的状态变化，并判断是否满足目标；如果判断不可行，则把冲突信息反馈给 LLM 重新生成计划。

它改变的建模方式是：计划不再只是 G, O, A 到 π 的单向映射，而是引入一个 test-time latent transition check：π 是否诱导出合理的 O → O'，且 O' 是否满足 G。这个 O' 不一定以严格符号状态形式存在，更多是自然语言中的 imagined state，但它提供了额外约束，使得生成过程不完全依赖下一 token 预测。

和 prior 的本质区别不在“分解”本身，而在把 outcome imagination 作为 planner 的反馈信号。这个 inductive bias 很直接：一个好计划必须能解释自己的执行后果。相比单纯 prompt-based plan generation，它更 scalable 的地方在于可以把错误检测放在 test-time loop 中，而不是要求一次生成全局正确的长序列。

Method

方法层面值得保留的只有几个机制。

1. 层级动作分解：它解决长程任务一次性生成时组合空间过大的问题。其必要性不是因为它新，而是因为 imagination/verifier 需要一个相对结构化的候选计划作为输入。没有可解析的动作序列，后续状态预测无法稳定进行。这里的分解基本沿用已有 hierarchical task decomposition 思路，创新性有限。

2. 序列级环境想象：论文选择让 LLM 对完整 action sequence 做可行性和结果预测，而不是逐个 atomic action 模拟。这个设计的核心变化是把 verifier 的关注点从局部合法性转向全局 goal satisfaction。它能发现“单步看都合理，但整段缺前置条件或目标未达成”的错误。不过这也使得 imagined transition 更难被精确校准，文中未充分说明 imagined state 如何与真实 simulator state 对齐。

3. Self-correction / regeneration：当 imagination 判定计划不可行时，重新进行动作分解。这个机制本质上是 test-time compute + critic-guided resampling。它不保证搜索空间系统性覆盖，但在 GPT-4 + household scripts 这种场景下，重复生成很可能补上常见缺失步骤。

4. Abstention：如果多轮仍无法通过 imagination，就放弃执行。这是提高 SRA 的关键评估机制之一。它在安全部署上合理，但也会改变成功率解释：高 SRA 可能部分来自拒绝难例，而不是 planner 本身更强。

Key Insight / Why It Works

这篇最重要的 insight 是：LLM 在 household task planning 中的许多错误是“可被同一个 LLM 用另一种问题表述发现的”。直接问 GPT-4 生成计划时，它可能漏掉 open / close / locate 等步骤；但如果把候选计划和当前状态一起给它，让它判断执行是否成功，它往往能意识到缺失条件。这说明 planner failure 和 verifier capability 之间存在不对称：生成难，检查相对容易。

方法有效的最大来源很可能是 test-time verification + resampling，而不是一个真正意义上的 world model。RADI 没有训练 dynamics model，也没有学习 compact latent state；它依赖 GPT-4 已有的语言-常识-脚本知识来判断 household actions 的后果。因此更准确地说，它是在利用 LLM 作为 commonsense affordance verifier，而不是物理 world model。

核心贡献应归因于信息流重组：把 goal、observation、action sequence 重新组织成“执行后会发生什么”的判别问题。这个 formulation 给 LLM 一个更容易的任务，因为判别候选计划是否缺前置条件，比从零构造完整长程计划更接近 natural language inference / consistency checking。

哪些部分可能只是辅助：层级分解是已有路线，主要降低 prompt 难度；多轮 K 增大带来的提升很可能主要来自 sampling budget；abstention 会提高非放弃样本的成功率但不等价于能力提升。文中把成功率提升解释为 LLM world modeling 能力的证据，这个结论偏强。

是否是 scaling？相当大程度是。GPT-4 的效果可能来自它在 household activity scripts、VirtualHome-like action descriptions、web-scale procedural text 上的覆盖。所谓 imagination 很可能混合了 retrieval、script completion 和 affordance commonsense，而不是显式状态动力学推理。若换成小模型、OOD object、非日常物理交互，效果是否保持，文中未充分说明。

最值得迁移的不是“LLM 是 world model”这个 claim，而是“把规划问题改写成生成-想象-批判-再生成的 test-time loop”。这个机制对任何语义约束强、错误可由语言解释的问题都可能有效。

Relation To Prior Work

RADI 最接近几条已有路线：ProgPrompt / VirtualHome-style program generation、ReAct 式 reasoning-acting loop、LLM self-reflection / self-correction、以及 hierarchical task decomposition for long-horizon planning。它不是从零提出新 planner，也不是训练新的 embodied world model，而是把这些思想组合到 robotic action outcome verification 上。

和 ProgPrompt 的差异在于：ProgPrompt 重点是用 program-like prompt 让 LLM 生成 situated plans；RADI 增加了一个显式 imagination verifier，用预测后果来修正计划。和 ReAct 的差异在于：ReAct 通常通过外部环境 observation 交替推理与行动；RADI 的反馈主要来自 LLM 内部想象，而不是真实执行 observation。和传统 world model 的差异更大：传统 world model 需要学习或构建可查询的 transition dynamics；RADI 的 transition model 是 prompt-induced textual simulation。

看似新的“environment imagination”其实和 self-evaluation / verifier-guided decoding 很接近，只是 domain 换成 robot task planning，输入换成 environment state + action sequence。实质新增的信息是：在 VirtualHome household planning 中，用 LLM 自身做 imagined outcome checking 可以显著过滤一些典型 plan errors。

它属于技术谱系上的 LLM-as-planner → LLM-as-verifier/critic → test-time planning loop，而不是 model-based RL 或真正的 embodied dynamics learning。把它放在 World Models x VLAs 下可以理解，但需要谨慎：它更偏 symbolic / language-level world model，不是 visuomotor predictive model。

Dataset / Evaluation

实验在 VirtualHome 上做，且使用 LID 的 in-distribution dataset。这个选择能提供干净、可控、结构化的 household planning benchmark，但也明显限制了 claim 的外推。VirtualHome 的动作集合、对象状态和任务脚本都高度语言化，非常适合 GPT-4 的 procedural knowledge；这不是一个强物理泛化测试。

任务覆盖主要是 household activities，没有真实机器人、没有传感器噪声、没有低层控制失败、没有 partial observability，也没有动态环境。评价的是 action sequence 在 simulator 逻辑层面的可执行与目标达成，不是 embodied execution robustness。

论文使用 SRA、AR、OSR 这组指标是合理的，因为 RADI 允许 abstention。但这也引入解释问题：SRA 高说明 verifier 筛出的计划质量高，不代表系统整体解决率一定高；OSR 随 K 增大提高则可能反映重复生成预算，而非 world model 更强。

最关键的问题是 evaluation 是否真的验证“LLM as world model”。我认为只能弱验证。它证明 GPT-4 能在某些 in-distribution household scripts 上做有用的可行性审查；没有证明它能学习或泛化物理状态转移。文中未充分说明 imagined state prediction 的准确率、与 simulator ground truth 的一致性、以及 verifier false positive / false negative 的分解。

Limitation

第一，核心能力可能主要来自数据覆盖。VirtualHome household tasks 与互联网中大量日常活动脚本高度重合，GPT-4 可能是在做 script retrieval / completion，而不是推理出状态动力学。泛化到 novel tool use、unusual object affordance、几何约束强的任务时不一定成立。

第二，所谓 world model 缺少可校准状态表示。RADI 让 LLM 用自然语言描述 action effect，但没有维护显式、可查询、可组合的 belief state。planner 实际没有形成长期状态建模，只是在整段计划层面做一次语义一致性判断。

第三，增益来源不清。层级分解、重复生成、GPT-4 scaling、abstention、prompt wording 都可能贡献提升。论文没有足够 ablation 来区分 imagination 本身的贡献与 test-time compute / better prompting 的贡献。

第四，closed-loop 是伪闭环。反馈来自 LLM 自己的 imagined judgment，而不是环境执行后的 observation。若 LLM 的错误是系统性的，self-correction 可能只是自洽地强化错误。真实部署中需要外部 perception 和 execution feedback，否则无法处理物理不确定性。

第五，评估分布偏窄。只用 in-distribution tasks，很难支持“generalization ability as a world model”。如果 claim 是 LLM 可以作为 robotics world model，至少需要 OOD object/layout/task、不同 simulator、甚至 real-world validation。

第六，abstention 机制提高安全性但也转移了问题：系统可以通过放弃难例获得更高通过样本成功率。对于实际机器人，abstain 后如何恢复、请求帮助或主动探索，文中没有处理。

Takeaway

  • 1. 最值得记住的是 planner-verifier asymmetry：LLM 可能不擅长一次性生成完美长程计划，但相对擅长发现候选计划中的常识性状态缺口。
  • 未来 LLM planning 系统应更多利用这种不对称，而不是只优化 generator prompt。
  • 2. RADI 推动的不是新的物理 world model，而是 test-time semantic world checking。
  • 这个思路可以迁移到其他 embodied planning、tool-use workflow、web automation 等场景：先生成候选轨迹，再要求模型预测后果并找冲突。

一句话总结

RADI 是一篇把 LLM robotic planning 从 open-loop program generation 推向 test-time imagination-based verification 的工作，真正贡献在于用 LLM 自身的常识批判能力改进计划，而不是证明了 GPT-4 已具备严格意义上的 embodied world model。