ICLR 2024 / 多智能体协作

Building Cooperative Embodied Agents Modularly with Large Language Models

作者：Hongxin Zhang, Weihua Du, Jiaming Shan, Qinhong Zhou, Yilun Du, Joshua B. Tenenbaum, Tianmin Shu, Chuang Gan · 单位：University of Massachusetts Amherst, Tsinghua University, Shanghai Jiao Tong University, MIT-IBM Watson AI Lab · 会议/期刊：ICLR 2024 · 分类：多智能体协作 · 发布日期：2024

具身智能智能体

精读笔记

Problem Setting

《Building Cooperative Embodied Agents Modularly with Large Language Models》（ICLR 2024）实际解决的是一个比常规 embodied planning 更接近真实协作的设置：两个去中心化具身 agent 在多房间环境中执行长时程、多目标任务，观测是局部的，通信是有成本的，并且 agent 需要和 AI 或人类协作。

关键矛盾在于：协作需要共享信息，但共享信息本身消耗时间；高效完成任务需要分工，但分工依赖对他人状态、意图和已知信息的估计；环境状态会被他人改变，因此本地记忆天然可能过时。以前方法卡在三个地方：MARL 难以在长时程稀疏奖励和视觉输入下学到可解释协作；经典 hierarchical planner 需要大量手工启发式和相对干净的状态；很多 multi-agent communication 工作默认免费通信、共享 observation 或使用不可解释通信协议。本文把这些困难集中到一个具身 household benchmark 里，但本质问题是 decentralized belief + costly language communication + high-level joint task allocation。

Motivation

已有路线缺的不是又一个低层导航器，而是能处理开放语义信息的协作决策层。具身多智能体任务中，很多关键决策并不是连续控制问题，而是语义层面的：谁已经看到什么、谁更适合去哪个房间、某个 object 是否还需要搬、什么时候告诉队友、什么时候不打扰。

作者的核心观察是：LLM 已经具备若干对该问题有用的先验能力，包括对象常识、自然语言理解 / 生成、指令遵循、粗粒度任务分解和一定程度的他人状态推断。与其端到端学习一个通信策略，不如把环境状态和历史压缩成文本，让 LLM 在 test time 做高层协作推理。关键缺口是如何把 LLM 放进 embodied loop，而不让它直接面对原始视觉、低层动作和无限开放动作空间。

Core Idea

论文真正的核心思想是：把去中心化具身协作问题转化为一个结构化、语言化、可执行约束下的高层选择问题。CoELA 不让 LLM 直接控制机器人，而是用感知和记忆把世界压缩成符号化 / 文本化状态，再让 LLM 在候选高层动作中选择，包括是否发送一条预生成的自然语言消息。低层执行由传统 procedural module 负责。

这个建模引入了非常强的 inductive bias：协作决策主要发生在对象、房间、任务进度、agent 状态和对话历史这些语义变量上，而不是像素或 primitive action 上。它重新组织了信息流：局部观测更新记忆，记忆被检索成 prompt，communication module 先生成潜在 message，planning module 再把 message 作为候选动作之一评估其成本收益。和 prior 的本质区别不是“用了 LLM”，而是把 costly communication 纳入 high-level action selection，同时保持自然语言通信对人类可读、对 LLM 可推理、对执行器可落地。

Method

方法层面最重要的机制有四个。

第一，显式语义 / 情景记忆解决部分可观测和长时程状态追踪。LLM 本身不可靠地维护环境状态，因此系统把 semantic map、task progress、自身状态、他人状态、action history、dialogue history 外部化。核心变化是 planner 面对的是可检索的 belief state，而不是即时观测。

第二，通信采用“两阶段”设计：先生成 what-to-say，再由 planner 决定 whether-to-send。这个机制重要，因为通信有成本；如果直接让 agent 随时对话，会退化成 free self-talk。把 message 放入 action list 后，通信和探索、抓取、运输等动作在同一决策层竞争。

第三，高层动作列表约束 LLM。LLM 不生成任意代码或 primitive control，而是在当前状态下可执行的高层计划中选择。这极大降低了无效动作和 hallucination，也让 system 的成功更多来自语义判断而非动作语法生成。

第四，执行模块把高层计划落到环境 primitive action。这个模块实际承担了大量可靠性：路径规划、交互规则、动作完成检测等。没有它，LLM 直接低层控制会显著失败。也就是说，CoELA 的 LLM planner 是协作策略层，不是完整 embodied controller。

Key Insight / Why It Works

这篇最值得记住的 insight 是：当前 LLM 在 embodied multi-agent 中最有价值的位置不是 perception，也不是 low-level control，而是语义层的 belief-conditioned coordination。只要把环境压缩成 LLM 熟悉的语言结构，并把动作空间约束成可执行选项，LLM 的常识和 instruction-following 能力就能直接转化为协作收益。

真正有效的部分很可能是三者叠加：一是 retrieval / memory reuse，把长时程历史和局部观测变成稳定上下文；二是 better inductive bias，把 Dec-POMDP 的巨大状态动作空间压缩成 household semantics；三是 test-time compute，GPT-4 在每个高层决策点重新做语义推理。相比之下，感知模型、prompt seed messages、具体 memory taxonomy 更像工程支撑。

通信的贡献需要谨慎看。论文展示了自然语言通信的可解释性和人类信任收益，但 AI-AI ablation 中禁用通信没有明显性能下降，这说明 benchmark 中很多收益可能来自更好的单体探索 / task allocation heuristic，而不是 emergent communication 本身。所谓“effective communication”在定性案例中成立，但定量归因不充分。更直接地说，CoELA 的强项可能是 GPT-4 作为高层 greedy semantic planner，而不是它真正学到了通信成本下的信息价值估计。

CoLLAMA 部分说明 open model 可以通过少量 GPT-4 轨迹蒸馏获得相近表现，但这更像 data / imitation / distillation 的结果，不足以证明开放模型具备独立协作推理能力。增益来源不清：可能主要来自动作分布覆盖、prompt 格式对齐和高质量轨迹筛选，而非 emergent multi-agent reasoning。

Relation To Prior Work

这篇属于 language-agent + cognitive architecture + embodied hierarchical planning 的交叉谱系。它和 SayCan、Inner Monologue、LLM-Planner、Code-as-Policies 等工作的共同点是：让 LLM 做高层语义计划，低层交给 affordance / planner / executor。不同点在于，这里显式加入了去中心化多智能体、通信成本和人类可读自然语言协商。

和传统 multi-agent communication / MARL 相比，它不是学习一个通信协议，而是利用预训练 LLM 的语言先验直接生成可解释消息；也不是 centralized critic 或共享 observation，而是每个 agent 维护自己的 memory 和 local belief。和 Watch-And-Help / VirtualHome 里的 social assistance planner 相比，CoELA 少了一些手工意图模型，多依赖 LLM 从文本状态中推断他人情况。

看似新的模块化框架，其实许多组件都是已有思想重组：semantic / episodic / procedural memory 来自 cognitive architectures，hierarchical planner 和 A* execution 是经典 embodied AI 工程，prompted action selection 是 language-agent 标配。实质新增的信息在于：把 costly communication 作为候选高层动作，和任务动作一起由 LLM 选择；并系统性测试 LLM agent 与 AI / human 协作时的行为和信任效果。

Dataset / Evaluation

评估覆盖两个模拟环境：TDW-MAT 更强调视觉感知、导航、搬运和容器使用；C-WAH 更强调 household predicate task 和协作分工。两者都包含多任务、多场景和长时程，但仍是模拟 household rearrangement，离真实机器人或真实家庭开放环境较远。

实验基本支持两个 claim：LLM 高层 planner 在这些任务上能超过强手工 planner；自然语言通信在人类协作中能提升主观信任和一定效率。但对于“costly communication 下 emergent effective communication”这一核心 claim，证据没有那么强。AI-AI ablation 显示禁用通信影响有限，说明当前 benchmark 可能不够迫使 agent 进行高价值信息交换。更强的验证应包括：更高通信成本、更强隐藏信息、更动态的他人行为、更复杂的目标依赖，以及对 communication value 的因果评估。

另一个 evaluation limitation 是 CoELA 运行成本导致 LLM 实验通常只跑 1 次，而基线跑多次；结果稳定性文中未充分说明。MAT baseline 虽然有 oracle perception / central observation，但任务对 RL 极不友好，因此它表现弱并不意外，不能作为特别强的反证。

Limitation

核心限制不在于“LLM 有时犯错”这么简单，而在于方法成立依赖一组很强的结构化前提。

第一，它依赖有限高层动作空间。LLM 看似在规划，实际上是在手工构造的候选动作中做选择。动作 abstraction 如果覆盖不到关键策略，planner 无法发明新操作；如果动作空间变大，选择质量和 prompt 可读性都会下降。

第二，它依赖外部 memory 和 template 把世界压缩成文本。planner 本身没有形成真正的长期状态模型，belief update、object tracking、task progress accounting 大量由系统工程承担。一旦环境更动态、观测更 noisy、对象关系更复杂，文本状态会迅速膨胀且不稳定。

第三，空间推理是明显短板。论文也承认没有有效利用 3D spatial information。很多具身协作的关键不是“哪个房间有 object”，而是路径成本、遮挡、可达性、队友正在执行的低层动作进展。当前 LLM 只能在粗语义层面估算，容易做出语义合理但物理低效的选择。

第四，通信能力可能被高估。AI-AI 中通信 ablation 不显著，说明该 benchmark 下自然语言更多提供可解释性和人类信任，而不是任务效率的必要条件。所谓 theory-of-mind-like reasoning 也可能只是从 prompt 中读出他人最近状态后做启发式匹配。

第五，泛化上限不清。CoLLAMA 通过 GPT-4 轨迹筛选微调得到不错结果，但这可能主要来自 data coverage 和 imitation。是否能迁移到不同房屋结构、更多 agent、非合作人类、真实语言歧义和真实感知失败，文中未充分说明。

Takeaway

  • 1. LLM agent 在 embodied cooperation 中最现实的用法是高层协作语义层，而不是端到端控制；把动作空间约束好，比让 LLM 自由生成更重要。
  • 2. 通信不应被当作独立生成任务，而应被纳入 action selection，与移动、探索、交互共享同一个成本收益权衡。
  • 这是本文最可迁移的设计。
  • 3. 显式 memory + language state compression 是当前 LLM embodied agent 的必要 scaffold；没有外部状态维护，LLM 的“推理”很快会被长时程状态追踪拖垮。

一句话总结

这篇论文把 LLM 从单体 embodied planner 推进到去中心化多智能体协作的高层语义协调器，本质贡献是用结构化记忆和候选动作约束把 costly natural-language communication 纳入可执行的协作规划框架。