精读笔记

Problem Setting

这篇论文处理的是 textual partially observable Markov games 中的 cooperative coordination：多个 agent 只看到局部文本观察，需要在离散动作空间中同步完成目标或避免冲突。真正困难不在于“读懂文字描述后选动作”，而在于 multi-agent setting 下局部最优动作经常不是 joint optimal action，例如同时到达、同时拾取、谁先过路口等都需要对对方状态和意图形成一致预期。

以前的两类路线各自卡住：传统 MARL 可以建中心化训练、通信、credit assignment，但在这些文本任务上样本效率差，且 learned communication 往往不可解释；LLM-as-agent 路线有强先验和较好 grounding，但主要是单智能体范式，多个独立 LLM policy 并不会天然形成协调惯例。关键矛盾是：LLM 的 prior 帮助单体语义决策，但 coordination 需要 joint policy structure，而这个结构不能只靠 prompt 中写“cooperate”自动出现。

Motivation

已有 LLM grounding 方法的缺口是 coordination objective 缺失。单智能体 GLAM 式 online RL 可以把 LLM 的语言先验对齐到环境 affordance，但它没有处理多主体之间的非平稳性、joint credit assignment 和同步行动。把它复制成多个 independent agents 只是把单体能力并排放置，并没有产生协调机制。

作者真正抓住的点是：自然语言不仅是 observation/action interface，也可以作为 agent 间共享 intent 的通信介质；同时，同一个 LLM backbone 可以天然提供一个共享语义空间，使不同 agent 的策略不至于各自学习出不兼容的行为惯例。因此这篇论文缺的不是更强 planner，而是一个把 LLM prior、中心化训练和可解释通信绑在一起的 coordination inductive bias。

Core Idea

FAMA 的核心思想是把 MARL 中多个 agent 的 policy 合并到一个共享 LLM 条件分布里：agent identity、局部 observation、goal、可行动作共同构成 prompt，不同 agent 只是同一模型在不同角色条件下的输出。这样 coordination 不再完全依赖多个独立参数化 policy 的后验对齐，而是通过共享参数、共享语言先验和共享更新来形成一致的行为习惯。

第二个核心是用中心化 critic 对这个共享 actor 做 online functional alignment。critic 看全局文本观察，actor 仍可去中心化执行。这个结构本质上把 CTDE 搬到 LLM policy 上：critic 学 joint progress，actor 学在局部观察和消息条件下选择动作。自然语言通信则把本来隐式的 opponent modeling 简化为显式 intent conditioning，尤其适合“我等/你过”“我已接近目标”等短时协调模式。它引入的新 inductive bias 是：coordination 可以被压缩成少量语言化意图，而不是完全从轨迹统计中学习。

Method

方法中最关键的不是 Flan-T5 或 PPO 细节，而是三种信息流重组。

第一，共享 actor。一个 LLM 同时扮演多个 agent，靠 agent identifier 区分角色。这解决的是 independent LLM agent 之间策略语义空间不一致的问题。它带来的变化是，所有 agent 的 policy update 都作用于同一套参数，因此学习到的“如何配合”更容易成为全局共享惯例，而不是每个 agent 各自拟合局部经验。

第二，中心化 critic。critic 接收多个 agent 的文本 observation 组成的 global observation，输出状态价值。它解决的是 coordination reward 很难从单个局部 observation 判断的问题。核心变化是把 joint success / joint failure 的价值信号注入到 actor 更新中，使 actor 不只优化局部可解释动作，也被推向对 joint outcome 有利的动作。

第三，自然语言通信。每个 agent 在行动前从离散消息集合中选择消息并广播给其他 agent，随后动作条件化于收到的消息。它解决的是局部可观测和时序同步下缺少 intent sharing 的问题。这里的通信不是 emergent continuous protocol，而是利用预训练语言语义作为现成协议空间。需要注意，文中通信仍是离散候选消息选择，不是开放自然语言协商，因此能力上限由消息集合和 prompt 设计强烈约束。

Key Insight / Why It Works

我认为真正有效的部分是“共享 LLM actor + 中心化 critic”的组合，而不是自然语言通信本身。共享 actor 让所有 agent 复用同一套语言-动作 grounding 和同一套 coordination updates，相当于在多智能体之间强行施加 representation alignment；中心化 critic 则提供 joint-level reward shaping，使这种共享表示朝协调方向收敛。这个组合比 independent GLAM 更合理，因为 independent GLAM 只有语言先验，没有 joint value signal，也没有跨 agent 参数共享。

LLM prior 的作用也很关键，但应当被理解为 data coverage / representation prior，而不是强推理能力。BabyAI-Text 和 junction 的文本描述、动作名、目标语句都非常模板化，LLM 很可能已经知道“go_forward”“turn_left”“wait”“avoid crash”等语义关系。在线 RL 做的是把这些已有语义重新标定到环境奖励，而不是从零学习控制。这就是 sample efficiency 的主要来源。

通信模块的贡献更像是辅助性的 error-reduction bias。它在惩罚型任务和路口任务中降低 crash/error，符合直觉：短消息可以提前暴露 intent，减少互相抢占。但文中没有充分证明消息被因果使用，也没有和 learned discrete communication、privileged state sharing、hand-designed coordination bits 做公平比较。通信 heatmap 说明模型学到了一些空间位置相关的等待协议，但这也可能只是对环境几何结构的模板化反应。

需要直接指出：部分增益来源不清。FAMA vs independent GLAM 混合了共享参数、中心化 critic、不同 prompt、可能不同模型尺寸和训练稳定性；FAMA-Communication 在某些设置下还涉及模型规模差异。symbolic PPO/MAPPO 失败更多反映低样本预算下 tabula-rasa symbolic RL 不占优，不是 LLM 真正学会复杂 multi-agent reasoning 的证据。整体更像 representation alignment + pretrained semantic prior + CTDE 的工程组合，而非新的 MARL optimization principle。

Relation To Prior Work

这篇最接近 Carta et al. 的 GLAM：都是把 LLM 作为在线 RL policy，通过 functional alignment 把语言先验 grounding 到环境动作。实质差异是 GLAM 是 single-agent grounding，FAMA 把它扩展到 MARL，并引入 CTDE 和共享 actor。换句话说，FAMA 是 GLAM × MAPPO × language communication 的组合。

和传统 MARL communication 相比，FAMA 的新点不在“agent 通信”这个概念，而在通信协议不是从零 emergent learning，而是直接使用自然语言候选消息。这个变化带来可解释性和先验语义，但也减少了协议自由度。和 CommNet、DIAL、TarMAC 等连续/离散通信方法相比，它牺牲了端到端表达能力，换取 human-readable 和低样本语义 prior。

和 LLM planner / embodied reasoning 工作不同，FAMA 不是把 LLM 当 high-level planner 再交给低层控制器，而是直接从 LLM token likelihood 得到离散动作分布并用 PPO 更新。这一点是实质性的：它把 LLM 纳入 policy optimization，而不是只做 prompt-time planning。不过它仍然没有展示长期规划或复杂 world model，标题中的“world model”分类在这篇里并不准确；critic 是 value estimator，不是显式世界模型。

Dataset / Evaluation

评估覆盖两个小规模 textual MARL 环境：multi-agent BabyAI-Text 和 traffic junction。任务设计确实对 coordination 有要求，包括同步到达、同步拾取、惩罚单独行动、避免路口碰撞。这些任务足以验证 FAMA 在短 horizon、离散动作、文本模板明确的 coordination toy setting 中优于 independent LLM 和低样本 symbolic RL。

但 evaluation 对核心 claim 的支撑是有限的。首先，任务规模很小，agent 数量少，coordination pattern 基本是二主体同步或让行，没有复杂分工、长期承诺、欺骗/误解、动态角色分配。其次，所有环境都是文本包装的离散 grid/task，远离真实世界和连续控制。第三，baseline 不够强：symbolic PPO/MAPPO 在这种样本预算下失败并不意外；缺少参数共享的非 LLM MAPPO、带手工消息的 oracle communication、learned discrete communication、larger independent LLM 等关键对照。

因此实验能够支持“在这些 toy textual coordination tasks 上，FAMA 是更好的低样本方案”，但不能支持“LLM 可以普遍实现优化协调”这一更强叙事。尤其是 communication 的 interpretability claim 有一定证据，但 communication 的 necessity 和 causal contribution 没有被充分隔离。

Limitation

第一，方法强依赖文本化接口和离散候选空间。动作和消息都需要可枚举、可语言命名，环境 observation 也需要被模板化为 LLM 可利用的描述。一旦进入连续动作、高维感知、多模态噪声或非模板语言，FAMA 的优势可能迅速下降。

第二，scalability 上限明显。每个 agent 每步都要 query LLM 产生消息和动作，多 agent 数量增长会线性甚至更糟地增加 inference cost；中心化 critic 的输入也会随 agent 数增长变长，context window 和 credit assignment 都会成为瓶颈。作者也承认 inference time 是未来问题，但这不是表面工程问题，而是 LLM-as-policy 在 MARL 中的结构性成本。

第三，泛化 claim 不强。论文没有展示跨任务 zero-shot / few-shot transfer，也没有系统测试未见组合、更多 agent 或分布外地图。所谓 general cooperative behaviour 主要来自预训练语言先验和相似任务模板，文中未充分说明它是否能迁移到新的 coordination mechanism。

第四，增益归因不清。共享 LLM、中心化 critic、自然语言消息、prompt design、模型尺寸、低样本优势交织在一起。尤其 FAMA-Communication 使用不同模型规模的设置会让“通信带来收益”的结论不够干净。文中需要更强 ablation 才能说明每个机制的必要性。

第五，所谓 reasoning / coordination 可能更多是 retrieval + template grounding。路口等待、同时到达物体这类模式在语言和常识中非常常见，LLM 可能只是把已有语义映射到动作，而不是形成显式长期 opponent model。对于需要隐藏偏好推断、长期 joint planning 或非自然语言可表达策略的任务，这个机制是否成立仍未知。

Takeaway

• 1. 对 LLM-MARL 来说，最有价值的方向不是让每个 agent 更聪明，而是让多个 agent 共享表示和更新，使 coordination convention 在同一模型内部形成。
• 2. 自然语言通信的价值主要在低样本、可解释、短期意图同步；它不是万能 communication channel。
• 未来更值得研究的是语言消息是否被因果使用，以及如何从离散模板消息扩展到可学习但仍可解释的协议。
• 3. FAMA 的可迁移 insight 是：把 CTDE 的 joint value signal 接到 pretrained language policy 上，可以把 LLM prior 从单体 grounding 推向 joint behavior alignment。

一句话总结

FAMA 是把 GLAM 式 LLM online functional alignment 扩展到 MARL 的早期尝试，其真正贡献在于用共享 LLM actor 和中心化 critic 给 textual multi-agent coordination 加上 representation alignment 与 CTDE bias，而不是证明了 LLM 已具备通用多智能体协作推理。