精读笔记

Problem Setting

《Adaptive Coordination in Social Embodied Rearrangement》（ICML 2023）关注的是具身多智能体重排中的 zero-shot coordination：一个机器人需要在新场景、新物体布局、新伙伴策略下，仅凭自身 egocentric sensing 和有限 partner-relative signal，与未见过的伙伴协作完成长时程 household rearrangement。

真正困难点不是重排本身，而是三件事叠加：部分可观测、高维视觉输入、伙伴策略未知。传统 ZSC 假设可以先训练一个多样化 population，再训练 coordination agent 对 population 做 best response；但在这里，第一阶段的 population 很容易行为坍缩。例如多个 agent 都学会优先拿同一个物体，因为这是 reward 下最稳定的局部解。这样训练出的 coordinator 只会适应一种“伙伴偏好”，遇到另一类伙伴就不会补位。

所以这篇论文的关键矛盾是：ZSC 需要训练时看到足够多的 partner behavior modes，但视觉具身 RL 又天然让多个策略收敛到少数容易学的模式。论文解决的是这个矛盾，而不是提出一个通用 household robot system。

Motivation

已有 population-play / self-play / fictitious co-play 的隐含假设是：随机初始化、随机配对、训练 checkpoint 本身能带来足够 population diversity。这个假设在低维、离散、对称性明确的环境里有一定道理，因为不同初始化容易落入不同 conventions。但在 Social Rearrangement 这种视觉长时程任务中，这个假设基本失效。

作者的核心观察很直接：prior ZSC 方法失败主要不是 coordination policy 不够强，而是训练 population 不够多样。也就是说，第二阶段学到的是对窄伙伴分布的响应，而不是 general coordination。

缺口在于：ZSC 需要的是 behavior-space coverage，而 prior 方法大多只制造 parameter-space randomness。参数不同不代表行为不同，尤其在任务奖励强约束且视觉 encoder 训练困难时，多个 policy 会产生相同高层行为。BDP 的动机就是把 diversity 从“希望 SGD 自己产生”变成“显式优化目标”。

Core Idea

BDP 的核心思想是：用一个 latent-conditioned behavior generator 表示训练伙伴群体，并用 discriminator 迫使不同 latent 对应可区分的状态轨迹。换句话说，population 不再是一组独立初始化的 policy，而是同一套共享感知/控制网络在不同 latent 条件下展开出的不同行为模式。

这个改变引入了两个关键 inductive bias。第一，多样性应该定义在行为结果上，而不是动作分布或参数空间上。不同底层动作可能到达同一状态，也可能表达同一协作意图；因此用 trajectory/state history 来区分 latent 更接近“伙伴偏好”的本质。第二，高维视觉任务中的 population 需要共享表示，否则训练多个独立视觉 agent 既低效又容易各自学坏。共享 encoder + latent behavior space 是一个更 scalable 的 population 参数化方式。

和 prior 的本质区别在于：BDP 不再把 population diversity 当成训练噪声的副产品，而是把“可被识别的行为差异”作为目标函数的一部分。这使 coordinator 在第二阶段看到的是结构化 partner variation，而不是若干随机但实际同质的策略。

Method

方法的关键机制可以压缩为三步。

第一，训练 behavior policy generator。它接收 observation 和离散 latent z，输出行为。z 类似 population ID，但不是独立 policy ID，而是共享 policy 的行为条件。它解决的是视觉 setting 下独立 population 不可扩展、且行为容易坍缩的问题。核心变化是 population 从多网络集合变成单网络条件分布。

第二，引入 trajectory discriminator。discriminator 试图从 agent 的状态轨迹历史中预测对应 latent。behavior policy 得到的 diversity reward 会鼓励不同 latent 产生可识别的轨迹模式。它解决的是“latent 被 policy 忽略”的问题；如果没有这个压力，不同 z 很可能收敛成同一种高回报行为。这里真正重要的是 distinguishability，而不是 discriminator 架构本身。

第三，冻结 behavior generator，训练 coordination policy 与随机 latent partner 协作。这个阶段本质是 domain randomization over partner behaviors：coordinator 被迫根据观测到的伙伴行为调整自己的 subtask choice、避让和补位策略。它并没有显式建模伙伴意图，只是通过交互训练形成对行为模式的条件响应。

需要注意：论文采用 hierarchical policy 和 perfect low-level skills，这使问题主要落在 high-level coordination 上。这个设计合理地隔离了研究问题，但也意味着结果不能直接解释为端到端机器人操作能力。

Key Insight / Why It Works

这篇论文最重要的 insight 是：ZSC 的瓶颈往往不是 best-response learning，而是 partner distribution construction。一个 coordination agent 能否 zero-shot generalize，首先取决于训练时 partner population 是否覆盖了测试伙伴的关键行为模式。BDP 的贡献正是在这个分布构造环节施加了任务相关 inductive bias。

为什么 discriminator diversity 有效？因为它把“不同 latent”变成一个可监督的可识别变量。如果 latent A 和 latent B 都去拿同一个物体、走同样路线、完成同样 subgoal，discriminator 无法区分；policy 就没有 diversity reward。为了同时拿任务 reward 和 diversity reward，policy 倾向于把不同 latent 分配到不同任务角色或不同 subgoal preference 上。这种机制天然适合 rearrangement：任务通常可以分解成多个对象/子目标，行为多样性可以通过“我先做哪一部分”体现出来。

最可能是核心贡献的是 state-trajectory-level discriminability，而不是共享网络本身。共享网络提高 sample efficiency，也降低训练多个视觉 agent 的成本，但如果没有 discriminator，ablation 显示 latent 会被弱化甚至忽略，ZSC 仍差。反过来，仅靠随机初始化或 action-distribution diversity，也不能稳定产生 task-relevant partner modes。

不过也要直接判断：BDP 学到的更像 latent-conditioned behavior coverage + robust response，不是强 theory-of-mind。它没有显式预测伙伴目标、未来计划或 belief state；所谓 adaptation 多半来自训练时见过足够多“伙伴会做哪部分任务”的模式，然后在测试时通过观察早期行为选择互补动作。这里的泛化更接近 data coverage / behavior-space domain randomization，而不是抽象推理。

还有一个可能被低估的因素是工程 scaffold。perfect skills、目标坐标、relative partner pose、subgoal reward、碰撞终止等都显著降低了感知-控制难度，使 high-level diversity 更容易转化成成功率。论文的增益归因基本可信地指向 diversity objective，但真实 deployment 中低层失败、遮挡、误抓取、非理性人类行为会明显放大问题。

Relation To Prior Work

这篇属于 ZSC / ad-hoc teamwork / population-based MARL 的谱系，最接近 population play、FCP、TrajeDi 和 DIAYN-style skill diversity。

相对 SP/PBT/FCP，它的实质差异是 diversity 来源不同。SP/PBT/FCP 依赖独立 policy 的随机初始化、配对和 checkpoint 多样性；BDP 则显式优化 behavior distinguishability。这是从 parameter stochasticity 到 behavior objective 的转变。

相对 TrajeDi，它的关键区别是 diversity 度量对象不同。TrajeDi 鼓励 action-distribution trajectory diversity，但具身任务里 action diversity 未必等于行为 diversity；不同动作可能导致同一状态变化，同一高层行为也可能由不同低层动作实现。BDP 用 state trajectory history 更接近 embodied behavior 的可观察后果。

相对 DIAYN / unsupervised skill discovery，BDP 的思想并不全新：用 discriminator 预测 latent 来学习多样技能是已有套路。新意在于把这个机制嵌入 ZSC 的 partner population construction，并与视觉具身协作任务结合。可以说，BDP 是 skill-discovery-style discriminability objective 在 ZSC population generation 上的有效重组，而不是全新的优化范式。

相对 ToM / explicit partner modeling，BDP 更弱也更实用：它不建模伙伴内部状态，只通过多样伙伴训练让 coordinator 学会 reactive adaptation。这降低了建模要求，但也限制了对复杂人类策略的泛化。

Dataset / Evaluation

Social Rearrangement 的价值在于把 ZSC 从低维 symbolic / grid benchmark 推到视觉 3D household rearrangement：多房间场景、对象重排、双 Fetch、egocentric depth、部分可观测、训练/测试场景和物体配置拆分。作为 benchmark，它比 Overcooked 类环境更接近具身协作问题。

但 evaluation 仍然主要验证的是“在模拟器内、给定技能库和任务族内，对 held-out scripted/learned policies 的 zero-shot robustness”。它没有真实机器人实验，也没有真实人类伙伴。所谓 unseen partners 包括 scripted agents 和 learned agents，但这些 partner 的行为空间仍由同一任务结构、同一技能抽象和相近训练过程限定。因此它支持“BDP 比 prior ZSC 更适合此类视觉具身 benchmark”，但不充分支持“能泛化到真实 human-robot collaboration”。

实验设计比较有说服力的一点是同时看 success 和 cooperation efficiency。仅成功率可能被强伙伴掩盖：一个 coordinator 什么都不做，强伙伴也可能完成任务。efficiency gain 更能反映是否真正协作。BDP 在这点上优于 baseline，说明它不只是搭便车。

不过 evaluation 的 diversity 分析仍偏弱。用手工 subgoal 统计展示 adaptation 是直观的，但不是通用 diversity metric；如果任务没有清晰对象级子目标，这套分析方式是否成立文中未充分说明。

Limitation

BDP 的核心前提是：可泛化的协调能力可以通过训练时覆盖足够多 partner behavior modes 获得。这意味着它对训练 distribution 很敏感。若测试伙伴行为超出 latent generator 覆盖范围，BDP 没有机制进行真正的在线识别、推断或更新。

第二，diversity objective 可能优化出“可区分但未必有用”的行为。本文任务有天然子目标结构，所以 distinguishability 容易对应拿不同物体、做不同部分；但在更连续、更耦合的协作任务中，可区分轨迹不一定等于协作相关角色差异。latent 数量、diversity 权重和任务 reward 的平衡可能成为关键但脆弱的调参问题。

第三，训练 discriminator 使用 privileged state trajectory。虽然 evaluation 不用 privileged state，但训练阶段的 hidden supervision 不能忽略。真实机器人或人类数据中未必能获得干净 state trajectories，这会影响方法迁移。

第四，长时程 reasoning 的成分有限。由于使用 perfect low-level skills、显式目标坐标和 subgoal reward，policy 更像在学习高层任务分配和避碰，而不是从原始感知中形成复杂规划。所谓 social adaptation 主要是 reactive role allocation，不是深层 mental-state modeling。

第五，scalability 仍不清楚。两智能体、两个对象级子任务、三个 household tasks 是相对可控的设置。扩展到多智能体、多阶段依赖、必须同步操作、语言协商、动态偏好变化时，仅靠离散 latent population 可能不够。BDP 可能把“泛化问题”转移成“如何生成足够覆盖的训练伙伴分布”。

Takeaway

• 1. 对 ZSC 来说，训练伙伴分布的构造比 coordination policy 架构本身更关键；没有 behavior diversity，best response 学得再好也只是窄分布适配。
• 2. 在视觉具身 MARL 中，parameter-space diversity 基本不可靠；更应该直接优化 behavior-space distinguishability，尤其是基于状态后果而非动作分布。
• 3. BDP 的可迁移 insight 是：把 population 表示成 latent-conditioned shared generator，可以同时获得 diversity control 和 representation sharing。
• 这对需要大量 partner/domain variation 的 embodied learning 问题很有用。

一句话总结

这篇论文把 ZSC 在视觉具身协作中的关键瓶颈从“如何学会协调”重新定位为“如何构造任务相关且可区分的伙伴行为分布”，BDP 是一种将 skill-discovery 式 latent discriminability 用于 population generation 的实用演化。