精读笔记
Problem Setting
[Heterogeneous Policy Networks for Composite Robot Team Communication and Coordination]（arXiv preprint / 2026-06-23）
这篇论文解决的不是“让多智能体学会通信”这个泛问题，而是异构机器人团队里通信语义不共享的问题：不同类别 agent 拥有不同 observation/action/state space，有的甚至没有观测，因此通信不仅是信息传递，更是跨角色的信息翻译与控制依赖。真正困难点在于，通信协议必须同时解决三件事：谁的信息对谁有用、同一信息在不同 receiver 上如何解释、以及在共享奖励和部分可观测下如何把这种依赖学出来。
以前的 CommNet、TarMAC、MAGIC、DGN/GAT 类方法通常把 agent 放进同构图或共享 message space，即使有 attention，也主要是在学习 interaction strength，而不是 sender-receiver-type-conditioned semantics。这样在异构团队中容易出现两个问题：一是消息被迫对所有 agent 近似同义，削弱 role specificity；二是 action-only agent 对 perception agent 的依赖无法被结构化表达，credit assignment 会变得很糟。
这个任务的关键矛盾是：异构性带来协作互补性，但也破坏了共享通信协议的前提。若不显式建模异构性，通信反而可能成为噪声；若每种 team composition 都重新训练，又失去机器人团队方法应有的可扩展性。
Motivation
已有路线不够的核心原因是它们把通信主要看作 message passing / attention scheduling，而不是跨角色语义对齐。对于同构 agent，这个简化通常够用；但在 composite robot team 中，perception agent 和 action agent 的信息需求、动作后果、观测能力完全不同，统一消息空间会掩盖这些差异。
作者的关键观察是：异构通信协议天然应该依赖边类型，而不仅依赖节点状态。也就是说，A 类 agent 发给 B 类 agent 的 message，与 A 发给 A、B 发给 A，在语义上不应共享同一个编码/解码路径。这里缺的是一种 inductive bias：让网络在结构上承认“通信语言是 role-pair-specific 的”。
扩展版的动机则更工程化但合理：早期 HetNet 虽然能表达异构通信，但在大环境、更多 agent、稀疏共享奖励、噪声链路下不够可训练或不够可部署。因此作者补上 PPO、tensorized scalable representation、transfer 和 noisy channel training。这里的缺口不是新理论，而是把 typed communication architecture 推到更接近机器人部署的约束下。
Core Idea
论文真正的核心思想是：把异构机器人协作中的通信建模成 typed graph 上的语义转换，而不是同构 graph 上的连续 feature exchange。节点类型编码 agent class，边类型编码 sender/receiver class pair；消息不是简单广播 embedding，而是经过 class/edge-specific encoder-decoder，被 receiver 以 attention 聚合后进入 policy。这相当于给 MARL communication 加了一个强 inductive bias：消息的意义由通信双方角色共同决定。
这个建模方式理论上/直觉上成立，是因为异构团队里的信息价值高度条件化。一个 perception agent 发现目标位置，对另一个 perception agent 可能意味着探索避让或覆盖互补；对 action-only agent 则可能直接决定导航和执行动作。用 typed edge 将这种条件化写进网络结构，比让一个 homogeneous GAT 自己从数据里发现这些关系更 sample-efficient，也更不容易学到平均化协议。
扩展版的另一个核心思想是把可扩展性拆成 representation scalability 和 optimization scalability：FCN + adaptive pooling 让输入尺寸变化不改变 policy 参数，MAH-PPO 让共享奖励下的大规模训练更稳定，小到大 transfer 则把大规模探索问题部分转化为已学空间-通信模式的复用。这里真正改变的是信息流和参数共享方式，而不是单纯加深网络。
Method
1. Heterogeneous graph communication：解决同构通信无法表达 role-pair semantics 的问题。每类 agent 是一种 node type，每种发送者-接收者类别组合是 edge type；核心变化是让通信协议按类别关系分解，而不是所有 agent 共享同一消息变换。
2. Sender/receiver-specific message transformation：解决“同一消息对不同 receiver 不应同义”的问题。encoder/decoder 与类别绑定，使消息更像跨角色翻译，而不是全局 latent broadcast。必要性在于异构 action/observation space 下，receiver 的决策语境不同。
3. Attention over typed neighbors：解决局部通信中不同邻居重要性不同的问题。这里 attention 的作用不是新颖性本身，而是配合 edge type 在每类关系内做选择性聚合，避免把所有邻居消息等权混合。
4. Binarized communication bottleneck：解决 Low-SWAP / bandwidth 约束，同时迫使 latent protocol 压缩。它带来的核心变化是把通信从高维连续 hidden state exchange 限制为低比特离散 code；这可能提升部署可行性，也可能作为正则化帮助形成更稳定协议。
5. Tensorized representation + FCN pooling：解决策略参数依赖环境尺寸、观察窗口和 agent 数量的问题。核心变化是从固定 one-hot/vector input 转到空间张量表示，再通过 adaptive pooling 输出定长 embedding，从而允许 small-to-large transfer。
6. MAH-PPO with centralized critic：解决共享奖励、部分可观测、大规模异构团队下早期 MAHAC 难训练的问题。它不是通信建模的核心创新，但很可能是扩展版性能提升的重要来源。
Key Insight / Why It Works
最可能真正有效的部分是 typed communication inductive bias。它把原本需要从数据中硬学的“角色关系”直接放进结构：不同类别 agent 不共享同一套消息解释函数，通信边的语义由 sender/receiver type 决定。这对异构团队尤其关键，因为任务依赖往往不是 agent-level，而是 role-level：perception → action、perception → perception、action → perception 各自承担不同功能。
第二个有效因素是 representation alignment。二值 message bottleneck + class-specific decoder 实际上在逼迫不同 agent class 通过一个受限中间码对齐任务相关信息。相比连续高维通信，它减少了无关状态泄漏，也降低了 receiver 端解释空间。这里的收益可能不只是带宽下降，也包含强正则化。
第三个因素是 scaling / curriculum，而不是纯粹架构泛化。small-to-large transfer 本质上是 curriculum + parameter reuse：先在小图/小地图中学会基本通信-协作模板，再迁移到更大的状态空间。论文把它表述为 scalability，但严格说这更像同一任务族内的结构复用；是否能跨任务、跨动力学、跨异构类别组合泛化，文中未充分说明。
MAH-PPO 的贡献更偏 optimization engineering，但不可低估。很多大幅性能提升可能来自 PPO 相比 MAHAC 的稳定性、mini-batch reuse、clipped objective 和实现优化，而不一定来自 HetGAT 本身。尤其文中承认 MAHAC 复现结果与早期论文不完全一致，这意味着增益归因不清。
噪声鲁棒性部分说明二值协议在 bit flip 下仍能工作，但这也可能反映任务本身对消息精度要求有限，或者协议存在冗余。它证明了 bounded corruption 下策略不立即崩溃，但还不能证明真实通信系统中的 latency、packet burst loss、asynchrony 和 topology变化下仍可靠。
Relation To Prior Work
这篇属于 MARL communication + graph neural policy + heterogeneous multi-robot teaming 的交叉谱系。与 CommNet/DIAL 的差异在于它不把通信视为全体共享通道；与 TarMAC/MAGIC/G2ANet 的差异在于 attention 不只是选择通信对象，而是嵌入 typed sender-receiver semantics；与 DGN/GAT-MARL 的差异在于 graph 不是 homogeneous interaction graph，而是 heterogeneous relation graph。
看似新的部分里，PPO、GAT、Gumbel-Softmax、FCN tensor input、centralized critic 都不是新思想；扩展版很大程度是已有组件的合理重组。实质创新在于把这些组件组织成一个面向异构机器人通信的结构偏置：class-wise policy、edge-type communication、receiver-conditioned decoding、低比特 message bottleneck。
与 HMAGQ-Net 等 heterogeneous MARL 相比，本文更强调通信协议本身的异构性，而不仅是不同 state/action space 下的联合控制。与 noisy communication MARL 相比，本文同时处理 heterogeneity 和 bandwidth，但噪声模型仍是比较理想化的后验 bit perturbation。
所以它的新增信息不是“GNN 可用于 MARL 通信”，而是：在异构团队中，通信边类型应该是一等建模对象；否则 attention 学到的只是拓扑权重，不是跨角色语义。
Dataset / Evaluation
评估主要在 PCP 和 FireCommander 两个 grid-world 异构协作环境上进行，覆盖 small/medium/large 配置、共享与个体奖励、带宽限制、噪声通信和 transfer。任务设计与论文 claim 基本对齐：都有 perception/action 分工、部分 agent 无观测、必须依赖通信才能高效完成任务，因此适合检验 heterogeneous communication bias。
但任务覆盖仍较窄：两个环境都属于二维离散空间、局部观测、显式类别分工、相对简单动力学。它验证的是同一类结构化任务族中的 scalability，而不是开放异构机器人任务泛化。大规模配置主要是地图和 agent 数量扩大，不等价于更复杂的长期规划或真实机器人不确定性。
baseline 对比显示 HetNet 明显更强，但归因不完全干净。baselines 使用默认 vectorized representation，而 HetNet 使用 tensorized representation、PPO、transfer 和 typed graph；这些差异都可能影响结果。文中有 ablation，但仍不足以完全分离“异构通信建模”与“更好的 optimizer / representation / curriculum”的贡献。
Robotarium 演示有价值，但主要证明 learned trajectory 可被真实平台执行，并不能证明真实世界中端到端训练、传感误差、异步通信、动力学约束下仍能保持同等性能。真实部署 claim 应该谨慎解读。
Limitation
第一，方法依赖离散且已知的 agent class。若异构性是连续的、任务中动态变化的，或类别划分本身不清晰，edge-type parameterization 可能变得笨重甚至错误。类别数增加时，sender-receiver edge type 数量近似平方增长，scalability 上限会被参数和数据覆盖拖住。
第二，泛化主要是同任务族内的 size generalization。FCN + adaptive pooling 解决了输入尺寸不匹配，但不自动带来 task-level generalization。所谓 transfer 更像在相似环境动力学和奖励结构上的 warm start；跨任务、跨传感模型、跨通信拓扑的泛化文中未充分说明。
第三，增益来源不清。HetNet 的提升可能来自 typed communication，也可能来自 PPO、共享奖励设置、tensor input、adaptive pooling、transfer curriculum、baseline 适配不充分，甚至代码实现差异。尤其 MAHAC 复现 discrepancy 被作者自己指出，这削弱了关于算法改进幅度的干净结论。
第四，二值消息是否学到了可解释、可组合的通信语言并不清楚。它可能只是任务特定 codebook，在固定 benchmark distribution 下有效；若目标分布、agent composition 或噪声模式改变，协议是否仍可复用没有被充分验证。
第五，真实通信建模仍简化。bit flip AWGN / range-based / type-based noise 是合理第一步，但没有处理 packet loss、latency、bandwidth contention、asynchronous clocks、routing failure、hardware constraints 和 multi-hop networking。机器人系统中的通信失败往往不是独立 bit error。
第六，方法把一部分问题从 learning 转移到了结构假设：需要预先知道 class、可构造邻接、可张量化状态、可获得 centralized critic 的 global state。部署中这些前提未必成立。
Takeaway
- 1. 对异构 MARL communication，最值得迁移的 insight 是：message semantics 应该绑定 sender-receiver role，而不是让所有 agent 共享一个隐式语言空间。
- 2. Typed graph 是处理 composite teams 的有效 inductive bias；它比单纯 attention 更强，因为它不仅选择通信对象，还规定了信息解释路径。
- 3. 可扩展性不只是模型能吃更大输入，还需要训练路径设计。
- small-to-large transfer 在这类空间结构任务里可能比从零训练大模型更关键。
一句话总结
这篇论文在 MARL 通信方向中的位置，是把同构 attention-based communication 推进到 typed heterogeneous robot teams 的结构化通信建模；真正贡献是把 sender-receiver role-conditioned semantics 作为网络归纳偏置，并用 PPO、尺寸无关表示和 transfer 将其工程化到更大规模设置。