精读笔记
Problem Setting
论文标题：Continual Quadruped Robots Coordination via Semantic Skill Discovery（arXiv preprint / 2026）。
这篇论文实际处理的是多四足机器人协同任务流中的 continual learning，而不是单纯的 multi-agent pushing。任务会按顺序出现，机器人数量从 1 到 3 变化，物体形状、重量、地形和目标也变化；系统不能回看旧任务数据，但之后要能恢复旧任务上的可执行策略。
真正困难点在于：协同任务的变化不只是 observation / reward 的小扰动，而会改变合作结构，例如谁接触物体、如何围绕物体布置、多个机器人如何共享推动方向和接触稳定性。传统 continual RL 主要担心单策略参数遗忘；这里还多了一个问题：新任务可能需要新的 coordination pattern，但旧 pattern 仍要可被调用。
以前方法卡在两个地方：固定任务 MARL 能学出强策略，但默认任务族封闭；continual RL 能保护参数，但通常需要 task id、replay、multi-head 或正则化，难以处理 team size 和协作结构的变化。本文的关键矛盾是：如果所有任务共用一个策略，适配新协作模式会覆盖旧技能；如果每个任务独立训练，又失去跨任务迁移和开放任务流中的自动选择能力。
Motivation
作者的核心观察是，多四足协同任务之间存在一种粗粒度但有用的语义结构：机器人数量、地形、物体几何、目标动作往往决定了相近的协同模式。比如两个机器人推 cuboid 和三个机器人推 cuboid 不完全相同，但比推 triangular prism 或粗糙地形下的任务更可能共享某些接触布局和运动策略。
已有路线缺的是一个把这种任务级语义变成策略初始化和技能管理信号的机制。MARL 只在当前 MDP 中优化，不知道之前哪个技能最接近；continual regularization 只知道哪些参数重要，不知道哪个旧策略应该被复用；skill discovery 学 latent skill，但通常缺少可解释、可路由、可随任务流增长的技能库。
因此本文的出发点不是“让 VLM 理解机器人控制”，而是用 VLM/text embedding 作为低成本任务索引，把本来需要人工 task id 或 exhaustive evaluation 的 skill selection，替换成 pre-execution semantic retrieval。这个方向的合理性在于：在受控机器人任务族中，任务语义与物理可迁移性确实有相关性，哪怕不是严格等价。
Core Idea
Conquer 的真正核心是把 continual multi-quadruped coordination 从“持续更新一个大策略”改成“维护一个语义索引的可执行技能库”。每个任务到来时，不从零开始，也不直接覆盖全局策略，而是先根据预执行图像/任务描述检索已有技能，用其 adapter 初始化当前技能，再通过 MAPPO 在新任务上局部适配。训练成功后，再把该技能的轨迹语义写回库里，决定合并旧条目还是新增条目。
这个建模方式引入了两个 inductive bias：第一，协同技能应该是可隔离保存的，不应该被后续任务覆盖；第二，任务语义相近通常意味着 coordination pattern 有迁移价值。它重新组织了信息流：语义不直接控制机器人，而只负责选择和管理可执行参数；奖励学习不负责从全局历史中找迁移源，而只负责在选定初始化上做局部优化。
和 prior 的本质区别是，本文不是学习一个 universal policy，也不是纯 task-id multi-head，而是把 skill library 变成 continual learning 的主对象。语义 descriptor 在这里充当 task id 的弱监督替代物，但比显式 task id 更开放，因为它理论上可以处理未见任务描述。
Method
方法层面最关键的不是具体超参数，而是三个机制的配合。
第一，SAG backbone 解决 variable-cardinality team 的共享表示问题。它把每个机器人的 observation 拆成 self、allies、goal 三类 token，用 self query attend 到 teammate 和 goal context。这样策略接口不需要为不同机器人数量完全重写，且保留了多机器人协同中最重要的实体关系结构。它的作用是提供跨任务共享的交互表征，而不是单纯提高网络容量。
第二，LoRA/LocHead adapter 解决 continual learning 中的参数隔离问题。旧技能冻结，新任务只训练当前 adapter 和 critic。这样 BWT 接近零并不神秘：旧参数根本没有被覆盖。LoRA 的作用是允许中间交互表示轻量调整；只换 output head 不够，因为协同模式变化往往发生在实体关系编码层，而不是最后动作映射。
第三，语义 descriptor 解决 skill selection 问题。预执行 query 和成功轨迹描述都映射到同一 embedding space，库中每个技能保存 descriptor centroid。新任务检索最近技能用于初始化，训练后根据 descriptor 距离决定更新或新增。这一步把 task-aware selection 变成 task-agnostic retrieval，是本文区别于普通 multi-head / adapter library 的关键。
MAPPO 是适配器训练的工具，不是核心创新。它保证检索到的技能可以继续通过环境奖励修正，而不是完全相信语义相似度。
Key Insight / Why It Works
这篇最有效的部分大概率是“参数隔离 + 语义初始化”的组合，而不是 VLM 本身或 MAPPO 本身。
参数隔离解释了为什么 forgetting 很小：每个旧技能作为 adapter 保留，后续训练不改它。这个稳定性收益相当直接，和很多 multi-head / progressive / adapter-based continual learning 一脉相承。真正需要验证的是 plasticity 是否也提升；这里语义检索提供了比 scratch 更好的初始化，因此新任务学习更快、最终更好。
语义检索之所以有效，是因为 benchmark 的任务变化维度高度离散且语义显式：robot count、terrain、object geometry 基本就是任务标签的自然语言形式。embedding nearest neighbor 可以近似找到同类任务，因此它本质上是一个 soft task-id / soft curriculum selector。这里所谓 semantic skill discovery 更像 semantic skill indexing，而不是发现了深层物理因果结构。
SAG backbone 是另一个实质贡献点。多机器人数量变化时，如果没有一个 entity/token 化接口，adapter 迁移会很脆弱。SAG 提供了共享坐标系下的 self-ally-goal inductive bias，使不同 team size 下的 policy feature 有对齐基础。这个对齐是 LoRA adapter 能跨任务复用的前提。
哪些可能只是辅助：VLM 生成轨迹描述的复杂 pipeline 可能主要是 engineering。对于当前 14 个 canonical tasks，手写结构化 descriptor 很可能也能达到接近效果。文中没有充分证明 VLM descriptor 相比显式属性向量的必要性。LoRA 的收益也部分可能来自更大有效容量和更好的 fine-tuning 稳定性，而不完全是“技能发现”。
需要警惕的是 benchmark overlap：任务流从单狗到多狗、从简单到复杂，本身形成 curriculum，Fine-tune 都有正 FWT。Conquer 的检索优势可能与这个顺序和任务命名结构强相关。semantic rank 与 physical transferability 不完全一致，作者 case study 也显示最佳物理迁移源不一定是 top semantic neighbor。因此语义空间只是有用先验，不是可靠的 transfer metric。
Relation To Prior Work
这篇最接近三条路线的交叉：adapter-based continual RL / parameter isolation、retrieval-based robot skill reuse、variable-agent MARL architecture。
和 EWC / replay / gradient projection 的差别在于，它不试图在一个参数集合中平衡稳定性和可塑性，而是直接把技能分离存储。这个选择牺牲了单模型紧凑性，换来 old-task availability。严格说这不是新的 continual learning 原理，而是把 parameter isolation 做成了可语义检索的技能库。
和 task-aware multi-head 的差别在于，Conquer 不假设评估时给 task id，而是用 pre-execution semantics 路由。这个差异是实质性的，因为真实机器人部署中 task id 往往不可用；但在本文 benchmark 中，prompt 几乎包含了任务关键属性，因此它也接近弱 task-id supervision。
和 SAILOR / LOTUS / SRSA 等 retrieval-based robot learning 相比，Conquer 的新增点是把 retrieval 绑定到多机器人协同和 variable team size，并且检索对象是可训练的 LoRA/LocHead policy adapter，而不是示范片段或单机器人 manipulation skill。
和 UPDeT / universal multi-agent policy 的关系是，SAG 借用了 tokenized entity interaction 的思想，但针对四足协同把 token 拆成 self/allies/goal。这是合理的 domain-specific inductive bias，不是全新架构范式。
总体看，本文属于“semantic retrieval + parameter-efficient skill library + MARL adaptation”的工程化整合路线。实质创新在于问题组织方式和系统组合，而不是提出新的 RL objective 或新的语义表征学习算法。
Dataset / Evaluation
仿真 benchmark 覆盖 14 个 pushing-to-goal 任务，变化维度包括机器人数量、物体形状、地形和重量。这个设置足以验证 closed-but-sequential task family 下的 continual coordination，但还不足以证明 open-ended generalization。任务都属于 pushing，目标和 observation/reward 结构高度一致，协同模式变化有限。
实验支持的 claim 是：在这个受控任务流中，语义检索 adapter 初始化比随机检索、scratch adapter、full fine-tune 和 EWC 更好地平衡稳定性与可塑性。尤其 ablation 显示随机 skill selection 明显变差，说明 routing 不是可有可无。
但 evaluation 没有完全支撑更强的 claim：例如“semantic skill discovery”是否能处理语义相似但动力学不同的任务，或语义不同但物理可迁移的任务，文中只给了有限 case study。descriptor 与 task label 高度对齐，存在隐式 task identification 的成分。
真机实验展示了 1–4 台 Unitree Go2 的代表性 rollout，说明仿真策略经过 hierarchical interface 和 domain randomization 后可以部署。但这部分不是严格统计评估，也没有证明 continual retrieval 在真实任务流中在线工作；它更多验证的是 sim-to-real feasibility 和系统工程可行性。
Limitation
最大前提是语义距离要和物理可迁移性正相关。这个前提在当前 benchmark 中大体成立，因为任务属性离散且 prompt 明确；但在真实场景中，摩擦、接触模式、物体质心、局部几何、可达接触面等决定迁移成败的因素未必能被短文本 embedding 捕捉。
第二，技能库扩展的上限不清。nearest-neighbor retrieval 在 14 个技能时可行，但库变大后会出现 descriptor collision、技能冗余、多模态行为被 centroid 平均抹掉等问题。当前 update rule 用固定阈值合并/新增，比较启发式，没有建模技能间的 empirical transfer graph。
第三，所谓 continual learning 的 forgetting 被 parameter isolation 大幅简化了。旧技能冻结自然不会忘，但代价是库大小随任务增长，且没有证明能进行技能组合或压缩。问题被部分转移为 skill management，而不是彻底解决稳定性—可塑性。
第四，增益归因不完全清楚。Conquer 同时引入 SAG、LoRA、semantic retrieval、curriculum-like task order、较大仿真训练预算。虽然有 ablation，但还不足以区分 descriptor 类型、task order、手写属性向量、VLM 轨迹总结、adapter 容量这些因素的真实贡献。
第五，泛化可能依赖 benchmark overlap。任务之间共享 reward、observation schema、物体颜色、目标形式和 pushing objective；如果换成搬运、拖拽、翻转、异构机器人或非刚体物体，当前 semantic retrieval 可能只会给出表面相似但物理错误的初始化。
第六，VLM 没有形成闭环 reasoning。它只是离线生成短描述和 embedding，实际控制仍完全来自 RL policy。这里的“semantic”更像索引层，而不是策略层的语言条件控制或规划能力。
Takeaway
- 1. 对多机器人 continual learning，最稳的设计不是让一个策略记住所有协同模式，而是把协同模式做成可执行、可隔离、可检索的 skill library。
- 2. 语义检索的价值在于提供 cheap prior：它不需要精确预测 transferability，只要平均上比随机初始化更接近即可；后续 reward adaptation 会修正错误。
- 3. variable team size 的关键是 representation alignment。
- SAG 这类 self/teammate/goal tokenization 是比单纯扩大网络更可迁移的 inductive bias。
一句话总结
这篇论文把多四足协同的持续学习推进到“语义路由的 adapter 技能库”范式：真正贡献是用语义检索组织可复用协同技能，而不是提出新的控制算法或深层机器人语义推理。