精读笔记

Problem Setting

这篇论文真正处理的是 diffusion policy 在多任务长时序 manipulation 中的结构化泛化问题：不是动作分布拟合不够强，而是单体模型把不同语义阶段、不同接触模式、不同频率特征的行为强行塞进一套参数里，导致表示干扰和梯度冲突。已有 diffusion-to-MoE distillation 试图用专家分工缓解这个问题，但 routing 如果只依赖数据 likelihood 或 teacher score error，本质上是在 noisy multi-modal demonstration 上做无监督聚类，容易出现 winner-takes-all、mode averaging 或专家边界不可解释。关键矛盾是：需要专家分工来提高结构化表达，但专家分配本身又缺少可靠结构信号；如果用 hard semantic assignment，又会破坏动作流形的连续性。

Motivation

作者的出发点是：机器人任务的行为模式通常不是纯统计混合，而带有可观测的语义阶段结构，例如目标、物体、空间关系、接触阶段等。纯 MoE routing 缺的是这种宏观结构先验，因此它只能从局部拟合误差里“猜”哪个专家应该负责，训练早期尤其容易被随机误差放大成塌缩。另一方面，已有 concept-guided policy 往往采用硬绑定，把概念直接映射到技能或策略，这对连续控制很危险，因为阶段转换处的动作分布通常是连续变化的。CoRDE 想补的缺口是：把概念作为 soft prior，而不是 label；把专家分配作为 posterior inference，而不是普通 gating；让语义结构参与 responsibility 估计，但不完全支配底层动作生成。

Core Idea

核心思想可以概括为：用概念先验重写 diffusion MoE 的责任分配机制。CoRDE 不让 MoE 自己从行为 likelihood 中无监督长出结构，而是先用冻结 concept encoder 得到 p(c|o)，再通过可学习的 soft mapping 得到 expert-level structural prior p_struct(z|o)，最后与局部 score-fitting evidence 做几何融合，形成 q*(z|o,a)。这改变了建模方式：专家不再只是统计意义上的 mixture component，而是被软约束为对某些语义区域负责的局部 score approximator。

这和 prior 的本质差异在于它没有强行 load-balance，也没有 hard concept-skill binding。它引入的是“语义可信度调制的软结构 bias”：当概念预测清楚时，routing 更确定；当概念模糊时，回退到行为证据。这种信息流重组让高层表示参与专家分配，但底层动作多样性仍由 diffusion stochasticity 和局部 score matching 保留。可扩展性主要来自两点：共享 frozen backbone 避免 full expert explosion，LoRA 只作为局部 drift adjustment；soft mapping 允许 C 个概念和 K 个专家 many-to-many 对齐，不要求概念粒度和专家数严格一致。

Method

方法里真正必要的机制只有几个。第一，structure-guided responsibility inference：它解决 evidence-only MoE routing 不稳定的问题；通过最小化 KL(q||evidence)+λ KL(q||struct prior)，得到几何平均形式的 posterior，使专家分配同时受 teacher score 局部误差和语义结构约束。核心变化是 routing 从 discriminative gating 变成带先验的 posterior inference。

第二，adaptive λ：它解决 concept prior 可能不可靠的问题。λ 由 concept entropy 控制，概念分布越尖锐，结构先验越强；概念越模糊，越依赖行为证据。这个设计比固定语义权重更合理，因为机器人观测中的阶段边界和遮挡状态经常不确定。

第三，soft concept-to-expert mapping P_CE：它解决概念粒度和专家粒度不一致的问题。专家不是概念标签的拷贝，而是可以通过 EM-style soft counts 自组织地吸收多个概念或拆分一个概念。这个机制避免 hard assignment 造成的阶段突变，是论文中比“用了 concept encoder”更关键的部分。

第四，LoRA expert pool：它解决 full MoE 参数爆炸，但更像工程上必要的 scalable parameterization。理论上作者用 mixture score error bound 说明 weighted local score matching 可以上界全局 score discrepancy；但这个 bound 本身比较直接，真正的价值在于把专家容量限制在局部责任区域内，使低秩 adapter 更可能够用。

第五，router decoupling：router 不直接被任务 loss 或 score loss 拉动，而是拟合 q*。这减少了 task-gradient-driven routing collapse，可能是稳定性的核心工程机制之一。

Key Insight / Why It Works

最可能真正有效的是“representation alignment + latent structure prior”，不是 LoRA，也不是 Jensen bound。CoRDE 把原本不稳定的 expert discovery 问题，转化为在 concept representation 上做软对齐和局部 score distillation。对于 LIBERO / D3IL 这类任务，任务阶段、物体关系和动作模式高度相关；只要 concept encoder 能捕捉这些阶段，routing 就获得了比 raw likelihood 更低噪声的分区信号。换句话说，它不是让 MoE 自己发现结构，而是借用上游 representation 把结构注入 responsibility posterior。

这也解释了为什么方法可能比 evidence-only MoE 稳：纯 evidence routing 在训练早期会受到专家初始化和局部 score error 的强烈影响，容易自强化；CoRDE 的 semantic prior 提供了一个外部锚点，降低 assignment 的随机漂移。adaptive λ 则防止先验在不可靠时支配模型，这相当于一个 uncertainty-aware prior gate。

LoRA 的作用更像 parameter-efficient specialization。它可能帮助泛化，因为冻结 backbone 保留 teacher 的通用 score field，而 LoRA 只学习局部残差；但这不等于证明低秩专家天然保留多模态。文中关于 full-rank diversity conservation 的论证有一定道理：扩散 SDE 的噪声项仍是 full-rank，LoRA 只改 drift；但如果 drift 本身把模式吸到错误 attractor，噪声项未必能恢复有意义的行为多样性。因此“不会因低秩而 mode collapse”的说法偏强。

最值得迁移的 insight 是：MoE routing collapse 不一定要靠 load balancing 解决，可以靠任务结构先验重塑 posterior；而结构先验最好是 soft、uncertainty-aware、可自组织映射到 expert space。相比简单 scaling，这篇更像是在做 better inductive bias 和 representation alignment。但如果 benchmark 中 concept clusters 与任务阶段天然高度重合，增益可能部分来自隐式标签化的 representation，而不一定代表真正开放泛化。

Relation To Prior Work

最接近的路线是 VDD / diffusion-to-MoE distillation、skill-level MoE diffusion policy、concept-guided manipulation policy，以及 parameter-efficient adaptation。相对 VDD，CoRDE 的新增信息是 responsibility posterior 中加入 concept-derived structural prior；它不是只蒸馏 teacher，也不是只加一个 gating network，而是改变了 E-step 的归因机制。相对普通 MoE，区别在于它拒绝纯 load-balancing 式的均匀专家使用，因为机器人任务本来就可能是长尾和不均匀的。

相对 concept-guided policy，CoRDE 的实质创新是 soft many-to-many concept-expert alignment，而不是把概念硬绑定为技能。这个差异重要，因为 hard binding 在连续控制中会造成阶段边界不连续。相对 LoRA / PEFT 工作，本文没有在低秩适配理论上提出根本新东西；LoRA 主要是把 MoE 扩展成本压下来，使多专家 diffusion policy 变得可部署。

看似新的部分里，Jensen-style mixture score bound 比较常规，更像为方法合理性提供形式化包装；EM soft counts、EMA mapping、KL posterior fusion 都是已有思想的重组。实质创新在于把这些机制组织到 diffusion policy distillation 的 responsibility inference 中，并用 concept prior 解决 routing collapse 这个具体痛点。

Dataset / Evaluation

评估覆盖 LIBERO 和 D3IL，基本对应两类 claim：LIBERO 用来检验多任务/长时序结构化任务中的成功率，D3IL 用来检验多模态 demonstration 下的行为多样性和推理效率。这个组合是合理的，因为 CoRDE 的核心不是单任务精度，而是结构化 expert allocation 是否改善长任务和多模态行为。

但 evaluation 仍有明显边界。第一，没有真实机器人实验，无法判断 routing 稳定性在感知噪声、动力学误差和闭环恢复中的表现。第二，LIBERO / D3IL 的任务结构和 concept encoder 学到的概念可能高度匹配，因此 benchmark 很可能有利于 concept-prior 方法；这不一定证明开放场景泛化。第三，消融能说明 P_CE、adaptive λ、responsibility supervision 有贡献，但增益归因仍不完全清楚：concept encoder 的质量、teacher 强度、LoRA 正则化、专家数、top-k routing 都可能影响结果。第四，所谓 inference acceleration 的对比有些混杂：如果 CoRDE 推理仍按算法描述执行 SDE denoising，而表中又称 NFE=1，需要更清楚说明它到底是 single-step student 还是 mixture-score diffusion sampler；文中未充分说明这一点。

Limitation

最大前提是 concept encoder 必须给出与控制结构相关的语义分布。若 concept representation 捕捉的是视觉外观而非动作阶段，或者在新任务中概念边界错位，p_struct 会把专家分配推向错误区域。CoRDE 本质上把 routing collapse 问题部分转移给了 concept representation 和 P_CE alignment；它没有消除结构发现难题，而是用冻结概念模型降低了难度。

泛化 claim 需要谨慎。当前结果更像 demonstration distribution 内的结构化重分解，而不是真正组合式泛化或长期规划。router 只根据当前 observation 和 concept prior 做 expert selection，没有显式长期状态建模；所谓 long-horizon 能力可能来自 benchmark 中阶段可由当前观测识别，以及 teacher / dataset 已覆盖足够多的轨迹。核心能力可能主要来自数据覆盖和 representation overlap。

scalability 上限也不清楚。K 增大时，P_CE 的估计、responsibility posterior 的稳定性、LoRA expert 的干扰和 top-k 选择都会变复杂；C 与 K 不匹配时 soft mapping 是否仍可解释也没有充分验证。理论部分没有处理错误 prior、有限样本 EM 噪声、expert under-capacity、router train-test mismatch。尤其训练时 q*(z|o,a0) 使用 action/teacher evidence，推理时只能用 observation router 加 structural bias，这个 posterior-to-router distillation gap 是潜在失效点。

Takeaway

• 1. 对 diffusion policy 的 MoE 化，关键不只是增加专家，而是如何定义 responsibility；routing collapse 更适合用结构先验和 posterior inference 处理，而不是粗暴 load balancing。
• 2. Concept representation 可以作为机器人策略分解的软 inductive bias，但必须 uncertainty-aware；把概念硬绑定到技能通常会伤害连续控制。
• 3. LoRA expert pool 的真正价值是让“多专家局部 score adapter”可扩展，而不是提供新的生成建模能力；未来更值得研究的是 expert specialization 的动态增长、合并和跨任务复用。
• 4. 这条路线后续如果要成立，需要从 benchmark-stage alignment 走向真实 deployment：concept prior 在分布外、遮挡、失败恢复和新物体组合下是否仍能稳定指导 routing，才是关键问题。

一句话总结

CoRDE 是一篇把 diffusion-to-MoE distillation 从纯数据驱动专家发现推进到 concept-prior posterior routing 的工作，真正贡献在于用软语义结构先验稳定专家分工，而不是在扩散模型或 LoRA 本身上提出根本新范式。