Awesome RL with Human Feedback / 2026 / OpenReview

Balancing the Experts: Unlocking LoRA-MoE for GRPO via Mechanism-Aware Rewards

作者：Changlian Ma, Zizheng Huang, Xiangyu Zeng, Yi Wang, Cheng Liang, Kun Tian, Xinhai Zhao, Limin Wang · 单位：Nanjing University, Shanghai AI Laboratory, Noah’s Ark Lab, Huawei, Shanghai Innovation Institute, Shanghai Jiao Tong University · 来源：OpenReview · 发布日期：2026

奖励建模对齐目标设计策略优化策略梯度人类反馈强化学习多模态反馈

精读笔记

Problem Setting

论文标题：Balancing the Experts: Unlocking LoRA-MoE for GRPO via Mechanism-Aware Rewards（Awesome RL with Human Feedback / 2026）。

这篇论文处理的是一个很具体但重要的交叉问题：LoRA-MoE 在 SFT 中靠辅助 routing/load-balance loss 可以工作，但放到 GRPO 这类 rollout-level policy optimization 后，任务 reward 对内部路由完全不可见，导致 MoE adapter 的容量无法被稳定利用。真正困难点不是 LoRA-MoE 架构本身，而是 RLHF/RFT 的优化信号只作用于最终文本行为，缺少对 router 决策的 credit assignment。

关键矛盾是：MoE 的收益来自条件计算和专家分化，但 GRPO 的 reward 只告诉模型“这个答案好不好”，不告诉它“这条轨迹是否用了合理的专家组合”。如果只优化答案，router 可以塌缩到少数专家，也可以维持高熵、不形成 specialization；如果直接加 auxiliary loss，又会变成和任务成功无关的统一正则，和 GRPO 的轨迹级相对优势机制不匹配。

因此这篇实际解决的是：如何在不增加额外训练阶段、不改架构、不依赖可微 routing loss 的情况下，把 MoE 内部机制约束接入 GRPO。

Motivation

已有路线的缺口很清楚：SFT 下的 load-balancing loss 假设每个训练样本上的路由偏差都应该被直接惩罚；但 GRPO 中更自然的优化单位是完整生成轨迹。一个略微不均衡但答对的 trajectory，不应该和一个答错且路由混乱的 trajectory 被同等 routing loss 惩罚。

作者的核心观察是，routing statistics 本来就在 rollout 时可获得：每个 token 的 gate 分布、每层每个专家的平均使用率、路由熵等。这些信息过去通常只作为诊断指标或 auxiliary loss 的输入，但在 policy gradient 框架里，它们完全可以被重写为 reward。这样就把“内部机制监督”从参数级正则转成轨迹级偏好。

这也是论文最有价值的动机：不是再设计一个更复杂 router，而是承认 GRPO 的入口只有 scalar reward，然后问能否把模型内部状态压缩成可用 reward。这个视角比具体的 entropy/MSE 公式更重要。

Core Idea

核心思想是 mechanism-aware reward：把模型生成过程中产生的内部 routing 统计量转化为 Rroute，并与外部任务 reward 相加，进入 GRPO 的 group-relative advantage。这样，路由健康度不再是独立约束，而是影响一条 completion 相对好坏的因素。

这改变了建模方式。传统 MoE balancing 是“对每个 batch 的专家使用施加结构先验”；RO-GRPO 是“把专家使用质量作为 trajectory preference 的一部分”。前者是局部、可微、统一惩罚；后者是全局、非可微、通过 policy gradient 间接优化。它引入的 inductive bias 是：好轨迹应该不仅答案正确，还应表现出低犹豫路由和较均衡专家使用。

和 prior 的本质区别不在于使用 entropy 或 load balance，这些都是 MoE 老概念；区别在于这些量被放进 RL reward，而不是 loss。信息流也被重组了：内部 router → routing aggregator → scalar reward → GRPO advantage → policy/router 更新。这个路径让机制指标参与轨迹选择，而不是被旁路地正则化。

Method

方法的必要机制可以压缩为三点。

第一，路由效率量化。论文用平均 Shannon entropy 表示 routing confidence，用专家平均使用分布到 uniform 的 MSE 表示 load balance。它解决的是 GRPO 对 router blind 的问题：必须把高维、跨层、跨 token 的路由行为压缩成标量，才可能进入 reward。这里的核心变化是把内部结构状态变成 trajectory-level observable。

第二，routing reward 构造。Smooth 策略先强调低熵、后强调均衡；这个 curriculum 的假设是专家需要先形成确定性分工，再避免塌缩。Relative 策略则只在 entropy 和 MSE 同时优于历史均值时给正奖励，避免手动精细平衡两个目标。前者更像显式训练日程，后者更像自适应 improvement shaping。

第三，统一进 GRPO advantage。Rtotal = Rtask + Rroute 后，所有 reward 都进入同一个 group-relative advantage。机制上这比 auxiliary loss 关键：routing 信号不再对所有样本施加同等惩罚，而是与任务 reward 一起决定相对偏好。也就是说，RO-GRPO 允许模型学习“什么时候牺牲一点均衡换正确答案是值得的”，而 auxiliary loss 很难表达这种 trade-off。

Key Insight / Why It Works

最核心的有效性来源不是公式，而是 credit assignment 位置的改变。MoE router 的失败通常不是因为没有 load-balance 指标，而是因为这个指标在 RL 里没有进入轨迹选择。RO-GRPO 把 routing quality 放进 advantage，使得“哪些生成路径值得增强”同时由答案质量和内部机制质量决定。这是实质贡献。

为什么可能有效：低熵 routing 促使 token 对专家选择更确定，减少所有专家平均参与导致的功能混叠；load balance MSE 则抑制少数专家吸收全部梯度，增加 adapter 参数的有效利用率。二者结合相当于给 LoRA-MoE 加了一个弱 specialization prior。这个 prior 不保证语义上可解释的专家分工，但足以避免一部分容量浪费。

Smooth curriculum 的合理性在于 MoE 训练早期如果直接强均衡，router 可能还没有形成可用分化；先降低熵再均衡，符合“先分化、后组织”的训练直觉。不过这更像经验性 training heuristic，不是强理论结果。Relative gating 的价值在于减少 reward scale 调参，但稀疏 reward 是否稳定依赖 batch 方差和历史窗口，文中未充分说明。

我认为论文中最可信的收益来源有两个：一是 routing reward 抑制了 LoRA-MoE 在 GRPO 下的退化路由；二是它显著减少重复循环和过长输出，从而改善数学 benchmark 的有效准确率和 latency。后者可能是很大一部分增益来源。也就是说，提升未必全部来自“更强专家专门化”，也可能来自 routing regularization 对 generation dynamics 的副作用。

哪些可能只是辅助：entropy reward 的独立贡献相对不清，表中 entropy 往往变化很小；MSE 改善更稳定，但 raw MSE 随专家数天然变化，解释需要谨慎。Aux-loss baseline 表现差支持 reward-formulation，但 auxiliary loss 的实现、权重和调度是否足够强，文中仍未完全排除。32B 和 top-2 附录结果也显示方法不是强单调 scaling law，增益来源不清。

Relation To Prior Work

这篇最接近三条谱系：LoRA-MoE/MixLoRA/MoCLE 这类 adapterized MoE；Switch/GShard/ST-MoE/StableMoE 这类 MoE load balancing；以及 GRPO/RLHF 的 reward shaping。它不是提出新的 MoE 结构，也不是新的 policy gradient 算法，而是把 MoE routing regularization 迁移到 RL reward 入口。

看似新的部分——routing entropy、load balance、uniform utilization——都不是新概念，本质上来自经典 MoE 训练。真正新增的信息是：在 GRPO 中，内部机制统计可以作为 scalar reward 使用，并且比 auxiliary loss 更匹配 trajectory-level optimization。这是已有思想的重新放置，但放置位置很关键。

和 auxiliary-loss-free MoE balancing 的关系也值得注意：那些工作通常仍在 supervised/pretraining 优化图内处理 router；RO-GRPO 则利用 policy gradient 可以优化非可微 reward 的特点，把内部诊断量变成外部奖励。它属于“mechanism-aware RLHF / internal-state reward shaping”这条潜在技术谱系。

Dataset / Evaluation

评测覆盖了单模态数学和多模态几何/视觉数学，能初步验证方法不是只对纯文本算术有效。选择数学推理是合理的，因为答案 reward 较明确，且长链推理容易暴露重复循环和路由不稳定。但这也使结论偏向可验证 reward 场景，不能直接外推到开放式偏好对齐。

实验确实支持核心 claim 的一部分：vanilla LoRA-MoE + GRPO 会出现路由不稳和退化；RO-GRPO 在 matched expert count 下通常降低或持平 MSE，并带来一定准确率与 token efficiency 改善。shuffle reward control 是较有说服力的因果 sanity check。

但 evaluation 也有明显限制。第一，benchmark 都是数学类，任务多样性不够，不能证明 mechanism-aware reward 对通用对齐有效。第二，专家 specialization 的可视化偏定性，没有证明专家学到了稳定可迁移的语义模块。第三，32B 与 top-2 结果并不总是正向，说明方法对规模、路由策略、任务分布敏感。第四，训练数据和 benchmark 之间的潜在 overlap / distribution familiarity 未充分讨论，数学 benchmark 增益可能部分来自数据覆盖或输出长度控制。

Limitation

最大限制是目标假设过强：论文默认低熵 + 均衡使用就是更好的路由机制。但真实 MoE 不一定应该 uniform；某些任务、语言、模态或推理阶段天然需要偏置专家。把 uniform MSE 作为 reward 可能会压制合理的非均匀 specialization，只是在当前 benchmark 上没有暴露。

第二，mechanism alignment 的说法偏大。本文对齐的是两个手工 routing statistics，不是模型内部推理机制本身。专家是否形成可解释、稳定、可组合的能力单元，文中证据不足。Figure 7 的 soft specialization 只能说明 activation pattern 有差异，不能说明 causal skill specialization。

第三，增益归因仍不完全清楚。多模态 Geometry3k 上重复循环从较高比例降到几乎消失，这很可能解释了大部分准确率和 latency 改善。也就是说，RO-GRPO 可能主要是一个 generation regularizer，而不一定是“解锁 MoE 容量”的充分证据。

第四，scalability 上限未明。专家数增加时 raw MSE 自然下降，entropy 解释也随 E/top-k 改变；reward scale 如何随 E、top-k、层数、任务复杂度自适应，文中未充分说明。附录 top-2 结果甚至显示某些设置下 RO-GRPO 会损害 MathVerse 等指标。

第五，在真实 RLHF 中 reward model 本身噪声更大，routing reward 可能和偏好 reward 冲突。若模型学会优化 routing statistics 而非任务能力，就可能出现新的 reward hacking：看起来路由更均衡，但答案质量不提升。

Takeaway

  • 1. 这篇最值得记住的是“内部机制统计可以作为 RL reward”，而不是具体的 entropy/MSE 公式。
  • 这个思路可以迁移到 attention sparsity、retrieval usage、memory access、tool-call pattern、planning state 等内部机制。
  • 2. 对 MoE + RLHF 来说，auxiliary loss 不一定是自然接口；trajectory-level reward shaping 可能更适合处理任务成功与结构约束之间的 trade-off。
  • 3. LoRA-MoE 在 RFT 中的主要瓶颈可能不是参数量，而是 router 在 RL 信号下缺乏机制级 credit assignment。

一句话总结

这篇论文把经典 MoE 路由正则从 auxiliary loss 移到 GRPO 的 reward/advantage 通道中，是 LoRA-MoE 在 RFT 场景下从行为对齐走向局部机制对齐的一次有价值但仍偏经验性的重组。