精读笔记

Problem Setting

这篇论文处理的是 MoE-based LVLM 中的自适应 expert activation 问题：给定一个已经训练好的 native MoE backbone，如何在 inference/fine-tuning 时让每个 token 使用不同数量的专家，而不是所有 token 固定 Top-k。关键矛盾是 expert budget 的边际收益高度 token-dependent：简单 token 用 Top-8 是浪费，复杂或不确定 token 用 Top-2/Top-3 会丢信息。困难点在于不能为了判断“是否需要更多专家”而先运行所有专家，否则动态路由本身就失去效率。已有方法卡在决策信号不够本质：阈值法依赖 learned cutoff，伪专家法把省算力伪装成路由选项，但都没有直接建模“新增一个专家是否值得”。

Motivation

作者的真正观察是：MoE router 的概率分布不是只用于排序，它还反映了 token 在专家空间中的不确定性。如果 router 对某个 token 极度确信，Top-1/Top-2 已经覆盖主要专家；如果分布很平，说明多个专家都有可能贡献信息，强行截断会损失表示。现有动态路由缺的是一个廉价、token-level、与 marginal utility 相关的信号。MDL 被用来提供语言：少激活专家降低 model description length，多激活专家降低 data misfit；问题变成判断新增专家带来的 information gain 是否超过复杂度代价。gating entropy 正好是无需运行专家即可获得的 proxy。

Core Idea

GeMoE 的核心不是“再训练一个路由器”，而是改变动态路由的建模对象：从“哪些专家分数超过阈值”转为“这个 token 的不确定性值得多少 test-time compute”。原 router 继续决定 expert ranking；新增模块只决定 k。这样避免了重写 MoE 路由结构，也保留了预训练 native experts 的 specialization。

它引入的 inductive bias 很明确：router entropy 越高，token 对专家选择越不确定，新增专家的期望信息增益越大，因此应该分配更多专家；entropy 越低，额外专家大概率只是噪声或冗余。和 prior 的本质差别在于，GeMoE 不把动态路由当作 learned threshold engineering，而把它当作 uncertainty-conditioned compute allocation。这个 bias 比伪专家/阈值更容易迁移，因为它依赖的是 router distribution 的形状，而不是某个 backbone-specific 阈值策略。

Method

方法只需要抓住三个机制。第一，计算每个 token 的 gating entropy，用它近似新增专家的 information gain；这解决的是无法直接评估候选专家收益的问题。第二，引入 Expert Assignment Predictor 输出 soft k，再离散化为实际激活专家数；这解决的是 entropy 到 expert budget 的非线性映射问题，而不是替代原 router。第三，用 monotonic loss 约束 entropy 与 k 正相关；这解决的是 predictor 在 CE 监督下可能学出退化 budget policy 的问题。

其余部分更多是 MoE 训练卫生条件：load balancing 防止专家塌缩，CE 保持任务性能，ST estimator 让离散 k 可训练。这些不是核心贡献。真正改变信息流的是：router logits 同时服务于 expert ranking 和 uncertainty estimation，而 EAP 把这种 uncertainty 转换为 per-token compute。

Key Insight / Why It Works

最关键的 insight 是：在 MoE 中，router entropy 可以作为“额外专家是否有用”的近似信号。低 entropy token 的专家分布尖锐，Top experts 已经解释了大部分 router mass，继续加入低权重专家通常只增加噪声和计算；高 entropy token 的 mass 分散，多个专家可能编码互补模式，增加 k 更可能提高表示质量。这本质上是 test-time compute allocation，而不是单纯 sparsification。

我认为最实质的贡献是 entropy-k 单调约束，而不是 MDL 形式化。MDL 提供了漂亮解释，但真正起作用的是把 router uncertainty 变成了可训练的预算先验。EAP 本身可能只是辅助拟合 entropy 到 k 的非线性函数；如果直接设计 entropy threshold/schedule，可能也能得到相当部分收益。文中 ablation 显示反转相关性会崩，说明核心不是多一个 predictor，而是正相关 bias。

这不是 retrieval，也不是更强 reasoning；它更接近 uncertainty-aware dynamic test-time compute。性能保持可能来自两部分：减少低价值专家带来的噪声，以及对高 entropy token 保留足够专家数。特别是论文指出“更多专家不一定更好”，这很重要：MoE 的 expert mixture 不是单调容量叠加，低相关专家会污染输出。

Relation To Prior Work

最接近的是三类路线：static Top-k MoE、threshold-based dynamic routing、pseudo-expert routing。Static Top-k 的问题是固定预算；threshold-based 方法用概率阈值或 learned cutoff 控制专家集合；pseudo-expert 方法通过 zero/copy/const experts 让简单 token 走低成本路径。GeMoE 与它们的差别在于决策变量从“专家分数是否过线”变成“token uncertainty 对应多少 expert budget”。

看似新的 MDL 叙述其实是对已有 complexity-performance tradeoff 的重新组织，未必构成严格理论创新；实质创新在于把 gating entropy 明确绑定到 dynamic k，并用 monotonic loss 使这种绑定成为训练约束。它属于 MoE efficient inference / adaptive computation / uncertainty-conditioned routing 的谱系。相比 prior，它新增的信息不是一个更复杂的 router，而是一个更干净的预算归因信号。

Dataset / Evaluation

评测覆盖了 LVLM 常见视觉问答、OCR、图文理解、综合多模态 benchmark，并在两个 native MoE LVLM backbone 上验证，还补充了 LLM OLMoE 的结果。任务覆盖足以支持“不是单一 benchmark trick”，也有真机 A800 throughput/latency，对 efficiency claim 有一定支撑。

但 evaluation 仍有明显边界。首先，所有方法只训练 router 和方法相关模块一轮，比较公平但也限制了结论到“post-hoc/router-level adaptation”，不能说明端到端 MoE training 中 GeMoE 仍最优。其次，核心理论 claim 是 entropy 近似 information gain，但实验主要用 accuracy trend 间接支持，没有直接估计 marginal expert contribution。第三，显存不降、参数不降，真实 deployment 收益取决于 serving 系统能否利用动态稀疏；平均 FLOPs 下降不必然等价于大规模在线吞吐收益。

Limitation

最大前提是 router 必须相对校准：entropy 要反映有意义的不确定性，而不是训练噪声、load-balance artifact 或 softmax 温度效应。若 router 分布因为正则化而被人为抹平，高 entropy 未必表示 token 复杂；若专家高度冗余，高 entropy 也未必带来互补信息。

第二，MDL 推导中的复杂度代价被设为每个专家常数 c，但真实系统中专家调用成本不恒定，受 batch routing、expert parallel communication、kernel efficiency 影响。这个假设对理论叙述方便，但和 deployment objective 有鸿沟。

第三，增益来源不清。GeMoE 相比 baselines 更好，可能因为 entropy bias 更合理，也可能因为这些 baselines 在 native MoE LVLM 上不适配。文中没有充分拆分 EAP 学习、entropy proxy、router fine-tuning、benchmark distribution alignment 各自贡献。

第四，泛化仍需谨慎。附录 LLM 结果有趣但 benchmark 数量有限，且 HumanEval 提升异常大，可能涉及路由预算对代码任务的特殊适配；是否代表真实跨域泛化，文中未充分说明。

Takeaway

• 最值得记住的不是具体 EAP 结构，而是 MoE router distribution 的 entropy 可以作为 per-token compute allocation 的便宜信号。
• 这个 insight 可以迁移到 adaptive depth、adaptive retrieval、multi-exit inference、tool-use budget 等场景：不确定性不只用于置信度估计，也可以直接控制资源分配。
• 这篇推动的是动态 MoE 从 heuristic threshold 走向 uncertainty-conditioned budget policy。
• 未来真正值得做的是校准 router entropy 与真实 marginal utility 的关系，而不是继续堆更多伪专家或手调阈值。

一句话总结

GeMoE 是一篇把 MoE 动态路由重新表述为 uncertainty-aware test-time compute allocation 的工作，真正贡献在于用 gating entropy 约束 per-token expert budget，而不是提出更复杂的路由模块。