精读笔记

Problem Setting

这篇论文处理的是 diffusion MoE 的 token-level compute allocation 问题，但真正的矛盾不是 MoE 是否能扩容，而是 diffusion 的逐步去噪机制让 router 总是在不稳定、噪声污染的表示上做专家分配。已有 diffusion MoE 已经意识到视觉 token 的计算需求不均匀：前景、边界、复杂纹理区域需要更多专家，背景和冗余区域可以少算。但它们仍然依赖当前 noisy latent 做 routing，这使得“想做 saliency-aware routing”和“router 实际看不清 saliency”之间存在结构性冲突。困难点在于，最需要准确分配计算资源的早期高噪声阶段，恰恰是 saliency 信号最弱、噪声最强的阶段；而后期虽然结构更清楚，很多全局分配决策已经错过了。论文的核心问题因此可以表述为：如何在 diffusion MoE 中为 router 提供一个比当前 noisy latent 更稳定、更接近最终图像结构的条件信号。

Motivation

已有路线不够的地方在于，它们主要改变 routing policy 或 expert allocation strategy，却没有处理 router input 本身的信息污染。EC-DiT、DiffMoE、Expert Race 这类方法强调视觉区域复杂度差异，但如果 router 的输入仍是被噪声主导的 latent，那么 saliency-aware allocation 很容易只停留在目标函数或设计意图上，实际分配未必跟 saliency 有强相关。作者的关键观察是：用 Laplacian response 作为 token saliency proxy 后，已有 DiffMoE 的专家分配对 saliency level 几乎不敏感，尤其在高噪声 timestep 更明显。这说明问题不只是路由策略不够强，而是路由可观测性不足。自然想到的方向是利用 diffusion 模型已经会产生的 clean prediction x0-hat：它不是外部监督，也不是额外感知模型，而是 denoising 过程中内生的、相对干净的结构估计。缺口是如何把这个 clean estimate 接入 router，同时不破坏 pretrained MoE 的原有 denoising 能力。

Core Idea

SharpMoE 的真正核心是把 MoE routing 从“基于当前噪声状态的即时决策”改成“由上一时刻 clean prediction 提供结构先验的递归决策”。这引入了一个明确的 inductive bias：计算资源应该跟最终干净图像中的结构/纹理复杂度对齐，而不是跟当前 noisy latent 的局部激活强弱对齐。换句话说，router 不再被迫从噪声里直接推断 saliency，而是读取模型自己已经估计出的 clean manifold projection。

和 prior 的本质区别在于，prior 多数是在 noisy latent 上学习更好的专家选择规则；SharpMoE 则改变了路由的信息来源。它利用 diffusion trajectory 中天然存在的 temporal structure，把上一 step 的 x0-hat 当成一种 memory/reuse signal。这更像 representation alignment 和 memory reuse，而不是单纯 MoE scaling。理论直觉上它可能更 scalable：随着 backbone denoising 能力增强，x0-hat 的结构质量也会变好，router 获得的 saliency signal 会随模型能力自然改善，而不需要重新设计复杂的 saliency detector。

Method

关键机制只有三点。第一，dual-router：保留 pretrained router 读取当前 x_t，新增 saliency router 读取上一 timestep 的 x0-hat，两者分数相加。它解决的是 post-training 中不能直接替换原 router 的稳定性问题；保留原 router 让模型仍能感知当前 denoising 状态，新增 router 只注入结构先验。零初始化 saliency router 是合理的，因为它让初始模型等价于 pretrained MoE，避免后训练一开始破坏已收敛的专家分工。

第二，recursive full-trajectory training：因为 saliency router 需要上一时刻 x0-hat，普通 single-step diffusion training 不产生这种依赖链，所以必须 rollout 一段 denoising trajectory。这个设计的必要性不是为了更长训练本身，而是为了让训练时的信息流与推理时一致：当前 routing 依赖过去预测，过去预测又由同一个模型产生。

第三，trajectory routing loss：它把每个 token 在多层、多步上的累计 routing score 聚合起来，与 clean image 的 Laplacian saliency map 做分布对齐。它解决的是单 timestep routing 约束不稳定的问题，因为 diffusion 的计算分配本质上是 trajectory-level 的。这个 loss 的核心变化是把“某一步分配多少专家”提升为“整条生成轨迹上哪些 token 获得更多计算”。不过它使用 Laplacian 作为 saliency target，本质上偏向高频纹理和边缘，不等价于语义重要性。

Key Insight / Why It Works

最可能有效的部分是 clean latent guidance，而不是 trajectory routing loss。x0-hat 在 rectified flow / diffusion 中是模型对 clean data manifold 的当前估计，它天然过滤掉一部分随机噪声，并提前显露全局结构。对 router 来说，这相当于把一个高方差判别问题变成低方差判别问题：不用从 x_t 的噪声纹理里猜哪里重要，而是从 x0-hat 中读取更稳定的边界、前景和纹理密度。

本质上，这篇方法不是 retrieval，也不是 test-time compute，也不是纯 scaling；它更接近利用 latent structure 做 representation alignment：把 expert allocation 对齐到 clean-image saliency，而不是 noisy-state activation。它还带有 memory reuse 的味道，因为上一 denoising step 的预测被用作下一步 routing 的条件。这个机制在 diffusion 中特别自然，因为 trajectory 本来就是连续 refinement，x0-hat 是低成本副产物。

trajectory routing loss 可能是辅助项。它强化了 saliency 与累计专家分配的相关性，但使用 Laplacian 作为 supervision 有明显偏置：高频区域会被认为更重要，低纹理但语义关键的区域可能被低估。因此它更像一个工程上有效的 allocation regularizer，而不是对“视觉重要性”的完整建模。full-trajectory training 也可能贡献了额外收益：它让模型在 post-training 中见到更接近 inference rollout 的状态分布，可能缓解 exposure mismatch。这部分增益来源不清，论文没有完全隔离 clean routing、trajectory rollout、额外训练 compute 的贡献。

Relation To Prior Work

这篇属于 diffusion MoE 的 saliency-aware routing 谱系，最接近 EC-DiT、DiffMoE、Expert Race 一类按 token/region 动态分配专家的工作。它和这些方法共享一个前提：视觉 token 的计算需求不均匀，MoE 不应该对所有 token 激活同样多的参数。但真正新增的信息是把 saliency 判别的输入从 noisy latent 换成 predicted clean latent。

看似新的部分中，trajectory-level 约束和 saliency regularization 并不是特别新，本质上是把已有的 importance-aware allocation 思想套到 diffusion rollout 上；Laplacian saliency 也是传统 high-frequency proxy。实质创新在于识别并解决 noisy routing 这个 diffusion-specific failure mode：LLM MoE 没有这种逐步去噪导致的输入信噪比变化，而 diffusion MoE 的 router 会在不同 timestep 面对完全不同质量的表示。SharpMoE 的贡献是把 diffusion 模型自身的 x0 prediction 变成 routing side information，这比单纯设计新的 top-k 或 expert-choice policy 更本质。

Dataset / Evaluation

评估集中在 ImageNet 256 class-conditional generation，覆盖了多个 MoE backbone 和 S/B/L 尺度，能说明 SharpMoE 作为 post-training wrapper 对同一任务设置下的 diffusion MoE 有稳定增益。消融显示 saliency-harnessing routing 是主要来源，trajectory loss 进一步小幅提升；可视化也支持其核心 claim：SharpMoE 后专家分配与 Laplacian saliency 呈更强单调关系。

但 evaluation 的外推性有限。ImageNet 256 是相对中心物体、类别条件、单图像生成设置，不能充分验证复杂文本条件、多对象关系、开放域构图、视频时序一致性或真实部署延迟收益。论文主要报告质量指标，没有深入分析 wall-clock latency、routing overhead、显存开销、不同 sampler 步数下的稳定性。更重要的是，benchmark 验证了“生成质量提高”和“专家分配更像 Laplacian saliency”，但没有完全证明 Laplacian saliency 就是最应该被分配更多专家的真实因果因素。

Limitation

第一，方法强依赖 x0-hat 的早期可靠性。如果 backbone 在高噪声阶段的 clean prediction 带有错误结构、类别偏置或 hallucination，router 会把错误 saliency 放大为错误 compute allocation。这是把 noisy routing 问题部分转移为 clean prediction quality 问题。

第二，saliency 定义偏窄。Laplacian response 捕捉的是高频边缘和纹理，不一定捕捉语义关键性、全局关系、低频形状或文本约束相关区域。对于低纹理但语义核心的对象，或者需要精确关系推理的生成任务，这种 proxy 可能误导资源分配。

第三，增益归因不完全清楚。SharpMoE 增加了 router 参数，进行了 100K post-training，并使用 full-trajectory rollout；性能提升可能混合了额外训练、trajectory exposure、router capacity 和 routing regularization 的收益。文中未充分说明在严格 compute-matched 条件下，clean routing 相比等量后训练或更强 router 的独立贡献。

第四，scalability 上限取决于 trajectory training 成本和递归依赖。训练时 rollout 多步会增加计算和显存压力；推理时需要维护上一时刻 x0-hat，虽然代价不大，但会让 routing 与 sampler schedule 更耦合。若迁移到长视频或高分辨率文本到图像，trajectory-level routing loss 的成本和 saliency target 设计都会变得更复杂。

Takeaway

• 第一，diffusion MoE 的关键不只是 sparse activation，而是 router 应该读什么表示；在生成模型里，路由输入的信噪比可能比路由策略本身更重要。
• 第二，x0-hat 是一个被低估的 routing/control signal。
• 它可以作为 clean manifold estimate，被迁移到 token pruning、adaptive compute、attention sparsification、局部 refinement 等问题中。
• 第三，trajectory-level compute allocation 比 single-step allocation 更符合 diffusion 的本质。

一句话总结

《Focusing on What Matters: Saliency-Harnessing Accurate Routing for Diffusion MoE》（arXiv preprint / 2026）把 diffusion MoE 的路由从 noisy latent 决策推进到 clean-prediction-guided 决策，是一类利用生成轨迹内部 clean estimate 做 adaptive compute alignment 的方法演化。