精读笔记

Problem Setting

CLEAR-MoE 解决的不是从零训练高容量 MoE，而是 frozen pretrained ViT 的 post-training expert extraction：在不更新 backbone 权重、只用少量 calibration data 的前提下，把部分 FFN 改成 MoE-like 结构。真正难点是 dense FFN 的功能并不是天然可分专家化；它包含大量跨 token 共享的视觉变换。以前 disjoint expert extraction 容易把这种共享结构切碎，导致少量 calibration data 无法支撑专家泛化。关键矛盾是：如果专家足够独立，才可能省计算，但精度会崩；如果保留共享主干，精度稳，但稀疏计算收益会被 shared path 和 dispatch overhead 吃掉。

Motivation

已有路线的问题在于把 post-training MoE 的瓶颈误判为 routing 或 expert assignment，而不是 shared representation preservation。作者观察到三件事：不同 FFN 层对扰动的敏感性差异很大；完整拆分专家会丢掉低层/公共视觉结构；真实部署的开销主要受 memory-bound routing 和 scatter-gather 影响，MAC reduction 不可靠。因此这篇论文真正补的是一个 calibration-driven、accuracy-first 的转换框架：先选择低风险层，再用共享基保留主变换，只把残差部分交给专家。

Core Idea

核心思想是把 dense FFN 的 fc2 分解为共享低秩基和按 cluster 条件化的 residual experts。这样做改变了 MoE 的建模方式：专家不再各自承担完整函数，而是在一个公共函数之上做小幅修正。它引入的 inductive bias 是“pretrained ViT 的 FFN 主功能跨 token 共享，token cluster 只解释残差差异”。这和 prior 的 disjoint expert extraction 有本质差别：prior 试图把网络内部功能切成多个专家，CLEAR-MoE 则默认大部分功能不能切，只能在共享 basis 上附加条件化修正。这个设计更适合 low-data post-training，因为它显著降低了每个 expert 需要估计的自由度。

Method

方法层面只需要抓住三个机制。第一，calibration-driven layer selection 用 sparsity、clusterability 和 sensitivity 共同决定哪些 FFN 值得改；它解决的是 post-training surgery 的风险控制，而不是单纯找最稀疏层。第二，shared-basis decomposition 用 SVD 保留 fc2 的主导子空间，fc1 完全共享；它解决的是 disjoint experts 泛化差的问题，把专家学习压力压缩到 residual correction。第三，router fitting 用 k-means label 监督一个轻量 router；但在该设计里 router 不是核心表达能力来源，因为 residual experts 方向相同、只在尺度上变化。dispatch backend 解决的是系统代价问题，说明这类方法不能只看理论 FLOPs。

Key Insight / Why It Works

最重要的技术判断是：这篇论文有效主要因为 shared SVD basis 保住了 pretrained FFN 的主变换，而不是因为 MoE routing 学到了强语义专家。随机 routing、linear router、MLP router 的下游精度几乎一样，说明 routing precision 不是瓶颈；甚至更高 router accuracy 没有带来精度收益，进一步表明专家标签本身并不承载强任务语义。更准确地说，CLEAR-MoE 是一种 representation-preserving low-rank residualization，而不是典型 conditional computation。它利用的是 pretrained weight matrix 的 latent low-rank/shared structure 和 memory reuse，而不是 test-time compute allocation 的智能性。层选择有一定价值，尤其是避开高敏感层，但实验显示不同策略精度差异很小，说明它更像风险规避和 latency 调参，而非核心精度来源。真正的上限也在这里：如果只做 scalar-conditioned residual，模型很稳，但 specialization capacity 很弱；如果增强专家差异，可能重新引入 disjoint extraction 的泛化风险。

Relation To Prior Work

它最接近 MoEfication、D2DMoE、data-driven expert extraction 和 sparse upcycling，但位置更偏“frozen checkpoint surgery”而不是 MoE 训练。和 MoEfication/D2DMoE 的本质区别是，CLEAR-MoE 不把 FFN 拆成相对独立的专家，而是保留共享基再做 residual 专家化；这是真正新增的信息。和 Sparse Upcycling 相比，它不继续训练 backbone，因此能力提升空间更小，但部署门槛也低。和 V-MoE/AdaMV-MoE 这类从训练阶段引入 sparse experts 的方法相比，它不是在学习专家分工，而是在已有 dense 表征中抽取一个低风险的条件化残差结构。看似新的 router/dispatch/layer score 中，router 贡献最弱，dispatch 是工程必要性，shared-basis residual decomposition 才是实质创新。

Dataset / Evaluation

评估最强的部分是 ablation 归因比较清楚：shared basis、disjoint expert、router quality、SVD rank、expert count、calibration size 都被拆开看，结论相对一致。真机 GTX 960 latency 和 roofline 分析也比只报 MAC reduction 更诚实，直接暴露了方法当前不加速的问题。但 benchmark 覆盖明显窄：核心精度实验主要在 Imagenette，跨 backbone 仍是同一小分类数据集；没有 ImageNet-1K、ViT-L、Swin/ConvNeXt、检测/分割，也没有高带宽 GPU 真机验证。因此 evaluation 支持“在小规模分类上可无训练保精度转换”，但不足以支持“通用 ViT-MoE extraction”或“实际可加速部署”的强 claim。

Limitation

最大限制不是作者列的硬件范围，而是方法的专家化能力本身很弱：residual experts 共享同一方向，仅由 scalar 调整，这使 routing 不重要，也限制了真正 conditional computation 的收益。换言之，它把 disjoint experts 的泛化问题转移成 shared basis 的容量问题；只要共享基足够强，效果就稳，但也很难获得显著计算节省或专家多样性。第二，calibration data 是否代表部署分布是隐含前提，文中未充分说明分布偏移下 cluster/residual 是否稳定。第三，低 rank sweep 显示 rank 降低不伤精度，可能说明任务太容易或 Imagenette 对 FFN 近似不敏感；增益来源不清，可能部分来自 benchmark 简单、类别少、dense baseline 已有强泛化。第四，高带宽硬件上的 latency parity 只是分析模型，不是真实系统结果；fused dispatch 能否抵消额外 shared path 仍未证明。

Takeaway

• 值得记住的不是“post-training ViT 可以变 MoE”，而是：在 frozen dense model 上做专家化时，先保留共享主子空间，比设计复杂 router 更重要。
• 这个 insight 可迁移到压缩、adapter extraction、conditional residual、模型分解等问题：不要急着让每个专家独立学习完整函数，先判断哪些变换是全局共享、哪些只是条件化残差。
• 未来真正值得做的是两条线：一是让 residual experts 获得方向多样性但不牺牲 low-data 稳定性；二是把 routing+dispatch 融合到硬件友好的 kernel，否则 MoE 结构上的稀疏性不会自动变成 wall-clock speedup。

一句话总结

CLEAR-MoE 是一篇把 frozen ViT 的 post-training MoE 从“拆分专家”推进到“共享基上的条件化残差”的工作，真正贡献在于证明精度保留主要来自 shared representation preservation，而不是 router 或专家路由本身。