精读笔记
Problem Setting
这篇论文实际解决的是 test-time modality missingness 下的表示偏移问题，而不是一般意义上的多模态融合。训练时所有模态可见，测试时部分模态缺失；困难在于 partial input 产生的 representation 不是 full representation 的低质量版本，而是被系统性 reshape 过的任务表示。以前方法卡在两个方向：一类试图补全缺失信息，但容易 hallucination 且代价高；一类试图让 partial representation 更鲁棒或对齐 full representation，但不可避免地丢失证据。关键矛盾是：模型需要根据“缺了什么导致表示如何偏移”选择不同处理策略，但测试时它只看到已经被偏移后的表示。
Motivation
已有路线不够的原因在于它们大多只消费 partial feature，而没有显式观察 missingness 对 task representation 的因果后果。作者真正抓住的是训练阶段天然存在一个 privileged comparison：同一样本的 full representation 和 masked representation 可以同时计算。这个差值不是普通 distillation error，而是 missingness-induced deviation 的样本级信号。关键缺口是 routing/specialization 过去要么按模态身份，要么按模态组合，要么按 partial feature 自适应；但没有一个机制把专家分工直接绑定到“表示偏移模式”。
Core Idea
MARS 的核心思想是把 IML 从“补偿缺失模态”改写为“建模缺失导致的表示残差”。训练时用 z_full - z_partial 作为 privileged residual，引导 MoE router 将样本分给不同专家；专家处理的不是 residual，而是 partial feature，因此它们学习的是在特定 deviation pattern 下如何解释当前不完整证据。
本质区别在于专家角色不再由 modality identity 或 modality combination 预定义，而由深层任务空间中的 residual pattern 诱导出来。这给模型一个更强的 inductive bias：不同缺失组合、甚至同一缺失组合内的不同样本，可能共享相似的表示偏移，因此可以共享专家；反过来，同一组合内也可能需要不同专家。这比 Flex-MoE 式组合枚举更 scalable，也比普通 MoE 的 feature routing 更有监督信号。
Method
方法层面最必要的机制是 residual-guided specialization：residual router 用 full-partial 差值做 top-K routing，让专家围绕 missingness-induced representation shift 分化，而不是围绕输入模态硬编码分化。它解决的是专家分工缺少明确语义的问题。
第二个必要机制是 deployable feature router。因为 residual 测试时不可得，feature router 只能用 available feature 模仿 residual router 的 logits。这里的核心变化是把 privileged information 用来监督 routing policy，而非直接监督 prediction；这比常规 KD 更细，因为它蒸馏的是“该用哪组专家”。
第三个机制是 discrepancy-aware noise / sampling。它们不是提出新表示，而是在承认 feature router 无法完美复现 residual router 后，主动让训练暴露在这种 mismatch 下：路由分歧大的专家增加随机性，分歧大的模态组合被更多采样。机制上更接近 curriculum + robustness regularization。
Key Insight / Why It Works
最可能真正有效的是 residual 作为 hidden supervision for routing。partial feature 本身混合了两种信息：任务证据和缺失造成的不确定性；residual 将后者从 full anchor 中显式抽出来，使 router 不必从 partial feature 中反推缺失后果。这个信号直接服务于专家分工，因此比把 partial feature 对齐 full feature 更合理：信息已经缺失时，强行对齐可能制造虚假置信；利用偏移来选择处理策略更符合问题结构。
这篇的核心贡献属于 better inductive bias + latent structure discovery，而不是 test-time compute 或 retrieval。MoE 提供容量，但 residual 决定容量如何组织；adaptive sampling 提供 coverage，但不是核心 insight。noise regularization 可能只是辅助稳定器，尤其在 MoE 中 routing noise 本来就有 exploration / load balancing 效果，文中未完全排除其作为 generic regularization 的贡献。
需要警惕的是，oracle routing 的强结果说明 residual router 很强，但部署模型只能用 feature router。也就是说，方法把一部分问题转移成“能否从 partial feature 预测 residual-induced routing”。当不同 full states 映射到相似 partial feature 时，这个映射不可辨识，imitation 上限很硬。Food-101 上 image-only 提升异常大而 full-modality 不占优，也提示增益可能和文本信息强弱、baseline 复现、采样/容量配置有关，不能简单归因于 residual 建模。
Relation To Prior Work
它最接近三条线：LUPI / privileged information、MoE routing、IML 中的 full-to-partial distillation。和 MMANet 的差异在于，MMANet 试图让 partial representation 靠近 full representation；MARS 不要求 partial 变成 full，而是利用二者差异指导专家选择。和 MoMKE / SimMLM 的差异在于，后者专家通常绑定模态或模态输出，MARS 的专家绑定 latent deviation pattern。和 Flex-MoE 的差异在于，Flex-MoE 更像 modality-combination bank，MARS 不枚举组合，允许跨组合共享偏移结构。
看似新的部分里，MoE、noisy top-K、load balancing、KD、hard-case sampling 都是已有思想重组；实质创新是把 full-partial residual 用作 routing-level privileged signal，并把 routing specialization 与 deployable routing 解耦。这是比模块堆叠更有价值的部分。
Dataset / Evaluation
评估覆盖 CASIA-SURF、MCubeS、CREMA-D、UPMC Food-101，横跨视觉多模态、音视、图文，以及分类/分割，任务覆盖面足够支撑“方法不是单一 benchmark trick”的初步 claim。尤其 segmentation 上的提升说明 residual-guided routing 不只适用于分类 logits。
但 evaluation 仍主要验证的是枚举式或模拟式 missing modality，而非真实部署中的 sensor failure、模态质量连续退化、非随机缺失和分布漂移。MCubeS 只看含 RGB 的组合，合理但削弱了“任意缺失”论证。多数 baseline 由作者复现并调参，公平性依赖实现细节；文中虽给了配置，但增益是否来自 residual 而非 capacity / sampling / training budget 仍不能完全排除。整体上，实验支持核心机制有效，但还没有证明 residual pattern 具有强跨域可迁移性。
Limitation
最大前提是训练时必须有完整模态。没有 full reference，就没有可靠 residual；这使方法不适合训练数据本身不完整的更一般 IML。第二个前提是 full representation 被视为最充分 anchor，但现实中多模态可能存在冲突、噪声或伪相关，full 不一定等于更正确。第三，feature router 的部署能力受 partial feature 可辨识性限制；如果 residual 中的信息不可由 partial observation 推断，distillation 只能学平均策略。
scalability 上，MARS 避免了 2^M 组合专家，但训练仍需要为样本构造 full/partial pair，并维护 MoE routing、noise、sampling；模态数很大或缺失模式复杂时，采样覆盖和 router imitation 会成为瓶颈。文中对真实故障模式、连续质量退化、OOD missingness 未充分说明。部分增益可能主要来自更充分的数据覆盖、MoE capacity 和 curriculum，而非 residual 单独贡献。
Takeaway
- 第一，IML 里比“补全缺失信息”更可迁移的思路是显式建模 missingness 对 task representation 的偏移；缺失本身可以成为监督信号。
- 第二，privileged information 不一定要蒸馏成特征或预测，也可以蒸馏成 routing policy，这是一个值得迁移到其他 test-time constraint 问题的设计。
- 第三，专家不应总是绑定输入模态或组合，更自然的绑定对象可能是 latent failure/deviation pattern。
- 第四，未来更有价值的问题是无完整训练模态、连续模态质量退化、以及 residual pattern 跨域复用，而不是继续堆更多专家。
一句话总结
MARS 是一篇把 IML 从 partial-feature robustness 推向 missingness-induced residual specialization 的工作，真正贡献在于用训练期 full-partial 表示差异作为 routing-level privileged supervision 来重组 MoE 专家分工。