精读笔记

Problem Setting

[Beyond Modality Fusion: Deep Ensembles for Multimodal Classification]（arXiv preprint / 2026）

这篇论文解决的不是一般意义上的多模态分类，而是 fusion-based multimodal classifier 在 modality imbalance 下的优化失败：强模态可能更难/更慢被学到，弱模态或快收敛模态先把训练 loss 降下来，导致联合模型停止继续开发强模态表征，最终甚至不如最佳单模态。以前方法大多仍在 late/intermediate fusion 框架内修补这个问题：调梯度、加正则、重加权、交替更新、boosting 或 hybrid averaging。但这些方法没有跳出一个核心假设：多模态分类必须通过显式 fusion 学到联合表示。本文实际挑战的是这个假设。关键矛盾是，多模态输入增加了信息，但联合训练会引入跨模态优化竞争；fusion 越早/越强，不一定越能利用信息，反而可能更容易让某个模态主导学习路径。

Motivation

已有路线不够的原因在于，它们把问题定位为“fusion 不够好”，而本文认为更根本的问题可能是“fusion 的联合优化本身有害”。如果每个模态单独训练时都能形成强 classifier，那么把它们绑进一个共同 loss 里并不自动产生互补性，反而会制造梯度干扰和 under-exploration。作者的核心观察是：deep ensemble 已知能通过独立初始化和独立训练获得更好的泛化、校准和 robustness；那么在多模态场景下，把 ensemble 成员分配到不同模态，也许比训练一个融合网络更自然。关键缺口是此前没有把 unimodal deep ensembles 作为等参数量、多 imbalance regime、跨真实/合成数据的严肃 baseline 来检验。

Core Idea

核心思想是：不做 modality fusion，而是在预测空间做 evidence aggregation。具体说，训练多个单模态网络，每个网络只看一个模态；ensemble 可以是同一强模态的 HoDE，也可以是跨模态的 HeDE；推理时平均 logits。这样训练阶段完全解耦各模态优化，测试阶段再把它们的类别证据合并。

这改变了建模方式：fusion 方法试图学习一个联合表征，HeDE 则把多模态学习降为多个独立专家的 posterior/logit 合成。它引入的 inductive bias 是“先让每个模态在自己的优化轨迹上充分学习，再在决策层组合”，而不是“通过共享 loss 学会跨模态协调”。这在分类任务上很合理，因为如果每个模态的标签信息高度重叠，显式 feature-level interaction 的边际价值有限；相反，避免联合训练病态和增加 ensemble diversity 更重要。

Method

方法的关键机制可以压缩为三点。第一，独立训练单模态 experts：它解决的是 fusion 网络中 encoder 互相拖累的问题，核心变化是取消跨模态梯度耦合，让每个模态按自己的收敛速度和 inductive bias 学到可用表征。第二，logit averaging：它解决的是不同模型证据如何合并的问题；相比 probability averaging，它保留 margin 和相对置信度，经验上也给出更好 accuracy 与 calibration。第三，loss-based allocation heuristic：用各模态单模态验证 CE loss 的倒数决定 ensemble 中各模态模型数，解决 exhaustive search 太贵的问题；它的作用是给出强/弱模态之间的 compute 分配，而不是创造新的表征能力。合成 multimodal dataset 和 scaling laws 是诊断框架：前者控制模态强弱，后者估计 ensemble 扩展后的渐近 loss。

Key Insight / Why It Works

最核心的 insight 是：在许多多模态分类任务里，显式 fusion 的主要失败点不是容量不足，而是优化路径错误；deep ensemble 的优势来自绕过这个错误路径。独立单模态训练避免了 late-fusion 中“训练 loss 已经被某个模态解释掉，另一个模态还没学起来”的问题。HeDE 的提升不是因为它更懂跨模态关系，而是因为它让每个模态先成为强 predictor，再用 test-time compute 把多个 predictors 的误差平均掉。

技术判断上，本文最大的贡献不是 ensemble 本身，也不是 heuristic 公式，而是把多模态 imbalance 重新归因为 joint optimization pathology，并用一个非常强的 non-fusion baseline 证明很多 fusion 方法可能在错误战场上优化。增益很可能主要来自三部分：独立训练带来的 optimization isolation、ensemble diversity 带来的 variance reduction、以及扩大推理计算带来的 scaling。所谓“利用弱模态”并不意味着学到了深层跨模态互补，更像是在 label evidence 层加入一个弱但非完全相关的专家。logit averaging 是重要工程选择，但其理论解释文中未充分说明。heuristic 有实用价值，但把 validation CE 解释为 conditional entropy 并据此分配模型数，更多是经验规律而非严格机制。

Relation To Prior Work

它最接近三条线：modality imbalance 下的 late-fusion 修正、deep ensembles、以及 I2M2 这类 unimodal+multimodal hybrid。和 imbalance-aware fusion 的本质差异是，本文不在联合训练里平衡梯度，而是直接取消联合训练。和标准 deep ensemble 的差异是，ensemble diversity 不只来自初始化/architecture，也来自输入模态差异。和 I2M2 的差异是，I2M2 仍保留 multimodal fusion component，而 HeDE 证明在很多设置下这个 component 不是必要的，甚至可能拖累。

看似新的部分中，ensemble 和 logit averaging 都不是新思想；真正新增的信息是系统性地证明“无 fusion 的单模态 ensemble”在等参数量下可以压过大量为 modality imbalance 设计的 fusion 方法，并且给出何时 HoDE、何时 HeDE 的经验规律。它属于 deep ensemble / test-time compute scaling 谱系，而不是传统 multimodal representation learning 谱系。

Dataset / Evaluation

评估覆盖比较广：合成 CIFAR/ImageNet 用于控制模态强弱，真实 CREMA-D/Sarcasm/Kinetics 用于验证跨音频-视觉、文本-视觉、大小数据场景的一致性，还扩展到 trimodal。整体上支持核心 claim：在多模态分类、尤其 modality imbalance 设置下，HeDE/HoDE 是非常强的等参数量 baseline，且很多 fusion 方法并没有充分利用额外模态。

但 evaluation 的边界也很清楚。合成数据是 class-aligned：不同模态样本只共享类别，不共享实例，因此几乎不测试实例级互补、跨模态绑定或 alignment 能力。真实数据虽然是 instance-aligned，但任务仍以分类为主，且每个模态大多单独可预测标签。也就是说，benchmark 确实验证了“多模态分类 + 单模态可预测 + imbalance”这个 claim，但没有验证“复杂多模态理解不需要 fusion”。CREMA-D leakage 的指出是加分项，说明作者对评估偏差较敏感。

Limitation

最大限制是方法把问题从 fusion 质量转移到了 compute allocation 和 ensemble scaling：它需要训练/部署多个模型，参数量公平不等于训练管理和系统复杂度公平。若 deployment 受 latency、memory 或能耗限制，HeDE 的优势可能不可接受。第二，方法依赖模态单独可用；如果标签只能由跨模态组合决定，或者需要细粒度 temporal/spatial grounding，单模态 experts 的 logit 平均很可能不够。第三，合成 benchmark 的信息结构偏向本文方法，因为不存在真实互补信息，fusion 的理论优势被削弱。第四，heuristic 的理论基础薄弱，validation loss 到 optimal allocation 的映射目前是经验发现。第五，增益归因仍不完全清楚：到底是 modality heterogeneity、ensemble size、独立训练、logit aggregation、还是强单模态 backbone 在起主要作用，文中虽有 ablation 方向，但不足以完全分离这些因素。

Takeaway

• 1. 多模态分类里，fusion 不是默认正确答案；在 imbalance 场景下，强 baseline 应该包括等参数量的 unimodal deep ensemble。
• 2. 许多 fusion 方法的瓶颈可能是 joint optimization，而不是缺少更复杂的 cross-modal block；未来更有价值的是设计“独立预学习 + 受控交互”的范式。
• 3. 弱模态是否值得加入不是二元问题，而是随 ensemble size / compute budget 改变：小预算下用强模态，预算变大后弱模态提供非完全相关误差信号。
• 4. 可迁移 insight 是用单模态 validation loss 预测多模态 compute allocation；这比盲目设计 fusion module 更接近实际系统优化问题。

一句话总结

这篇论文把多模态分类中的 modality imbalance 从 fusion 设计问题改写为独立单模态专家的 ensemble scaling 问题，真正贡献是证明“无显式 fusion 的 HeDE/HoDE”应成为该方向的强基线和重要方法演化分支。