Awesome World Models / OpenReview

Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity

作者：作者信息待提取 · 单位：Stanford University, Carnegie Mellon University, FAIR at Meta · 来源：General Approaches to World Models · 发布日期：2025 · 分类：1. Foundation World Models / Classics / Other Awesome Models

基础世界模型视觉语言桥接

精读笔记

Problem Setting

论文标题：Mixture-of-Mamba: Enhancing Multi-Modal State-Space Models with Modality-Aware Sparsity（Awesome World Models / 2025）。

这篇论文不是在问“能不能用 Mamba 做多模态”，而是在问：当 early-fusion 多模态序列已经被构造成统一 token stream 后，Mamba backbone 内部是否应该仍然用完全共享的 dense 参数处理所有模态。作者认为答案是否定的。

真正的问题是，多模态 token 的统计结构差异太大：文本是离散符号序列，图像 token 可能是连续 latent patch 或 VQ token，语音又有不同的局部连续性和语义粒度。Dense Mamba 被迫用同一套 projection、同一套输入到状态的参数生成方式去吸收这些差异。这会造成容量竞争：模型既要学习模态内结构，又要学习跨模态条件关系，还要在同一组参数里处理不同 token 分布。

以前的 Mamba 多模态路线多半把问题放在“外接适配”上：图像 projector、tokenizer、扫描路径、视觉特化 SSM 等。这些方法解决了输入格式或视觉结构问题，但没有改变 backbone 对所有模态一视同仁的参数化假设。MoE-Mamba / BlackMamba 虽然引入 sparsity，但主要发生在 MLP 层，Mamba block 本身仍是 dense shared。关键矛盾因此是：多模态需要专门化，但 SSM 的吸引力来自简单、线性、稳定；如何在不引入复杂 learned routing 的情况下给 Mamba 加入专门化，是本文的核心问题。

Motivation

作者的动机很直接：多模态 early-fusion 中，模态标签是已知的，没必要让模型通过 learned router 再去发现“这是图像 token / 文本 token / 语音 token”。如果专家选择本来就有强监督信号，rule-based modality routing 可能比 learned MoE 更稳定、更便宜，也更不容易陷入 expert imbalance。

已有路线缺的是 backbone 内部的 modality-conditioned computation。外部 projector 只能把不同模态送进同一 token space，但送进去之后，dense Mamba 仍然要用同一计算路径建模所有模态。换句话说，projection alignment 解决的是入口问题，不解决 backbone 中每一层如何保留模态差异的问题。

这篇论文继承的是 Mixture-of-Transformers 的观察：多模态模型中，按模态拆分参数往往比通用 learned MoE 更符合数据结构。本文的关键缺口是把这个原则从 Transformer attention/MLP 体系迁移到 Mamba/SSM 体系，并证明这种模态感知稀疏不是 Transformer-specific trick，而是更一般的多模态 backbone 设计原则。

Core Idea

核心思想可以概括为：共享序列动力学，拆分模态接口。Mixture-of-Mamba 不复制整个 Mamba，也不在 token 之间做 learned expert competition，而是在 Mamba block 中对关键线性投影做 modality-specific parameterization。文本 token 用文本投影，图像 token 用图像投影，语音 token 用语音投影；但状态递推和部分跨 token 聚合结构保持共享。

这引入了一个很清晰的 inductive bias：不同模态进入状态空间的坐标变换不同，从状态空间读出的坐标变换也不同，但它们仍然在一个共享的序列建模骨架中交互。直觉上，这比完全 dense sharing 更合理，因为图像/语音/文本的局部统计不应该强行共用同一组 feature projection；也比完全分模态模型更合理，因为跨模态依赖仍然需要共享上下文状态。

和 prior 的本质区别在于，它把 sparsity 放进 Mamba block 的输入处理路径，而不是外部 adapter 或 MLP 附件。这样改变的是 backbone 的计算分配方式，而不是简单增加一个模态适配层。它更 scalable 的地方在于 routing 是确定性的、无负载均衡损失、无 bi-level routing instability；更 generalizable 的地方在于这个原则不依赖具体图像是连续 latent 还是离散 token，也不依赖训练目标是 diffusion 还是 autoregressive。

Method

方法上只需要抓住三个机制。

第一，modality-specific projection。它解决的是不同模态 feature 分布被同一线性变换压入同一状态生成过程的问题。把输入投影、状态参数生成相关投影、输出投影按模态拆分，本质上是在每层给不同模态不同的 feature-to-dynamics interface，而不是只在 embedding 层做一次适配。

第二，shared recurrent/state backbone。论文没有把所有东西都按模态拆开，Conv1D 和状态转移 A 等结构保持共享。这个选择很关键：如果所有动态都分模态，模型会退化成多个弱耦合子模型；如果所有东西都共享，又回到 dense Mamba。共享状态骨架让跨模态上下文仍然通过同一序列状态流动，模态差异主要由投影接口吸收。

第三，确定性模态路由。这里没有 learned router、没有 top-k expert selection、没有 load balancing。每个 token 的模态直接决定使用哪套参数。这解决的是 MoE 在多模态预训练中常见的不稳定和专家利用不均问题。它牺牲了 content-adaptive flexibility，但换来训练稳定性和非常低的路由复杂度。

训练设置本身不是方法贡献。Transfusion 的 diffusion loss、Chameleon 的离散 AR loss、speech tokenizer 都更多是验证场景，用来说明这个参数化原则不是绑定某一种 representation 或 objective。

Key Insight / Why It Works

最重要的 insight 是：多模态 early-fusion 中的瓶颈不一定是 attention/SSM 的长程建模能力，而是参数共享粒度错了。Dense backbone 假设不同模态 token 可以共享同一套层内变换，这在单模态语言中合理，但在图像、语音、文本混合时会产生负迁移。Mixture-of-Mamba 的收益很可能主要来自减少这种负迁移，而不是来自更强的序列建模能力。

为什么图像和语音收益更大？因为它们相对文本更不像 Mamba 预设的离散符号序列分布，且 token 局部相关性、频谱/空间结构、entropy profile 都不同。给它们单独的投影接口，相当于让模型不用在每层都重新把图像/语音 token “翻译”成共享空间。文本在 Transfusion 中增益很小，也支持这个判断：文本本来就是 dense sequence model 最擅长的分布，专门化带来的边际收益有限。

消融里最有价值的信息是联合拆分比单独拆分强，甚至某些单独拆分会负收益。这说明核心贡献不是“哪个矩阵更重要”，而是 Mamba block 内部的参数化需要成体系地按模态重构。只拆一个接口可能造成层内 representation mismatch：输入按模态变了，但状态参数或输出还共享，反而增加优化负担。全链路拆分让每个模态拥有一致的局部计算坐标，因此收益呈现协同。

我会把这篇的有效性归因为 better inductive bias + parameter allocation，而不是 scaling、retrieval、curriculum、test-time compute 或 memory reuse。它没有引入新的外部记忆，也没有证明更强推理；所谓效率主要是训练收敛更快，不是单 token compute 更少。由于每个模态有独立参数，增益也可能部分来自有效容量增加；论文没有充分隔离“模态稀疏 inductive bias”与“更多参数容量”之间的贡献。这里的增益来源仍不完全清晰。

Relation To Prior Work

这篇最接近两条线：Mixture-of-Transformers / modality-aware experts，以及 MoE-Mamba / BlackMamba 这类 SSM + MoE hybrid。它的新增信息不是“多模态要有专家”——这个已经在 VLMo、MoMA、Mixture-of-Transformers 中反复出现；真正新增的是把 modality-aware sparsity 放进 Mamba block 的 projection 结构中，并证明在 SSM backbone 上同样成立。

相对 VLMamba、Cobra、Vision Mamba、VMamba 等工作，本文不是设计视觉扫描路径，也不是外接 LLaVA-style projector，而是在通用多模态预训练 backbone 内部重写参数共享方式。这是本质差异。

相对 MoE-Mamba / BlackMamba，本文不把 Mamba 当 dense sequence mixer 再在 MLP 上加 MoE，而是直接改 Mamba 的输入处理和状态参数生成路径。这个差异比较实质，因为如果 SSM block 是主要计算/建模路径，只 sparsify MLP 可能没有触及多模态负迁移的主要来源。

但从思想谱系看，它仍然是 rule-based modality expert 的延伸，而不是一种全新的稀疏学习范式。它把已有的“模态条件化参数”思想移植到 SSM 的结构细节中，工程上简单，归纳偏置明确；创新点在于迁移位置和边界选择，而不是 routing 理论或新训练目标。

Dataset / Evaluation

评估覆盖面相对扎实：连续图像 latent + diffusion objective、离散图像 token + AR objective、再加入 speech 的三模态 setting。这个设计确实在一定程度上验证了作者的核心 claim：modality-aware sparsity 对 representation 形式和训练目标不敏感，不只是 Transfusion setting 的偶然收益。

不过 evaluation 主要集中在 training/validation loss 和 loss matching。它强力支持“更快达到相同 loss”这个 claim，但没有充分支持“更强多模态 foundation world model”这种更大的 claim。没有看到系统性的生成质量、人类偏好、下游 VQA/grounding、跨模态推理、长上下文规划或真实交互环境评估。因此它证明的是 pretraining efficiency，而不是完整 world-model 能力。

FLOPs 指标也需要谨慎解读。论文报告的是达到 dense Mamba 相似 loss 所需相对训练 FLOPs，而不是同等训练预算下最终能力的 Pareto frontier，更不是推理 FLOPs 下降。Mixture-of-Mamba 每个 token 只激活对应模态参数，但总体参数量会随模态数增加；如果部署时所有专家都要常驻显存，系统效率不一定像训练 loss matching 数字那么漂亮。

还有一个 evaluation limitation：baseline 主要是 Mamba Dense 和部分 Flex-Attention Transformer。缺少更强的 modality-aware Transformer / MoE baseline 的同设置对照，因此无法判断 MoM 相比“成熟 Transformer 稀疏多模态架构”的优势有多大。它更像证明“dense Mamba 不够好，按模态拆 Mamba 明显更好”。

Limitation

第一，方法成立依赖显式、稳定、离散的模态标签。图像 token、文本 token、语音 token 边界清晰时很好用；但在真实多传感器流、视频-音频同步、OCR 混合 token、tool trace 或 latent multimodal representation 中，模态边界可能不清晰，rule-based routing 的优势会下降。文中未充分说明这种场景下如何处理。

第二，scalability 上限来自模态数和参数复制。每增加一个模态，就需要增加一套相关投影参数。对于 2-3 个模态这很合理；如果扩展到大量传感器、动作、触觉、深度、事件相机、机器人状态等，参数增长和数据不均衡会变成问题。它把 learned MoE 的负载均衡问题，部分转移成了模态数据比例和专家容量配置问题。

第三，增益归因不完全干净。MoM 相比 dense Mamba 增加了模态专属参数，最终 loss 改善可能同时来自更好的 inductive bias 和更大的有效容量。论文的消融说明联合拆分有协同，但没有充分控制等参数量 dense baseline、随机分组专家、共享低秩适配等替代解释。增益来源不清。

第四，论文主要报告 loss，不足以证明多模态 reasoning 或 world-modeling。更低的 token/diffusion loss 可能只是更好拟合数据分布，甚至主要来自数据覆盖和 tokenization 便利；不能直接推出模型形成了可用于规划的长期状态模型。所谓 world model claim 在这篇里偏弱。

第五，跨模态共享可能被削弱。按模态拆分每层投影会减少负迁移，但也可能降低某些低层共享结构的形成，特别是当任务需要细粒度 image-text-speech alignment 时。论文没有深入分析 representation alignment 是否改善，还是只是各模态 loss 分别下降。

Takeaway

  • 1. 多模态 backbone 的参数共享粒度是一个被低估的 scaling knob。
  • 不是所有 token 都应该共享同一层内变换；按模态拆 projection 可能比复杂 learned routing 更稳。
  • 2. 对 SSM/Mamba 来说，最自然的多模态专门化位置不是外部 projector，也不是只在 MLP 上加 MoE，而是 feature-to-state / state-to-feature 的接口。
  • 这一点可以迁移到其他 recurrent、linear attention 或 hybrid sequence model。

一句话总结

Mixture-of-Mamba 是把 Mixture-of-Transformers 式的模态感知稀疏迁移到 Mamba block 内部的架构工作，真正贡献在于用确定性模态专属投影重设 SSM 多模态预训练的参数共享边界，而不是证明了新的 world-model 能力。