精读笔记

Problem Setting

论文标题：Rosetta: Composable Native Multimodal Pretraining（arXiv preprint / 2026）。这篇论文真正处理的是 native multimodal foundation model 的非破坏式功能扩展：从语言基础和视觉理解继续接入连续图像生成时，模型既要保留原有语言/理解能力，又要让生成任务从已有语义中受益。关键矛盾是 stability-plasticity 在多目标预训练中的具体形态：连续生成目标梯度高方差、强更新，会覆盖离散语言/理解任务已经形成的 FFN 表示和 MoE 路由。标准 MoE 的问题是专家池共享且路由无模态约束，新任务会抢占/改写已有专家；MoT/Bagel 式隔离的问题是把冲突降下来了，但也把跨模态共享通路切得太硬，导致“能保护但难协同”。所以 Rosetta 不是在问如何做一个统一模型，而是在问：如何让统一模型像插件系统一样扩展新模态，同时不把旧能力写坏。

Motivation

作者的出发点很明确：现有路线缺的不是另一个融合 token 格式，而是一个可控的参数写入机制。统一 dense Transformer 或普通 MoE 默认所有目标都往同一表示空间写入，这对语言-视觉理解可能尚可，但遇到 diffusion/flow matching 这种连续生成目标时，优化动态会主导共享参数。反过来，MoT 这类结构隔离把不同模态的 Attention 和 FFN 都拆开，本质是在用物理隔离换稳定性，但代价是跨模态交互只能停留在较浅或较弱的层面。作者的核心观察是：Attention 应该保留统一，因为它负责上下文混合和条件化；FFN 更像知识/功能存储区，因此冲突应主要在 FFN 层处理。关键缺口是：需要一个既能隔离模态特定写入、又保留共享语义桥的 FFN 组织方式，并且这个共享桥还必须有可扩展的冲突梯度防护，否则它会成为新的被覆盖点。

Core Idea

Rosetta 的核心思想是把“交互”和“写入”解耦：跨模态交互仍走统一 Attention，避免过早把不同 token 投到互不连通的子空间；功能性知识写入则被限制在模态/任务专属 FFN 专家中，避免生成任务用自己的高强度梯度改写语言或视觉理解专家。这个设计引入的 inductive bias 是：模态之间应该共享上下文对齐空间，但不应该共享全部参数记忆空间。

真正区别于 prior 的地方在于它没有简单选择 MoE 的自由竞争或 MoT 的硬隔离，而是引入一个 Global Shared Expert 作为受控共享瓶颈。所有模态都经过这个共享专家，因此跨模态共性仍能积累；但大部分特定能力写入发生在各自专家池里，因此冲突被局部化。MAOP 再进一步保护这个共享瓶颈：用 optimizer momentum 表示历史语义方向，当新梯度试图反向更新时投影掉冲突分量。直觉上，这相当于把旧能力的优化轨迹当成软约束，而不是显式存旧任务梯度或做 replay。

Method

方法上最关键的机制只有四个。第一，统一 Attention 解决的是过度隔离导致的跨模态条件化不足；它假设 QKV 共享有助于形成共同语义坐标，而不应被模态拆分。第二，模态感知 FFN 路由解决的是标准 MoE 路由坍缩；Text、ViT、VAE token 只能访问各自专家池，从机制上阻止 T2I 梯度直接改写语言/理解专家。第三，Global Shared Expert 解决的是纯隔离没有协同的问题；它让所有任务有一个共同更新的语义桥，使生成信号有机会反哺理解，而不是只在独立分支里自我优化。第四，MAOP 解决的是共享专家仍会被冲突梯度污染的问题；它用 AdamW 一阶动量作为历史方向，在当前梯度与动量内积为负时去掉该反向分量。

需要注意，warmup gradient shielding、DiffLR、magnitude-preserving sparse upcycling 都是保证系统跑稳的关键工程，但它们更像训练稳定性条件，而不是 Rosetta 的核心建模思想。尤其 DiffLR 和 warmup shielding 可能对最终稳定性有较大影响，文中没有完全把这些工程因素与架构/MAOP 的贡献剥离干净。

Key Insight / Why It Works

我认为这篇最有价值的 insight 是：多模态统一不应该等同于参数完全共享；更合理的是共享“对齐/条件化通道”，隔离“功能写入空间”，再保留一个受保护的共享语义桥。这个判断比具体的专家数或路由实现更重要。它把 MoE 的容量扩展能力、MoT 的抗干扰能力和 shared expert 的协同能力放在同一个框架里重新分配。

MAOP 的有效性来自一个实用但较强的近似：optimizer momentum 可以被看作历史任务/已有能力的局部语义方向。如果这个近似成立，那么去除与 momentum 反向的梯度分量，就能避免新任务把参数往破坏旧能力的方向拉，同时保留同向或正交的潜在协同更新。这不是严格意义上的 continual learning guarantee，因为 momentum 不是旧任务真实梯度，也不区分哪些历史方向来自语言、MMU 或 T2I；但它在大规模训练里非常有吸引力，因为几乎不增加显存，也不需要多 backward。

最可能的核心贡献是“受保护共享专家”这个组合：单独的模态专家只能防遗忘，单独的共享专家会被污染，单独的梯度投影又缺乏结构隔离。Rosetta 的效果大概率来自三者耦合。相对而言，专家池扩展、active parity、upcycling、DiffLR、warmup shielding 中有不少 engineering / scaling 成分；它们让结果更强，但不一定是论文真正的新思想。生成指标提升也可能部分来自更合理的专家容量分配和训练 recipe，而不完全来自所谓 cross-modal synergy。文中关于“协同”的证据主要是加入 T2I 后 Rosetta 的 MMU/MBPP 不降反升，但这仍可能混有数据继续训练、采样比例、冻结强 encoder/decoder、benchmark overlap 等因素，不能完全证明形成了更一般的跨模态推理结构。

Relation To Prior Work

Rosetta 位于 unified multimodal pretraining、sparse MoE、多任务梯度冲突处理、continual modality expansion 的交叉谱系上。和 Transfusion/Show-o 相比，它不是主要创新 token/objective 统一，而是解决统一目标下的参数冲突。和 Chameleon/Janus 等离散化或解耦视觉编码路线相比，它关注的是连续生成目标接入后对已有能力的破坏。

和标准 MoE 的本质区别是取消了模态无关的自由专家竞争；它不相信路由器会自动学出稳定分工，而是把功能边界显式写进路由拓扑。和 MoT/Bagel 的本质区别是没有把 Attention 也隔离掉，而是保留 dense cross-modal attention，并通过共享专家提供受控协同。和 PCGrad/CAGrad 等梯度手术相比，MAOP 的新意不是“正交投影”本身，而是用 optimizer momentum 替代显式多任务梯度，从而绕开大规模训练中的多 backward 和梯度缓存。

看似新的部分中，shared expert、modality-specific routing、gradient projection 都有明显前史；实质创新在于把它们组合成一个面向“可插拔模态扩展”的系统，并把冲突处理降到 optimizer state 级别。换句话说，这篇更像是一个强系统化重组加一个实用优化 trick，而不是提出全新的多模态学习理论。

Dataset / Evaluation

评估覆盖语言、视觉理解、图像生成三类能力，且比较中强调 active parameter parity，这一点对验证核心 claim 是必要的。训练过程也按 LM → MMU → T2I 的扩展顺序设计，确实对“加入生成目标是否导致遗忘”这个问题有针对性。训练动态、路由分布和 ablation 比最终表格数字更有说服力，因为它们直接展示了路由漂移、loss divergence 和共享专家冲突。

但 evaluation 仍有明显限制。第一，所有结果都是 offline benchmark，没有真实部署中的长上下文、多轮交互、持续接入新模态或用户分布漂移验证。第二，所谓 composable expansion 只验证了文本、视觉理解、图像生成三类，且 ViT/VAE 都是冻结强模块；这不能外推到音频、视频、3D、机器人控制等更强时序和状态依赖模态。第三，MoT baseline 的实现和训练 recipe 是否代表最强隔离范式仍需谨慎；MoT 总参数更大但 active 相同，公平性有说服力，但总参数冗余、专家分配、LR 策略可能影响结论。第四，benchmark 能证明“不明显遗忘”和“生成质量更好”，但对“真正跨模态协同”的证明仍偏间接。

Limitation

最大隐含前提是 momentum anchor 真的代表需要保护的基础能力。如果训练后期 momentum 已经混入新任务方向，或者旧任务数据比例很低，MAOP 保护的可能只是最近优化轨迹，而不是旧能力本身。它更像局部优化惯性保护，不是显式知识保持机制。

第二个限制是 Global Shared Expert 可能只是把冲突从全部专家转移到一个共享瓶颈。当前三类功能下它工作良好，但模态数量继续增加时，共享专家容量、梯度频率、任务权重会成为瓶颈。文中未充分说明如何扩展到多个共享专家、层级共享专家或动态共享容量。

第三，增益归因不完全清晰。Rosetta 同时使用模态专属路由、共享专家、MAOP、warmup shielding、DiffLR、upcycling、冻结强视觉模块和固定 curriculum；这些因素耦合很强。Ablation 说明 shared expert 和 MAOP 有用，但不足以完全排除训练工程和数据覆盖贡献。部分“协同”提升可能主要来自继续训练和数据混合，而不是架构产生了新的泛化能力。

第四，方法对任务边界有依赖：它需要知道 token 属于 Text、ViT、VAE 哪类，并据此选择路由池。对于边界模糊的多模态 token、工具调用、动作 token、跨模态 latent token，如何定义功能路由并不显然。第五，论文没有充分验证长期 continual learning：连续接入多个新模态、多轮插拔、删除模态、旧数据不可访问时，MAOP 是否还能防止累积漂移仍是开放问题。

Takeaway

• 1. 统一多模态模型的核心不是“所有东西共享一个 Transformer”，而是设计哪些路径共享、哪些写入隔离；Rosetta 给出的分解是 Attention 共享、FFN 功能隔离、共享专家受保护。
• 2. 对可扩展 foundation model 来说，shared expert 不能只是桥，还必须有冲突防护；否则它会成为所有模态争夺和污染的集中点。
• MAOP 的价值在于提供了一个工程上便宜、可分布式实现的保护近似。
• 3. 这篇推动的方向是 composable pretraining：新能力以专家插件形式接入，旧能力通过路由隔离和优化约束保留。

一句话总结

Rosetta 是一篇把 MoE 功能隔离、共享语义桥和动量锚定梯度投影组合起来的可组合多模态预训练工作，真正贡献在于提出了一种比纯共享或纯隔离更适合连续接入新模态的参数组织与优化范式。