精读笔记

Problem Setting

论文标题：Worldscape-MoE: A Unified Mixture-of-Experts World Model for Scalable Heterogeneous Action Control（arXiv preprint / 2026）。这篇论文实际处理的是异构动作监督下的世界模型统一训练问题：同一个视频生成世界模型要同时接受 camera trajectory、robot action vector、hand-joint action map 等结构差异很大的控制信号。真正难点不在于让某一种控制生效，而在于不同控制接口会要求不同的条件注入路径、不同的时空对齐方式和不同的动作语义解释；如果强行共用一套 dense 参数，梯度会互相干扰，如果完全拆开训练，又无法复用共享物理和视觉动态。以前方法基本卡在“控制接口即模型边界”：camera-control world model、robot manipulation world model、hand-centric egocentric model 各自优化，各自收集数据，各自吸收世界 prior。关键矛盾是：世界动力学应该共享，但动作解释必须分离。

Motivation

已有路线不够的地方在于，它们把异构控制看成不同任务，而不是同一世界模型的不同观测 / 干预接口。这样导致两个问题：一是数据不能自然汇合，camera 数据学到的几何和时序 prior 很难直接帮助 manipulation；二是模型容量被模态边界切碎，重复学习 object permanence、temporal coherence、contact plausibility 等共性规律。作者的核心观察是合理的：轨迹、关节动作、手部 action map 在表示上不同，但都对未来视频施加约束，而且这些约束背后共享场景结构、物体连续性和交互规律。关键缺口不是再做一个更强的单控制模型，而是找到一种机制，把异构监督组织成可累积的训练信号，同时避免控制语义相互污染。

Core Idea

核心思想是把世界模型因子化为两层：一层是跨控制模态共享的世界生成 prior，另一层是每种控制接口自己的动作解释 residual。Worldscape-MoE 用共享 DiT 作为生成骨架，用 shared expert 承接所有样本的共性世界知识，用 modality-specific expert 承接对应控制语义。这个设计改变了建模方式：不再让每种控制定义一套世界模型，也不再让所有控制无差别地更新同一 dense FFN，而是在参数路径上显式表达“世界共享、接口分离”的 inductive bias。

理论直觉上它可能有效，因为异构控制的冲突主要发生在 action-to-dynamics 映射，而不是所有视觉时空建模部分。shared expert 负责被所有数据共同约束的部分，modality expert 负责把不同动作表示翻译成对视频演化的具体影响。和 prior 的本质区别在于，prior 多数是在单一控制接口内做 conditional generation；这篇把“控制异构性”本身作为 scaling axis，并给了一个可增量扩展的参数组织方式。

Method

方法里真正关键的机制有三点。第一是 modality-aware control injection：不同控制不是被硬塞进同一个 conditioning channel，而是按结构进入不同路径。轨迹和手部 action map 这种空间 / 时空密集信号进入视觉 token 或 latent branch，低维 robot action 进入 timestep modulation。这解决的是 representation mismatch：控制信号的几何结构不同，统一入口会损失语义或引入噪声。

第二是 control-aware MoE routing：每个样本总是激活 shared expert，同时只允许对应 modality expert 参与计算。这个 eligibility mask 比普通 learned router 更重要，因为它把专家分工先验写进了优化过程，避免 manipulation 样本更新 hand expert、camera 样本污染 robot expert。它带来的核心变化是梯度隔离，而不是单纯稀疏计算。

第三是 progressive MoE tuning：新模态不是一次性混入，而是逐步加控制分支和专家，并从当前 shared expert 初始化新专家。这个机制解决 continual extension 的稳定性问题：新专家继承已有世界 prior，再学习自己的接口残差。文中训练 recipe 的细节不是核心，核心是让共享知识可迁移、让新控制不迫使旧控制完全重学。

Key Insight / Why It Works

最重要的 insight 是：异构动作世界模型的主要瓶颈不是条件表达能力，而是参数更新路径的组织方式。直接 mixed training 失败的原因通常不是模型不知道如何生成视频，而是不同动作模态把同一 FFN 推向不同的条件解释函数。MoE 的价值在这里不是经典意义上的 scaling law 加容量，而是把 shared dynamics 和 modality semantics 进行软分解。

最可能的核心贡献是 deterministic eligibility + shared expert 这个组合。shared expert 保证所有数据都能沉淀到同一个世界 prior；modality expert 保证控制接口有私有自由度；router 权重再决定当前样本需要多少共享 computation 和多少专用 computation。文中的 routing 统计显示 shared expert 占主要计算量，而 manipulation / hand control 更依赖专用专家，这和直觉一致：camera motion 更接近通用视频时空变化，manipulation 和 hand-object interaction 需要更细的接触与动作语义。

但必须直接说，增益来源不完全清楚。MoE ablation 只能说明比 dense mixed baseline 好，不能完全排除参数量增加、训练数据多样化、Seedance augmentation、强视频预训练 backbone 的贡献。所谓 OOD generalization 也可能主要来自 data coverage 和视频生成模型的外观泛化，而不是形成了真正可组合的物理因果模型。loco-manipulation 的 qualitative 很有启发，但还不足以证明长期 planning 或 compositional control；更像是共享 prior 下的 plausible rollout，而不是 agent-level reasoning。

Relation To Prior Work

它最接近三条线的交叉：video diffusion world model、action-conditioned embodied prediction、MoE / multimodal expert specialization。和 Genie、Matrix-Game、HY-World、CameraCtrl 这类 locomotion / camera-control 模型相比，它不是只增强相机控制，而是把 camera control 降为多个动作接口之一。和 CtrlWorld、Cosmos-Predict、GigaWorld 这类 manipulation world model 相比，它不把 robot action 作为唯一中心，而是尝试让 manipulation 从其他视觉动态数据中受益。和 Hand2World、Generated Reality 这类 egocentric hand model 相比，它的 hand control 不是孤立建模，而是接入共享世界 prior。

看似新的部分里，有不少是已有思想重组：DiT backbone、ControlNet / adapter 式条件注入、MoE expert specialization、progressive fine-tuning 都不是新概念。实质创新在于问题重构：把“多种控制世界模型”定义成异构监督 scaling 问题，并用 shared-plus-specific MoE 把参数组织方式和任务结构对齐。这篇属于从 single-interface controllable video generation 走向 heterogeneous-control foundation world model 的中间形态。

Dataset / Evaluation

数据覆盖面较广：真实场景 camera trajectory、Unreal synthetic locomotion、RoboTwin / LIBERO manipulation、EgoDex / Ego4D hand interaction，再加上视频生成模型驱动的数据增强。这个覆盖确实支持论文的 scaling 叙事：多源异构数据被组织进同一训练框架，而不是分别训练模型。

评测覆盖 locomotion、manipulation、hand motion 三类控制，并包含 dense mixed baseline、单控制 baseline 和若干强视频模型。它基本验证了 RQ1 和一部分 RQ2：单模型没有明显牺牲各模态性能，MoE 比直接混训更稳。对 RQ3 的支持较弱一些，增量模态扩展主要是 qualitative 和训练动态分析；对 RQ4 的支持也偏经验和视觉判断，OOD 和 loco-manipulation 没有足够强的因果可组合评测。

明显 limitation 是 benchmark 更偏 video fidelity、temporal consistency、action following proxy，而不是真实闭环 planning utility。WorldArena 的 EWMScore 有用，但很多指标仍是视觉 / 语义 proxy，不能证明模型能作为可靠 simulator 支持策略优化。真实世界 / 真机闭环验证基本缺失，因此“world model for planning/control”的 claim 仍大于当前证据。

Limitation

方法成立依赖几个强前提。第一，不同控制模态必须共享足够多的底层世界规律；如果新模态的动力学或视角分布差异过大，shared expert 可能变成平均化瓶颈。第二，各模态控制信号要能被可靠对齐到视频未来；hand data 依赖 HaMeR 自动重建，robot data 大量来自仿真和生成增强，控制监督本身可能有噪声或隐式偏差。第三，专家数量随模态增长，scalability 可能不是无限扩展，而是把模型设计问题转移成 expert management、routing stability 和训练成本问题。

增益归因是最大问题。核心能力可能主要来自数据覆盖和强预训练视频 backbone，MoE 可能是在减少混训伤害，而不是主动产生更强的物理抽象。所谓泛化可能依赖 benchmark overlap、视觉域覆盖和生成模型 prior；所谓推理更像条件视频补全或 retrieval-like interpolation，而不是长期状态建模。文中未充分说明多控制同时输入时如何仲裁冲突，也没有证明 shared expert 学到的表示能稳定支持真正的 action composition。当前模型还计算昂贵、非实时，离可部署的交互式 simulator 有明显距离。

Takeaway

• 最值得记住的不是具体结构，而是问题定义：异构动作监督可以被当成 world model scaling 的核心资源，而不是噪声源。
• 未来世界模型很可能不会按 camera、robot、hand 分成多个模型，而会走向 shared world prior + interface-specific controllers / experts 的结构。
• 可迁移的 insight 是：当多个任务共享环境动态但控制接口不同，直接 dense multi-task training 往往不是好选择；应该显式分离“共享状态演化”和“接口解释函数”。
• 这对机器人、多传感器仿真、具身视频预测、多 embodiment policy learning 都有参考价值。

一句话总结

Worldscape-MoE 是把可控视频世界模型从单控制孤岛推进到异构动作监督统一训练的一步，真正贡献在于用 shared/specific MoE 重新组织世界 prior 与控制语义，而不是单纯做了一个更大的条件视频生成器。