精读笔记

Problem Setting

[论文标题] CoRE-VLA: Towards Scalable and Robust Vision-Language-Action Modeling via Conditional Routing of Experts（arXiv preprint / 2026）。这篇论文处理的不是普通多模态 VLA，而是“统一 policy 如何在传感器集合不固定的真实部署环境中仍能工作”。真正困难点在 action generator：如果把 RGB、language、proprioception、depth 等输入都灌进同一个 dense backbone，模型很容易把动作预测建立在固定传感器接口上；一旦 depth 缺失、传感器换型或任务阶段变化，原来的表示路径就失效。以前路线通常把 sensor set 当作训练 / 部署协议的一部分，而不是 policy 内部的条件变量；因此它们可以在固定 benchmark 上强，但不自然支持 heterogeneous embodiment 和 runtime sensor failure。关键矛盾是：辅助传感器确实有用，但一旦让模型无约束地依赖它，就会牺牲缺失条件下的可靠 fallback。

Motivation

已有 VLA 的主要短板不是感知 backbone 不够强，而是 action-side computation 太“单一路径”。多任务、长程子目标、不同传感器配置都被压到同一套参数中，导致 task interference 和 modality entanglement。作者观察到真实机器人部署中的传感器可用性本身就是上下文变量：有时有 depth，有时没有；有些 embodiment 永远没有；有些传感器会临时失效。因此缺的不是又一个 depth encoder，而是一个能把“任务意图”和“传感器可用性”显式注入动作生成路径的机制。这个动机是合理的：如果 action generation 仍然是 dense shared computation，那么 auxiliary modality 的加入很可能只是提升平均性能，同时降低 worst-case robustness。

Core Idea

核心思想是把 VLA 的动作生成从固定函数改成条件化稀疏函数：同一个 policy 内部存在多条 action computation paths，当前语言任务和当前可用传感器决定激活哪条路径。task intent 负责在动作侧选择和路由 token，sensor availability 负责打开或屏蔽 modality-specific experts。这样模型不再被迫用同一套计算处理 reaching、placing、bimanual folding、contact-rich manipulation 和缺 depth / 有 depth 两种输入制度。

这个 inductive bias 的本质是“把环境中会变的因素变成路由条件”，而不是让 backbone 自己隐式吸收所有 variation。相比 prior 的 dense VLA 或简单 early/late fusion，CoRE-VLA 重新组织了信息流：辅助模态不是全局污染共享动作路径，而是进入可被关闭的 expert 子空间；语言意图不是只作为 conditioning token，而是直接影响 action computation allocation。因此它可能更 scalable：新增传感器或任务时，主要增加条件路径和专家容量，而不是把所有能力挤进同一个 dense module。

Method

方法上真正必要的机制只有几项。第一，intent-conditioned action-token selection：它解决的是动作侧 token 并非同等重要的问题，尤其在 chunk-based flow policy 中，不同 query / future-action token 对当前子目标的贡献不同；选择性计算让模型把条件交互集中到最相关的动作表示上。第二，task-conditioned expert routing：它解决多任务共享参数的负迁移，让不同任务阶段可以使用不同 action-processing 子网络，同时保留 general experts 作为共享技能库。第三，general experts 与 modality-specialized experts 分离：它解决辅助模态信息和基础动作能力纠缠的问题，使 depth-dependent computation 有专门容量承接，而不是污染 RGB-only fallback。第四，modality dropout + availability masking：这是 robustness 的关键训练约束；没有它，模型会自然走捷径依赖 depth。第五，flow matching Action DiT 提供连续动作 chunk 的生成框架，但它更像载体；论文的核心不是 flow matching，而是如何在 flow policy 内部做 context-conditioned sparse computation。

Key Insight / Why It Works

最重要的 insight 是：missing-modality robustness 不能只靠 input dropout，必须在参数路径层面也可关闭。单纯训练时 drop depth 可以让模型见过 RGB-only 输入，但如果 depth 信息已经混进共享 dense pathway，模型仍可能在表征和参数更新上形成纠缠。CoRE-VLA 用 modality-specialized experts + mask 把这件事变成结构约束：缺 depth 时相关专家不可选，模型只能走 general path；有 depth 时才允许使用专门容量。这比普通 modality dropout 更强。

长程任务增益更可能来自 latent action-stage decomposition，而不是显式推理。router 根据 text intent 和当前 action-side representation 改变 expert usage，本质上是在把不同子目标 / 操作阶段映射到不同计算路径，类似 soft skill partition 或 conditional primitive selection。这里的“reasoning”不要过度解读：模型没有长期状态机，也没有显式 planner；更像是在 demonstration distribution 内学习到阶段性动作模式的可路由分解。

哪部分最可能是核心贡献？我认为是 sensor availability 作为 action-generator-level routing condition，而不是 MoE、Top-K 或 flow matching。MoE 是已有技术，token selection 也偏 efficiency / capacity allocation；真正有迁移价值的是把可缺失传感器从输入缺省问题提升为计算图可达性问题。哪部分可能只是辅助？selection-capacity ratio、routing regularizer、expert 数量和 pseudo-depth pipeline 很可能主要是 engineering。实验增益也可能部分来自更大 effective capacity 和 continued training，而不全是 routing inductive bias。

Relation To Prior Work

它最接近三条路线的交叉：VLA flow/action diffusion models、robot learning 中的 auxiliary sensor fusion、以及 Transformer MoE / conditional computation。和 OpenVLA、π0、GR00T 一类 dense VLA 的差异在于 action generator 不再是所有任务共享的一条路径；和普通 RGB-D policy 的差异在于 depth 被建模为 optional modality，而非固定 observation；和传统 MoE 的差异在于 routing signal 不是纯 token hidden state，而是被 task intent 与 modality availability 约束。

看似新的部分中，MoE、load balancing、Top-K token routing、dropout 都不是新思想；实质创新在组合方式：把传感器缺失鲁棒性、任务条件计算和动作生成放在同一个 routing formulation 下。它属于“action-side conditional computation for embodied foundation models”这条技术谱系，而不是单纯的 multimodal fusion。相比 ForceVLA / tactile-VLA 类工作，它更强调可选模态和 fallback；相比 ChatVLA 类 reasoning-control decoupling，它的新增信息在 action generator 的可路由结构，而不是语言推理能力。

Dataset / Evaluation

评估覆盖了 LIBERO、RoboCasa GR1 Tabletop 和真实 ALOHA 双臂任务，基本能支撑“多任务、长程、真机、缺 depth 鲁棒”的主张。特别是 LIBERO-Long ablation 中 naive depth 加入后缺 depth 掉点，而 full CoRE 缺 depth 仍保持性能，这较直接验证了核心 claim。RoboCasa 说明它不只在小型 LIBERO 上有效；真机 vegetables/clothes/fabric folding 说明设计至少能落到物理系统。

但 evaluation 仍有明显限制。第一，depth 在训练中多用 DA-V2 pseudo-depth，真机用 physical depth camera，这确实测试了某种 sensor shift，但也使 depth 分支到底学了几何还是学了 RGB-derived prior 不够清楚。第二，真实世界每任务 rollout 数有限，且任务覆盖主要集中在少数双臂操作，不能证明广义 cross-embodiment robustness。第三，和强 baseline 的比较中，backbone、action generator、训练 recipe、expert capacity 并不完全可归因；增益来源不清，可能部分来自 scaling / data / continued training。第四，zero-shot fabric-folding 很有价值，但它和 clothes-folding 的结构相似，泛化更像局部分布外形变与材质变化，不应被解读为开放世界泛化。

Limitation

核心前提是语言 intent embedding 足以决定动作计算路径。如果任务语言相同但场景状态导致策略阶段不同，单靠 pooled text tokens 可能不够；虽然 action-side hidden state 参与 routing，但论文没有充分证明 router 真正使用了状态进展而非任务 ID。另一个前提是 general experts 可以承担完整 fallback policy；如果训练时 auxiliary modality 太强或 dropout 比例不合适，general path 仍可能欠训练。

scalability 上限也不清楚。专家数增加会扩大参数容量，但 routing 稳定性、load balance、专家语义漂移和训练成本都会变成问题。多辅助模态场景下，简单 availability mask 可能不足以处理模态之间的互补、冲突和可靠性估计；传感器不是只有 available/unavailable，还可能 noisy、miscalibrated、delayed。文中未充分说明这种 soft failure 如何处理。

泛化能力需要谨慎看待。所谓 long-horizon improvement 可能主要来自 demonstration coverage + routeable capacity，而非真正长期规划。真实世界结果中 Fabric-Folding 的零样本更像相近任务迁移，不是强 open-world generalization。benchmark 上的高分也可能受任务模板、语言形式和演示分布 overlap 影响。最后，方法可能只是把“共享 backbone 的干扰”转移为“router 如何正确分配专家”的问题；如果 routing 学错，错误会更离散、更难恢复。

Takeaway

• 第一，VLA 的可扩展性不应只理解为更大 VLM 或更多 robot data，action generator 本身也需要条件化结构。
• 第二，辅助传感器应该被视为 optional computational resource，而不是固定输入；这对真实部署比单纯 RGB-D fusion 更重要。
• 第三，missing-modality robustness 最好同时发生在数据层和路径层：dropout 负责暴露输入制度，expert masking 负责保证 fallback path 存在。
• 第四，可迁移的 insight 是把 deployment-time variability 显式进入路由机制；未来值得做的是从 binary availability 扩展到 reliability-aware、embodiment-aware、multi-sensor routing，并验证这些专家是否真的形成可复用 manipulation primitives。

一句话总结

CoRE-VLA 是把 MoE 式条件计算引入 VLA action generator、并用任务意图与传感器可用性共同控制计算路径的一类方法演化，真正贡献在于把可缺失辅助模态从输入融合问题改造成可路由、可屏蔽、可 fallback 的动作生成结构。