精读笔记

Problem Setting

论文解决的是异构 VLA 池的 repeated-use deployment selection：给定一个已知任务/扰动条件，部署前已经能跑少量 smoke tests，如何利用这些 trial 决定下一次正式执行选哪个 frozen expert。真正困难不在训练 router，而在评估边界：离线 ledger 拥有所有专家在所有 trial 上的结果，如果 scored trial 被用进 profile，selector 会变成隐式 hindsight oracle。以前的做法要么选择全局平均最强模型，要么做语义/任务检索式 routing；它们没有正面处理“目标条件下少量真实执行反馈”与“scored outcome 不可见”之间的边界。关键矛盾是：commissioning evidence 很有价值，但它和 evaluation leakage 只隔一层协议定义。

Motivation

单模型 scaling 当然会继续提升 VLA，但部署系统里常见的是一堆互补专家：generalist、finetuned variant、suite specialist、不同架构 checkpoint。全局平均赢家会抹掉这些互补性，尤其在 LIBERO-Plus 这类扰动设置下，rank reversal 本身就是信号。作者想到这个方向的原因很直接：smoke tests 已经发生了，却只被用来挑一个全局 best；如果保留每个目标条件上的试运行结果，它就变成了 routing supervision。缺的不是更大的 selector，而是把“部署前试运行”从成本重新建模为条件化监督的 protocol。

Core Idea

核心思想是 Commission–Route：先在目标条件上对候选专家做少量 probe，形成每个专家的局部 profile，再在不看 scored outcome 的情况下选择专家。它改变的不是 VLA policy 本身，而是系统的信息流：从“训练/验证集上估一个全局 expert prior”变成“对每个目标条件维护局部 evidence，并用它覆盖全局 prior”。

这在直觉上成立，因为异构专家的能力不是全序关系，而是条件化分布；同一个专家在某个 perturbation 下的几次成功/失败，比它在其他 suite 上的平均表现更接近当前决策所需的信息。和 prior 的本质区别是，RouterVLA 不依赖任务语义相似度、模型内部结构或 adapter composition，而是利用黑盒执行反馈；它更像 algorithm selection + test-time measurement，而不是 VLA architecture innovation。

Method

方法机制可以压缩为三层。第一层是 outcome-disjoint cross-fitting：对每个 scored trial，只用其余 trial 构建 profile。这解决的是 ledger routing 的核心可信性问题；没有这一层，任何结果都可能是 outcome reuse。

第二层是 per-expert commissioning profile：success statistics、rollout trace、training prior、missing/probe count 被组织成统一标量 profile。它的作用不是学习 representation，而是把黑盒专家的少量执行反馈变成可比较的证据。

第三层是 selector 对照：透明 success-count / Beta / hierarchical rule 与 logistic、GBDT、MLP 在同一 profile 和候选 mask 下比较。这个设计的价值在于做归因：如果 learned scorer 没有显著超过 success-count rule，就说明主要收益来自 commissioning evidence，而不是 scorer capacity。

Key Insight / Why It Works

最重要的 insight 是：在这个 setting 下，binary probe success 本身就是强监督，甚至强到三次 probe 后足以饱和 scalar profile 中的大部分 routing signal。论文最实质的贡献不是提出了一个 router 模型，而是证明“保留目标条件下的 smoke-test 成功计数”已经能把系统从 global model selection 推到 conditional expert selection。

这更接近 test-time compute / memory reuse / limited-budget algorithm selection，而不是 representation alignment 或 reasoning。所谓 learned scorer 的收益很有限，说明行为 trace、duration、timeout 等特征可能有预测相关性，但在 top-1 expert selection 目标上没有形成稳定增益。换句话说，复杂模型在这里不是能力来源，最多是 tie-break 或诊断工具。

最值得警惕的是 evaluation leakage。same-trial reuse 直接达到 realized hindsight bound，说明这类完整 ledger 极容易把 routing 做成伪问题。作者对此处理得比较清楚：outcome separation 被定义为任务本身，而不是附录里的 sanity check。这个判断很关键，也比 router architecture 更有价值。

增益的真实来源应归因于专家池互补 + 当前条件 probe 覆盖，而不是泛化能力。它没有显示 selector 学会了跨视觉布局的语义判断，也没有显示长期状态建模；layout 失败恰恰说明 scalar trace 无法替代 observation context。

Relation To Prior Work

最接近的谱系不是 VLA 模型设计，而是 algorithm selection、portfolio methods、limited-budget evaluation、LLM/model routing，以及机器人里的 policy routing。与 RoboRouter/MoIRA/MergeVLA 的区别在于，它不通过语义检索、语言指令相似度、模型内部 adapter 或权重组合来路由，而是用目标条件上的黑盒执行反馈做选择。

看似新的地方其实是已有思想的重组：probe rollout 类似 racing / bandit evaluation，success-count rule 类似经验均值选择，training prior 类似 shrinkage prior。实质创新在于把这些思想放进 VLA deployment commissioning，并明确指出 ledger-based routing 必须 outcome-disjoint。它的新信息不是“MLP 能路由 VLA”，而是“常规 smoke test ledger 中已经含有可观条件化 routing value，且简单规则足够提取”。

Dataset / Evaluation

评价基于 LIBERO-Plus 固定 rollout ledger，覆盖多 suite、多 perturbation、多个 frozen expert，适合验证专家互补性和 trial-disjoint routing 这一核心 claim。它不是实时部署实验，也不是真机长期运行；trial ID 也不是物理时间，所以 prefix split 不能证明 chronological generalization。

这个 benchmark 支持的结论是有限但清楚的：在已知条件、重复使用、可 probe、离线可审计的 VLA pool 中，commissioning evidence 能显著改善 expert selection。它不支持更强 claim，例如零样本路由到未见条件、视觉上下文理解、真实环境 drift 下持续更新、或 active probe 策略已经解决。论文没有大幅夸大这一点，反而通过 same-trial diagnostic 暴露了离线评估的上限和风险。

Limitation

最大限制是问题被设定在 repeated-use commissioning，而不是 open-ended deployment。目标条件必须先已知，且每个候选专家要能付出 probe 成本；如果 probe 不是 sunk cost，平均几十次执行的 exhaustive commissioning 可能非常贵，问题会立刻变成 active testing 而非 scoring。

泛化并没有被真正证明。leave-one-suite-out 训练 scorer 只说明标量 profile 的统计关系有一定跨 suite 稳定性，不等于真实机器人上的时间漂移、磨损、光照变化、operator variation 都成立。trial-disjoint 是必要条件，但不是 deployment realism。

核心能力可能主要来自专家池覆盖和 benchmark 中的条件重复，而不是 router 学到了可迁移的任务理解。layout axis 上 routing gain 不稳定，说明缺失视觉/语言上下文时，scalar profile 对空间重排无能为力。

方法也把问题转移了：从“选哪个模型部署”转成“要测哪些专家、测多少、如何摊销 probe 成本”。这不是缺点，但说明下一步不是更大 MLP，而是 sequential evidence acquisition。

Takeaway

• 1. 对异构 VLA 系统，deployment-time measurement 是一条独立于 model scaling 的系统提升路径；不要把 commissioning trial 压缩成全局 leaderboard。
• 2. 这篇最可迁移的 insight 是 outcome-disjoint ledger evaluation：只要离线数据包含反事实结果，routing/selection 研究就必须机械隔离 scored outcome，否则结果很容易变成 hindsight。
• 3. 在低维 scalar profile 下，成功计数比复杂 scorer 更重要；未来收益大概率来自更好的 evidence acquisition 和 observation-conditioned routing，而不是把 scorer 换成更大模型。
• 4. 如果这个方向继续发展，核心会变成 active commissioning + persistent expert memory + later distillation：先让系统学会何时信任哪个专家，再考虑把这些条件化轨迹蒸馏回 generalist。

一句话总结

RouterVLA 是把 VLA 部署前 smoke tests 重新定义为 outcome-disjoint 条件化监督的 policy-portfolio selection 工作，其真正贡献在评估边界和信息流重组，而不是新的 VLA 模型或复杂 router。