精读笔记
Problem Setting
论文针对的是双臂机器人操作中的 VLA imitation policy，而不是一般意义上的双臂控制。实际问题是：给定 external + left wrist + right wrist 多视角、语言指令和机器人状态，生成双臂 action chunk。困难点不在动作维度从单臂变成双臂，而在于任务过程中存在两个动态结构变量：视觉上，不同阶段相关的 wrist view 会切换；动作上，两臂可能有时独立、有时强耦合。
以前的 monolithic VLA 往往把所有视觉 token 混合进一个共享表示，再用一个 action head 输出整段双臂动作。这在单臂或弱耦合任务中可以靠 attention 和大模型容量吸收，但在双臂长程任务中会产生两个混叠：一是无关腕视角作为 distractor 干扰 active arm 的局部定位；二是 independent 与 coordinated 两类动作模式共享同一路径，梯度信号互相污染。关键矛盾是：任务结构在时间上是离散切换的，但策略模型用一个连续、统一的函数去拟合所有阶段。
Motivation
作者不是认为现有 VLA 缺少表达能力，而是认为它缺少对双臂结构异质性的显式约束。双臂任务里，很多失败并不是因为模型不知道物体是什么，而是因为当前阶段该依赖哪只腕相机、哪只手该动、两只手是否需要共同满足相对位姿，这些 latent decisions 没有被单独建模。
核心缺口是：multi-view selection 和 bimanual interaction modeling 在已有工作中通常分开处理。多视角方法关注“选哪个视角”，但不关心动作是否双臂耦合；结构化双臂方法关注 arm-wise decomposition 或 acting/stabilizing role，但往往是静态角色或固定分解，不处理视角相关性随交互模式变化而变化。本文的动机就是把这两个结构变量同时显式化，并让它们作用在不同的信息流层级上。
Core Idea
核心思想可以概括为：不要让一个 monolithic policy 同时隐式解决“看什么”和“怎么协同”，而是在感知层和动作层各引入一个结构路由。感知层的路由决定左右腕视角 token 对 VLM 表示的贡献；动作层的路由决定 action generation 走 coordinated expert 还是 arm-wise experts。这样模型不再被迫用同一套隐藏状态同时表达所有阶段的视觉相关性和动作耦合结构。
这改变了建模方式：原先是端到端共享表示 + 共享动作头；现在是共享 backbone 上叠加任务阶段相关的结构门控。它引入的 inductive bias 是，双臂任务可以被近似分解成少数可解释的 interaction regimes，而每个 regime 下所需视觉证据和动作生成方式不同。和 prior 的本质区别不在 MoE 或 view attention 本身，而在于把 view relevance 与 interaction mode 作为双臂操作中的结构变量来约束信息流。
Method
方法上最重要的是信息流的重新组织，而不是具体网络细节。
第一，VSR 在 VLM 输入前对左右腕视角 token 做标量重加权。它解决的是 wrist cameras 在不同阶段既可能提供关键局部几何，也可能成为无关干扰的问题。作者只让 router 使用 external visual tokens 与 language-state tokens，而不使用 wrist tokens，这个设计有意义：router 依据全局任务上下文判断阶段，而不是被局部腕视角中的训练环境 shortcut 牵引。
第二，IAMoE 在 flow-matching action expert 处做交互模式分解。coordinated expert 预测完整双臂动作空间，arm-wise experts 各自预测对应手臂子空间，然后在 independent mode 下组合。这个机制解决的是独立动作与协同动作在输出空间结构上不同：前者可以近似分解为两个单臂控制问题，后者必须保留双臂相对约束。
第三，两个 router 都有显式监督。视角标签和交互模式标签来自少量人工帧级标注再经 KNN 传播。这里不能把它看成普通 training recipe；它实质上给模型注入了阶段结构和交互结构。没有这个监督，附录结果显示路由结构本身基本不能稳定带来增益。
Key Insight / Why It Works
最可能真正有效的部分是把高熵的连续策略学习问题拆成低熵的结构选择问题。双臂长程操作中的很多失败是模式选择错误，而不是低层轨迹拟合能力不足：该单臂先伸时两臂同时动、该协同时两臂相对位姿漂、该看左腕时受右腕干扰。显式路由把这些错误前置为离散/半离散结构判断，降低了 action expert 需要从混合数据中自行分离模式的压力。
VSR 的作用更像 selective denoising，而不是学习新视觉能力。它通过抑制不相关腕视角减少 representation interference，尤其在多物体、顺序操作、active arm 切换时有价值。IAMoE 的作用更像 conditional specialization：不同 expert 接收不同动作结构的梯度，从而避免 coordinated trajectories 和 independent trajectories 在同一个 LoRA adapter 中互相平均。二者组合有效，是因为“看错视角”会导致“选错动作模式/active arm”，而“动作耦合错”又会放大视觉定位误差。
这不是 scaling，也不是 test-time compute，也不是 retrieval。它本质是 better inductive bias + hidden supervision。尤其 hidden supervision 很关键：人工/KNN 生成的路由标签把任务阶段结构显式提供给模型。论文通过 LoRA 2× 排除了单纯参数量解释，但没有排除“结构标签提供了额外监督信号”这一解释；事实上这很可能就是主要增益来源之一。换句话说，方法有效不是因为 MoE 神奇，而是因为它把人类知道的双臂阶段结构编码进了学习过程。
Relation To Prior Work
它最接近三条路线的交叉：generalist VLA fine-tuning、multi-view selective perception、structured bimanual policy decomposition。和 OpenVLA/π0/π0.5/RDT 这类 generalist policy 相比，它不追求更通用的预训练，而是在下游双臂 fine-tuning 中加入结构 bias。和多视角选择方法相比，它的新增点是把视角选择绑定到双臂阶段与交互结构，而不是把 view selection 当作纯感知问题。和 arm-wise decomposition、acting/stabilizing、hierarchical bimanual policies 相比，它允许 independent/coordinated 在 rollout 中动态切换，而不是固定角色或固定分解。
看似新的部分中，VSR 是已有 task-aware view weighting 思想的双臂化，IAMoE 是 MoE/adapter specialization 在 action head 上的结构化应用。实质创新在于组合位置和监督目标：它把两个可解释 latent variables 放在 VLA pipeline 的两个关键瓶颈处，一个控制 visual token 进入共享表示，一个控制 velocity field 的生成结构。这属于“foundation VLA + task-structure adapters”的技术谱系，而不是全新的双臂控制范式。
Dataset / Evaluation
评估覆盖了 RoboTwin 2.0 的六个模拟任务和三个真实长程任务，设计上刻意区分 perceptual heterogeneity、interaction heterogeneity 以及二者混合的任务。这个设置能比较直接地验证作者的核心 claim：如果某任务主要难在视角相关性，VSR 应该有帮助；如果主要难在交互耦合，IAMoE 应该有帮助；如果二者共存，组合应该最好。结果趋势与这个叙事一致。
但 evaluation 的外推边界很明确。所有模型是 per-task fine-tuning，不是跨任务统一策略；训练数据来自 easy setting，hard setting 主要是 object replacement、distractors 和位置变化，不是实质性的任务组合泛化。真机实验有价值，因为包含长程阶段切换，但试次数少，hard setting 只比较 Baseline 与 Ours，缺少完整 ablation。benchmark 支持“结构分解在作者构造的双臂异质性任务上有效”，但不足以支持“通用双臂 VLA 泛化能力显著提升”。
Limitation
最大隐含前提是：双臂操作的关键结构可以被少数离散标签描述，并且这些标签在同一任务内能由 proprioception + temporal context 稳定传播。这个前提在 RoboTwin 和单操作者真实数据中成立，但在多操作者示教、不同 camera placement、不同 embodiment、非标准任务节奏下不一定成立。
第二，路由标签本身是额外监督。论文把“模型应从视觉和动作中推断阶段结构”的问题，转移为“人类/KNN 先给出阶段结构，再训练 router”。这不是缺点本身，但会限制 scalability：每个新任务需要定义 view relevance 与 interaction mode 标注标准，且 ambiguous cases 很多。文中承认了 human-in-the-loop，但没有充分讨论这种监督成本在大规模多任务 VLA 中是否可接受。
第三，binary independent/coordinated 过粗。真实双臂操作中有从松耦合到强耦合、主从关系、稳定-操作、交替约束、handover timing 等连续谱。把 loose coordination 全部归入 coordinated 会让 expert 内部仍然混合多种结构。当前增益可能来自任务设计与二分类假设匹配，而不是该抽象普遍足够。
第四，所谓 robustness 不能过度解读。hard setting 的提升说明显式路由减少了 distractor 下的混淆，但并不证明跨任务泛化或长期状态建模。action chunk 内 interaction mode 固定也可能在快速切换阶段出问题。若 router 错了，hard routing 可能比 soft monolithic 更脆弱；文中未充分说明错误路由下的恢复机制。
Takeaway
- 1. 对双臂 VLA 来说，最值得建模的不是更多自由度，而是阶段相关的结构变量：active/relevant view、active arm、coupling mode、role relation。
- 这些变量显式化后，小数据 imitation 会明显更稳。
- 2. Multi-view perception 和 bimanual action decomposition 不应分开做。
- 视角选择本质上服务于当前交互结构；交互结构判断也依赖当前可见的局部证据。
一句话总结
这篇论文把双臂 VLA 从 monolithic action fitting 推向了带显式阶段结构监督的“选择性视觉 + 交互模式专家化”路线，真正贡献是把双臂操作中的视角相关性和动作耦合模式作为 inductive bias 注入策略学习。