精读笔记

Problem Setting

[论文标题] Bridging Handheld and Teleoperated Supervision for Contact-Rich Manipulation via State-Gated Experts（arXiv preprint / 2026）

这篇论文不是在一般意义上做“多源模仿学习”，而是在处理一个更具体也更尖锐的问题：handheld UMI 类数据的 action label 到底什么时候可以当作机器人 command。free-space 阶段，手持设备观测到的轨迹基本可以近似 desired end-effector motion；但在接触阶段，机器人真实执行轨迹是 impedance controller、接触约束、摩擦、柔顺性共同作用后的 observed result，把它反过来当 desired command 会产生错误力学含义。

关键矛盾是 scalability vs action validity。handheld 数据便宜、有覆盖，但缺 desired action；teleop 数据昂贵、疲劳、场景覆盖差，但能记录 controller command。以前方法要么只用一种数据，要么把异构数据混进同一 action space，默认 label 语义一致。本文指出这个默认假设在 contact-rich manipulation 中是错的。

Motivation

已有路线不够的地方在于，它们通常把 embodiment gap 看成视觉、形态或动作空间对齐问题，而不是把 action label 本身的物理语义拆开。对 contact-rich 任务而言，observed trajectory 并不一定代表“应该命令机器人去哪里”，它可能只是 controller 被接触约束挡住后的结果。

作者真正抓住的缺口是 phase-dependent supervision validity：不是 handheld 数据整体差，也不是 teleop 数据整体优，而是不同任务阶段需要不同类型的监督。这个观察自然导向一种局部补丁式方案：用 handheld 学任务 scaffold，用少量 teleop 只补 observed-action 失效的 contact bottleneck。

Core Idea

核心思想是把 imitation learning 中的 action supervision 从“统一标签空间”改成“按物理有效性分区的标签空间”。BRIDGE 不试图训练一个 policy 同时解释 observed action 和 desired action，而是显式维护两个专家：base expert 对应 handheld observed-action 分布，support expert 对应 teleoperated desired-action 分布。router 的作用不是提高容量，而是决定当前状态下哪种 action semantics 是有效的。

这和普通 MoE 的本质区别在于，expert specialization 不是为了任务模式、多技能或语言条件，而是为了隔离互相冲突的监督语义。也不同于 residual correction：support expert 不是在 base action 上加 correction，而是在某些 phase 直接替换 action generator。这个 inductive bias 很强：contact bottleneck 中不要平均 observed/desired，不要让单头 policy 内部调和二者，而要做硬语义切换。

Method

方法可以压缩成三个必要机制。

第一，base policy 用 handheld 数据训练，承担全任务 scaffold，尤其是 free-space transport、approach、粗对齐等 observed-action 仍然有效的阶段。它解决的是覆盖和数据效率问题，而不是 contact precision。

第二，support data 只在 base policy 失败的局部阶段采集 teleop desired-action demonstrations。它解决的是接触阶段 observed label 不再动态可行的问题。这里 teleop 的价值不是更多数据，而是提供另一种 label semantics。

第三，router 在 base/support latent manifold 上学习支持区域，并在推理时硬切换专家。它解决的是 naive mixing 的冲突监督问题。硬切换虽然粗糙，但比 action blending 更合理，因为 observed-action head 与 desired-action head 的输出不是同一物理意义下的可线性插值对象。

视觉 spatial tokens、Perceiver aggregation、diffusion action chunking 等提升了精细操控能力，但这些更像支撑实验成立的 engineering choices，不是论文的概念核心。

Key Insight / Why It Works

最重要的 insight 是：contact-rich imitation 的失败不一定来自 policy capacity 或数据覆盖不足，而可能来自 label invalidity。handheld observed action 在自由空间是可监督信号，在接触中却可能是错误监督；继续 scaling handheld 数据只能更好地学习一个在物理上不该被执行的轨迹代理。

BRIDGE 有效的原因主要是 better inductive bias + targeted data，而不是 MoE 本身。它把昂贵 desired-action 数据投到高杠杆区域，并阻止这些标签污染 free-space scaffold。naive mix 崩掉正好说明单一条件分布不能同时吸收 observed/desired 两种语义；这不是经典 mode averaging 那么简单，而是 action meaning 不一致。

support expert 更像局部 memory/retrieval-style specialization：当 latent 接近 support manifold，就调用在这些状态附近训练过的 desired-action expert。这里没有真正的长期推理或规划，router 也不是理解接触动力学，而是在学“什么时候进入已见过的 corrective regime”。这并不削弱贡献，但要明确：能力主要来自有针对性的 desired-action 数据覆盖和有效的 phase routing。

增益来源仍有不清楚之处。论文同时引入了 spatial-token visual conditioning、trajectory smoothing、controller stiffness/phase-aware execution、support data 增量等因素，BRIDGE routing 的纯贡献没有被完全隔离。尤其 NIST 中 lower stiffness execution 与 support expert 绑定，可能把 policy gain 和 controller gain 混在一起。

Relation To Prior Work

最接近的谱系有四条：UMI/handheld data collection、teleoperation imitation、intervention/correction learning、MoE diffusion policies。BRIDGE 的新增点不是提出 MoE，也不是提出局部 correction，而是把 observed-vs-desired action validity 作为 routing criterion。

相对 UMI，它不是简单提升 handheld tracking，而是承认 handheld 在 contact 中监督语义失效。相对 DAgger/intervention，它不在线查询 expert，也不对所有 visited states 纠偏，而是离线采集局部 support segments。相对 residual policy learning，它不学习 base action 的 residual，因为 base action 在 contact phase 可能本身就是错语义。相对 MoE diffusion，它不是用 router 分离 latent modes 或扩展参数规模，而是隔离两类 action label。

看似新的部分中，MoE、hard routing、KNN pseudo-label、partial teleop 都有既有影子；实质创新是把这些组件组织成一个明确的 action-validity framework，并用实验显示 naive heterogeneous action mixing 会系统性伤害 contact manipulation。

Dataset / Evaluation

评估是三类真机 contact-rich manipulation，使用 Franka FR3 和 Cartesian impedance controller，任务都需要几何精度与接触稳定性。这比纯离线 benchmark 更能验证论文 claim，因为核心问题本来就是 controller/contact interaction 下的 action validity。

实验设计较好地支持了主张：handheld-only 在接触瓶颈失败，naive mix 甚至更差，BRIDGE 用少量 support teleop 修复局部失败，并接近 full teleop upper bound。附录中 pipe insertion scaling 进一步显示增加 handheld demonstrations 收益小，而增加 targeted support 收益大，这是最有说服力的证据之一。

但 evaluation 仍然偏窄：任务都在相对结构化的桌面装配场景，support region 人工经验识别，跨场景与长期泛化证据不足。full teleop 被作为 upper bound，但当 full teleop 数据扩到 120 demos 时 pipe insertion 可到很高成功率，说明 BRIDGE 的优势主要在 data-efficiency / operator-burden regime，而不是性能上限。跨机器人结果有启发，但仍是 preliminary，不足以证明 robust transfer。

Limitation

最大限制是方法把一个难问题转移成了几个较小但仍关键的问题：如何发现 support phase，如何保证 base policy 能进入 support manifold，如何让 router 在边界不抖动，如何在多接触长程任务中管理越来越多 experts。论文承认 support phase 识别是经验性的，这其实是核心前提，不是边角问题。

hard switching 的物理安全性也没有根本解决。作者用 debounce、trajectory generator、torque smoothing 缓解，但这更像控制栈补丁。接触任务里切换瞬间的 passivity、force continuity、reference consistency 都可能成为 deployment failure。

泛化上限不清。BRIDGE 依赖 support latent bank 与当前状态相似；如果新场景中的接触几何、摩擦、夹持姿态偏离 support manifold，router 可能过早/过晚切换，support expert 也未必能恢复。所谓 generalization 更可能来自 handheld base 的覆盖，而 contact success 仍依赖局部 teleop 数据。

增益归因也不完全干净。spatial-token conditioning 对 pipe insertion 提升很大，support 数据数量和 controller setting 也影响明显。因此不能把结果简单归因于 gated experts。更准确的说法是：action-validity-aware data allocation + label-space separation 是核心，MoE router 是一种实现。

Takeaway

• 1. 对 contact-rich manipulation，数据是否“多”不如 action label 是否物理有效重要；observed-action scaling 不能自动替代 desired-action supervision。
• 2. heterogeneous imitation learning 不能只做 action-space normalization，还要问不同数据源的 label semantics 是否一致。
• 若语义冲突，单头 policy 或 naive mix 可能比单源更差。
• 3. 最值得迁移的思想是 phase-specific supervision allocation：用便宜数据学 scaffold，用昂贵数据补瓶颈，并用显式 gating 防止监督互相污染。

一句话总结

这篇论文在 UMI/teleop imitation 之间提出了一种 action-validity-aware 的局部 desired-supervision 路线：它的贡献不是 MoE 架构本身，而是明确把 contact manipulation 中 observed action 与 desired action 的语义冲突建模为需要按任务阶段隔离和路由的监督问题。