精读笔记

Problem Setting

这篇论文解决的不是一般多模态机器人学习，而是 sensor-incremental 的 continual learning：先有一个视觉-动作预训练策略，后续在少量新任务上引入 force/torque，并要求新策略既会用 force，又不能忘掉原来的视觉任务。真正困难点在于 observation space 本身变了，新增模态没有覆盖预训练任务的大规模监督；如果只是给策略加 force input，模型很容易在小数据 contact-rich 分布上过拟合，甚至把原来的视觉-动作表示破坏掉。以前路线要么假设多模态从头训练，要么只处理固定输入空间下的任务增量，因此没有正面处理“新传感器如何进入已有 policy backbone”这个矛盾。关键矛盾是：force 必须足够早、足够深地影响控制，才可能改善接触行为；但它又必须受预训练分布约束，否则会造成灾难性遗忘和模态捷径。

Motivation

已有路线不够的地方在于，它们默认传感器配置是训练前就确定的；但机器人硬件现实恰好相反，force/tactile/audio 往往是任务、夹爪、平台相关的，无法和视觉一样提前规模化收集。作者抓住的缺口是：视觉预训练已经提供了大量行为和场景先验，但接触状态仍然是视觉部分不可观测的；少量 force 数据如果只用于新任务，会浪费其作为物理交互监督的价值。论文的动机不是证明 force 有用，而是证明后加入的 force 可以通过合适的表示约束，反过来增强已有视觉策略。这一点比单纯 contact-rich manipulation 更有意思：它把新模态看作对旧 latent dynamics 的补全，而不是额外 sensor feature。

Core Idea

MuSe 的核心思想是把新增 force 模态纳入一个共享的未来预测模型，而不是把它作为 policy 的 late conditioning 或 residual correction。模型同时预测动作、未来视觉和未来 force，使 force 表示必须和视觉变化及动作后果对齐；这相当于给新增模态施加了一个物理动态一致性的 inductive bias。这样 force 不只是告诉策略“现在接触了”，而是在 latent space 中补全视觉不可见的接触状态，并通过 future prediction 学到可迁移的 contact manifold。

和 prior 的本质区别在于信息流组织方式：FuSe/adapter-like 方法更像在已有 policy 外围接入异构传感器，CR-DAgger/force residual 更像对局部控制误差做修正；MuSe 则试图让新模态进入 backbone 的时序世界模型，并通过 replay 让这种新表示在旧任务分布上被约束。它引入的 inductive bias 是“新增传感器应解释跨任务未来动态”，而不是“新增传感器只服务当前 finetuning policy”。这也是它可能更 scalable 的地方：如果成立，未来可以把 tactile/audio/depth 都作为可缺失、可预测、可回放约束的 dynamics channels。

Method

关键机制只有三类。第一是多阶段融合：early fusion 让 force token 参与全局时序 attention，解决 late adapter 表达能力不足的问题；late fusion 又提供相对保守的调制路径，降低直接改写预训练 token stream 的风险。它的核心变化是把 force 从边缘条件变量变成 backbone 可访问的状态变量。

第二是多模态未来预测：只预测 action 容易让 force 表示服务于局部策略拟合，尤其在小 finetuning 集上会学到 task-specific shortcuts；同时预测 future video 和 future F/T，迫使模型把 force 与可见动态和动作后果绑定。这是论文里最像“representation learning”的部分，也是区别于普通 diffusion policy baseline 的关键。

第三是 experience replay with missing-modality masking：它解决的不是简单数据平衡，而是让新增模态学习过程持续暴露在原始视觉任务分布上。pretraining 数据没有 force，因此用 mask token 和 masked loss；但动作/视觉预测仍然约束原有能力。这使得模型可以在旧任务上形成 zero-shot F/T prediction，而不是只在新任务上会读 force。

Key Insight / Why It Works

最核心的有效原因大概率是 representation alignment，而不是单纯多了一个 force input。force 对 contact-rich 控制有直接信息增益，但如果没有 future video/action prediction，它很容易成为 finetuning task 的局部标签拟合；如果没有 replay，它又只会在新任务的窄分布上对齐。MuSe 有效的机制是把少量 force supervision 通过共享视觉动态和动作预测传播到更大的预训练分布上。

最可能的核心贡献是“用 world-model objective 做 sensor expansion 的 glue”。early/late fusion 是必要工程，但不是最深的点；replay 是 continual learning 里的老方法，但在这里因为 observation space 变化而变得关键。真正新增的信息是：缺失模态也可以通过原始模态的未来预测被间接锚定，从而让新传感器在未标注 force 的旧任务上获得可用表示。

也要直说：部分增益可能来自 data coverage 和 controller engineering。预训练任务和 finetuning 任务共享 wiping/insertion/pick-place 的接触结构，所谓 backward transfer 可能并不是抽象物理泛化，而是把 vase wiping/peg insertion 中学到的 force-contact pattern 迁移到相近旧任务。adaptive compliance controller 也承担了相当多的实际接触调节能力；MuSe 预测 F/T 后能改善控制，并不等价于 policy 内部学会了完整 contact reasoning。Diffusion Policy baseline 失败支持 video prediction 的价值，但也混入了架构差异和 late fusion 差异，增益来源不完全干净。

Relation To Prior Work

这篇处在三条谱系的交叉点：多模态机器人策略、continual learning/replay、video-action world model。和传统 visuo-tactile/force learning 相比，它不假设所有模态从头可用；和 continual VLA/post-training 相比，它处理的是 sensor suite expansion，而不是固定 observation 下的任务增量；和 force residual/compliance learning 相比，它不是只在低层控制上补偿，而是把 force 纳入高层时序表示。

看似新的地方里，replay、masking、adapter、auxiliary prediction 都不是新概念；实质创新在于把这些已有思想组织成一个“新增模态可缺失、可预测、可通过旧数据约束”的 continual multisensory formulation。与 FuSe 最接近，但 MuSe 更强调 contact-rich force 的 backward transfer，而不是通过 language grounding 兼容异构传感器。与 UVA/MAR 的关系也很强：它很大程度上继承了 video-action model 的优势，所以不能把所有泛化都归因于 force 模块。

Dataset / Evaluation

实验是真机，且覆盖 pretraining tasks、finetuning contact-rich tasks 和 backward transfer tasks，这比纯离线 F/T prediction 更有说服力。任务包含 wiping、peg insertion、pick-and-place，确实能测试 force 在接触调节和 jam recovery 中的作用；同时 pick-and-place 作为非强 force 任务，可检查新增模态是否破坏普通视觉技能。

但 evaluation 还不足以完全支撑“general multisensory continual learning”的大 claim。传感器只验证了 F/T，一套 UMI-FT 硬件，一个桌面 manipulation 场景，任务族之间有明显结构相关性。所谓 cross-modal generalization 是在预训练任务中曾记录但训练时 withheld 的 F/T 上评估，这设计合理，但仍可能受数据采集平台、接触模式和语言/task overlap 影响。真实支持的 claim 更窄：在共享接触结构的桌面任务中，少量 F/T finetuning 加 replay/world-model objective 可以改善旧任务和新任务；还不能说明任意新模态、任意机器人、长程任务都能这样扩展。

Limitation

最大限制是对原始 pretraining data 的依赖。没有 replay，结果明显崩，这说明方法并没有真正解决无数据 continual learning，而是把问题转化为“能否保留并混训旧数据”。这在真实部署、隐私或大规模 foundation policy 场景中可能不可接受。

第二个限制是泛化归因不清。MuSe 同时使用 measured F/T history、predicted F/T auxiliary loss、future video prediction、adaptive compliance controller 和 replay；虽然有 ablation，但仍难判断成功主要来自 policy representation、low-level compliance，还是任务分布覆盖。特别是 contact-rich backward transfer 中，旧任务和新任务共享 wiping/insertion 机制，泛化可能依赖 benchmark overlap。

第三，方法的物理理解上限不明。模型预测未来 F/T 并不意味着它形成了可组合的接触状态或长期 planning；更可能是 learned contact templates + short-horizon dynamics。长 horizon、deformable objects、多接触点、不同 gripper/sensor calibration 下是否仍成立，文中未充分说明。

第四，scaling 到多传感器可能不只是继续加 token。不同模态频率、噪声、延迟、缺失模式和任务相关性差异很大，简单 mask + replay 会带来训练成本和负迁移问题。MuSe 提供了一个方向，但不是完整的 multisensory foundation policy 解法。

Takeaway

• 1. 最值得记住的是：新增传感器不应只作为 policy input，而应作为可预测的 dynamics channel 进入共享 world model；这比 late conditioning 更可能产生跨任务迁移。
• 2. 对机器人 continual learning 来说，observation-space expansion 比 task-incremental 更接近真实部署，也更难；MuSe 把这个问题形式化得比较清楚。
• 3. Replay 在这里不是普通防遗忘技巧，而是新模态对齐旧分布的载体；没有旧数据，新模态很难反向改善旧任务。
• 4. 未来真正值得做的是无 replay 或 compressed replay 的 sensor expansion，以及验证 tactile/audio/depth 等模态是否也能通过 future prediction 获得类似 backward transfer。

一句话总结

MuSe 是一篇把多模态机器人学习从“从头联合训练”推进到“后验传感器扩展”的工作，其真正贡献是用未来预测和回放把少量 force supervision 对齐到预训练视觉策略的共享动态表示中。