精读笔记

Problem Setting

这篇论文实际处理的是“已经训练好的混合行为克隆策略如何被定向去克隆”。混合 BC policy 往往把多个成功策略都吸收进一个参数化模型里，部署时问题不是 task completion 不够，而是 completion 的方式不受控：同一个任务可以成功，但 mode 可能 unsafe、undesired 或不符合场景约束。 真正难点在于 mode choice 是闭环轨迹分布属性，不是单个 observation-action pair 的局部分类。早期状态可能共享，后期执行才表现出模式差异；如果在错误阶段施加监督，要么无法改变最终分支，要么破坏动作质量。以前 filtered retraining 把问题当数据选择，代价是需要原始数据和完整训练；inference-time steering 把问题当在线控制，代价是部署时额外计算与系统复杂度。关键矛盾是：deployment 需要 mode control，但机器人系统又希望保持单 policy、低 latency、无外部 verifier 的 inference path。

Motivation

作者抓住的缺口是 post-hoc mode control：既不想回到 dataset curation + full retraining，也不想在每一步 inference 时加 steering module。已有 preference learning 可以用正负轨迹更新 policy，但它没有显式表达“这些负样本不是失败样本，而是成功但模式不对的样本”。因此，简单把 undesired mode 当负偏好会混淆 task competence 和 behavior mode。 核心观察是：混合 BC policy 内部通常已经编码了 mode 信息，因为它必须根据状态、历史或隐含 bias 生成不同成功策略。如果这些 mode 信息能被一个轻量 classifier 从 policy feature 或 action reconstruction 中读出，那么 classifier 的梯度可以作为 mode-redirection signal。缺的不是更强 planner，而是一个把 temporary steering signal 写回 policy weights 的机制。

Core Idea

MoRE 的核心思想是把 inference-time steering 蒸馏成 edit-time weight update。先用 mode-labeled editing data 训练一个冻结 classifier，让它识别当前 policy representation 属于哪个 behavior mode；随后不在部署时调用 classifier，而是在编辑阶段通过 classifier loss 反传，使 policy 产生的 feature/action prediction 更像 desired mode。编辑完成后 classifier 被丢弃，policy 走原来的 inference path。 本质区别在于信息流被重新组织了：prior steering 是 policy 输出后再筛、再引导、再干预；MoRE 是把这种“应该往哪个 mode 去”的信号压进参数本身。它引入的 inductive bias 是：undesired mode 并不代表任务失败，应该被 redirect 到 desired behavior manifold，而不是被整体惩罚或删除。这个思路比 filtered retraining 更 scalable 的地方在于不需要每个目标模式重训完整 policy；比 test-time guidance 更 deployment-friendly 的地方在于不增加在线计算。但它的前提是原 policy 已经包含可被重定向的模式能力。

Method

第一，mode classifier 解决的是“如何获得可微的 mode direction”。它不是部署模块，而是编辑时的 teacher。对于 VLA 读 prefix hidden state，对于 Diffusion Policy 读 condition 与 clean-action estimate，本质都是选择一个既含 mode 信息、又能把梯度传回 policy 的接口。 第二，redirection loss 解决的是“如何改变 mode prior 而不是学习任务”。它最大化 desired mode set 的 classifier probability，支持 single-target 和 multi-target。这里的关键不是 cross entropy 形式，而是把 mode set 当作目标分布约束，使 undesired samples 被推向 acceptable manifold。 第三，retain loss 解决的是“不要把成功能力也擦掉”。只在 desired samples 上保留原 BC objective，避免 undesired imitation 与 redirection 对冲。这个设计承认 undesired trajectories 也包含任务知识，但其动作标签对目标 mode 是有害 anchor。 第四，source-mode probability mask 解决的是“什么时候可以编辑”。只在 classifier 对源模式信心不足时施加 redirection，相当于只改共享前缀或尚未强承诺的区域。这个机制比表面看起来重要，因为 mode control 的可编辑窗口通常早于 mode-specific execution。

Key Insight / Why It Works

最核心的有效性来源不是 classifier 本身，而是混合 BC policy 已经学到了多个可执行 mode；MoRE 只是改变这些 mode 的选择概率和局部表示流向。换句话说，它更像 latent mode prior editing，而不是新技能学习。只要 desired mode 在原 policy 的支持集内，且 mode boundary 在 representation 中可分，classifier gradient 就能提供足够好的方向。 第二个关键点是它利用了 mode 的时间结构：早期共享区域决定后续分支，后期模式专属区域主要负责执行。如果无差别地对整条 undesired trajectory 做 redirection，会把已经进入某个模式的动作硬拉向另一个模式，容易损害控制质量。mask 的作用就是避免把 mode selection 问题误处理成 trajectory repair 问题。 第三，retain loss 很可能是稳定性的主要辅助，而不是概念创新。它防止 classifier gradient 造成 representation drift，尤其在 diffusion/VLA 这种高维 policy 中很必要。但真正的新增信息来自 mode labels 与 classifier gradient，不来自 retain。 这不是 scaling，也不是 test-time compute；更接近 representation alignment + latent structure editing。它也不是 retrieval，因为没有显式检索库；但增益可能依赖数据覆盖和已有模式记忆。若原模型没有学会 desired mode，或者 desired/undesired 的差异不是低维可分 mode，而是需要长期 reasoning/planning，MoRE 很可能失效。文中没有证明 classifier probability 与闭环 mode causally aligned，只是通过实验表明在这些任务上足够相关。

Relation To Prior Work

最接近的谱系有三条：data-centric filtered BC、inference-time policy steering、以及 generative model / LLM 的 representation-level editing。MoRE 的新意不是“用 classifier guidance”本身，这在 diffusion guidance 和 concept erasure 里都很常见；新意在于把它放到 robot policy 的 post-hoc mode control 中，并明确把 guidance distillation 到 policy weights 作为 deployment constraint。 相对 filtered retraining，它不重新定义训练集，而是利用原混合 policy 中共享的能力与模式表示；代价是需要 policy 已有足够支持。相对 DynaGuide / verifier reranking，它不在 test time 搜索或筛选 action，因此部署接口更干净；代价是编辑后不再有在线纠错能力。相对 preference learning，它把标签结构从“好/坏偏好”提升为“mode set membership”，避免把 undesired-but-successful trajectories 当失败。 看似新的“behavior uncloning”概念，本质上是 policy editing 在机器人多模态 BC 里的一个具体实例。实质创新在于问题设定清楚、mode classifier 的梯度接口可用于不同 backbone、以及 gate + retain 组合让编辑保持 task competence。

Dataset / Evaluation

评估设计总体上是对核心 claim 友好的：任务包含二元和多元 mode，既有 simulation 也有 real robot，既有 Diffusion Policy 也有 VLA，还包含 rollout-only editing，因此不只是单一 benchmark 上的技巧。SR/TCR 的拆分也合理，因为它直接区分“完成任务”和“以正确模式完成任务”。 但 benchmark 验证的主要是几何/路线/放置位置这类可观察、可标注、相对短 horizon 的 mode control。它没有充分证明在更抽象的安全规范、语言条件偏好、长程任务或分布外场景中仍有效。真机实验有价值，但 rollout 数较小，且 mode 标签/评价多依赖任务几何或人工定义，不能等同于真实家庭部署中的开放安全约束。 filtered retraining reference 作为参照很有用，但不是严格 upper bound；MoRE 接近或超过它并不意味着编辑优于重训，可能只是 filtered retraining 丢掉了共享数据或训练 variance。CPL 和 DynaGuide baseline 支持“generic preference / steering 不够理想”，但超参、compute budget 和任务适配程度的公平性仍有空间。整体证据支持 post-hoc mode redirection，不支持更强的 safety 或 general reasoning claim。

Limitation

最硬的前提是 mode 必须可标注、可分类、且可通过 policy-dependent feature 反传影响。没有 mode-labeled editing data 时，问题没有消失，只是转移到 mode discovery 或 rollout labeling。若标签噪声大，classifier 会把错误 mode boundary 蒸馏进 policy，可能比 inference-time steering 更难回滚。 第二，MoRE 依赖原 policy 的支持集。它不能创造原模型不会的 desired behavior；如果 mixed policy 很少或从未执行某个 acceptable mode，redirection gradient 可能只是 classifier hacking，而不是有效控制。核心能力可能主要来自数据覆盖和原 BC 的隐式模式记忆。 第三，泛化上限不清。文中展示跨 backbone 和真机，但这些仍是同类短程 manipulation/navigation mode。所谓 transfer 更像同一机制在多个受控任务上复用，不等于跨语义任务泛化。 第四，source-mode gate 是经验上合理但理论上薄弱的启发式。classifier confidence 是否真的对应“仍处于共享区域”文中未充分说明；在 representation 校准差或 mode boundary 弯曲的情况下，这个 gate 可能选错编辑窗口。 第五，它不是 safety layer。编辑后部署没有外部 verifier，一旦环境变化导致 policy 回到 undesired mode，没有在线纠偏机制。因此它更适合降低常见 undesired mode 的概率，而不是提供安全保证。

Takeaway

• 最值得记住的是：多模态 BC policy 的 deployment 问题不只是提高成功率，而是控制成功轨迹属于哪个 mode；这需要把 mode 当作一等对象，而不是把所有成功 demonstration 混在一起。
• MoRE 推动的是一种实用的 policy editing 方向：把临时监督器的行为偏置信号写入权重，换取零 inference overhead。
• 这对低延迟机器人系统比 test-time guidance 更现实。
• 可迁移的 insight 是“只编辑共享前缀，不硬改模式专属执行”。

一句话总结

这篇论文把机器人混合 BC policy 的 mode control 从数据筛选和部署时 steering 推进到 post-hoc weight editing，真正贡献是用可微 mode classifier 将已有多模态能力的选择偏置蒸馏进 policy，而不是创造新的控制能力。