CoRL 2025 / Poster #48

MirrorDuo: Reflection-Consistent Visuomotor Learning from Mirrored Demonstration Pairs

海报模仿学习

精读笔记

Problem Setting

MirrorDuo: Reflection-Consistent Visuomotor Learning from Mirrored Demonstration Pairs（CoRL 2025）。

这篇论文解决的不是一般意义上的 visual imitation learning，而是一个更具体、也更实际的问题：在 RGB-based BC 中，如何用一侧 workspace 的 demonstrations 支撑另一侧 mirror-arranged workspace 的泛化，并在两侧都有数据时提高 data efficiency。

真正困难点在于，左右镜像在 image space 看起来很简单，但在机器人学习里并不是一个闭合操作。RGB 图像可以水平翻转，end-effector action 却是 6-DoF pose/action；third-person camera 和 eye-in-hand camera 的几何关系不同；初始姿态经过 reflection 后可能不再是同一个可执行起点；真实机器人外观、桌面纹理、背景也不满足左右对称。因此核心矛盾是：reflection 是一个便宜且常见的 symmetry，但 RGB visuomotor pipeline 中 observation、state、action 并不天然共享同一个 reflection group action。

以前的方法主要卡在两个方向。一类 3D/point-cloud 方法可以自然利用 SE(3)/SE(2) equivariance，但要求 3D 表示或更强几何感知；另一类 image augmentation 方法可以旋转/翻转图像，但常停留在 top-down、SE(2) action 或简化 setting，无法保证 6-DoF action 与 proprioception 的一致性。MirrorDuo 的实际目标就是把“翻图像”升级成“翻完整 visuomotor tuple”。

Motivation

作者的动机很清楚：对 image-based BC 来说，完整 SE(3) equivariance 太难直接在 2D projection 上成立，但 reflection symmetry 是一个低维、高频、现实中经常出现的结构。很多 pick-place、push、assembly 的左右变化并不需要任意旋转泛化，只需要把左边技能搬到右边，或者反过来。

已有路线缺的是一个可落地的中间层：既不像 3D equivariant policy 那样要求 point cloud / voxel / descriptor field，也不像 naive image flip 那样忽略 action geometry。MirrorDuo 抓住的缺口是：reflection 在图像空间容易实现，在 pose/action 空间也可以写成确定的符号变换；如果把两者对齐，就能以极低成本制造 paired demonstrations。

因此这篇论文的关键观察不是“镜像增强有用”这个常识，而是：在很多 visuomotor BC 数据集中，左右 workspace variation 是一个被浪费的 latent symmetry；只要把 action/state 的坐标表示整理好，这个 symmetry 可以被显式释放出来。

Core Idea

核心思想是把 reflection consistency 作为 visuomotor learning 的 inductive bias：对于每个 demonstration，不仅翻转 RGB observation，还同步变换 proprioceptive state 和 6-DoF end-effector action，使 mirrored trajectory 在语义和几何上仍然对应一个可执行的技能实例。这样每条 demo 都变成一对 original / mirrored paired supervision，相当于在数据分布中补上缺失的左右对称覆盖。

这改变的建模方式是：policy 不再只从有限 demonstration 中插值，而是被显式告知“如果 observation 被镜像，action 也应按同一 reflection 变换”。在 data augmentation 版本中，这是扩大 support；在 equivariant policy 版本中，这是约束函数类，使 policy 满足 π(M(o)) = M(π(o))。本质区别于 prior 的地方在于它处理的是 RGB + proprioception + full 6-DoF action 的联合一致性，而不是只在图像层做 augmentation 或只在低维 SE(2) action 上做 symmetry。

它之所以可能比 prior 更 scalable，是因为 reflection 不需要重建 3D scene，也不需要生成新的仿真轨迹；它直接复用已有 demonstration，并且可以嵌到现有 BC / diffusion policy pipeline 中。代价是它只能利用一个很窄但很高价值的 symmetry。

Method

方法层面最重要的不是网络结构，而是如何让 reflection 在不同模态上对齐。

第一，pose-space mirroring 解决的是图像翻转和 6-DoF pose/action 不一致的问题。作者在相机坐标系下定义 reflection：水平图像翻转对应 pose 的 E X E 变换，其中 E 对 x 轴取反。这个步骤保证了 mirrored action 不是经验性地改几个符号，而是和 pinhole projection 下的 image flip 一致。

第二，local reparameterization 解决的是 camera extrinsics 不可得的问题。直接在世界坐标系中做 reflection 需要知道相机外参，但很多 BC 数据集没有。作者改用 delta pose 或 relative pose，把 trajectory 表示到初始帧或前一帧的局部坐标中，此时 reflection 退化为简单的 E ΔX E 或 E δX E。这个 canonicalization 是 MirrorDuo 能作为 dataset-agnostic augmentation 使用的关键。

第三，SO(3) discontinuity/alignment 解决的是 mirrored initial pose 不可执行的问题。反射不是 SO(3) 内的连续旋转，直接作用在 rotation 上会改变初始姿态。作者通过一个常量 alignment rotation Q，把平均 tool x-axis 对齐到世界 X 轴，使初始 pose 接近 reflection fixed point。这个处理很重要，否则 mirrored trajectory 可能数学一致但机器人无法从原始初始配置自然执行。

第四，dual realization 分为 MirrorAug 和 MirrorDiffusion。MirrorAug 是实际更有用的版本：batch 中随机替换一部分 trajectory 为 mirrored tuple，不改模型。MirrorDiffusion 则把 reflection sign pattern 写成 group representation，用 reflection-equivariant visual encoder / linear layer 约束 diffusion noise predictor。后者理论更干净，但实验上并不总是更强，尤其在需要 pretrained visual backbone 和 real-world robustness 时。

Key Insight / Why It Works

这篇论文真正有效的原因主要是 data coverage + representation alignment，而不是复杂 architecture。

MirrorDuo 的核心贡献是把左右侧泛化问题转化成一个 supervised support expansion 问题。很多失败的 BC policy 并不是不会执行技能，而是在训练分布里没有见过目标在 workspace 另一侧时对应的 observation-action mapping。MirrorAug 直接把这部分 mapping 补出来，因此在 one-side-to-mirrored setting 中效果明显。这更像利用已知 symmetry 做 data reuse，而不是学到了更强的高层 reasoning。

第二个关键是 action/state 的坐标整理。naive image flip 容易破坏 action label，导致增强样本变成 label noise；MirrorDuo 通过 local pose + sign pattern 让 mirrored label 至少在几何上自洽。这是方法成立的硬条件，也是相对于普通 augmentation 的实质创新。

第三，视觉鲁棒性是隐藏但非常重要的因素。论文自己的结果已经说明：在真实世界和强视觉非对称下，Diffusion + MirrorAug + Random Overlay + pretrained ResNet 往往优于 MirrorDiffusion。也就是说，镜像几何只解决了一半问题；另一半是视觉 encoder 必须忽略机器人外观、背景纹理、视角差异这些由于 flip 产生的 OOD artifact。这里的增益来源不完全是 reflection equivariance，很多来自 pretrained backbone 和 domain randomization。

MirrorDiffusion 的理论卖点是结构等变，但它的实际上限被 diffusion sampling noise 和缺少 pretrained equivariant visual backbone 限制。文中也承认 per-step denoising equivariant 不等于整个 reverse process equivariant，因为每步独立噪声会破坏全局 symmetry。因此 MirrorDiffusion 更像一个概念上完整的结构先验，而不是最强 practical recipe。

高数据 regime 下性能下降也很有信息量：mirrored demos 可能与真实 demos 在相似 third-person setup 下对应不同 eye-in-hand view 和不同旋转策略，导致多模态冲突。换句话说，MirrorDuo 扩大 coverage 的同时也会增加 decision boundary fragmentation。它在低/中数据 regime 中是正则化和补覆盖；在高密度数据中可能变成额外 label ambiguity。

Relation To Prior Work

这篇属于 geometric inductive bias for imitation learning 的谱系，但位置介于 3D SE(3)-equivariant methods 和普通 image augmentation 之间。

和 SE(3)/SIM(3)/SO(2) equivariant manipulation 相比，MirrorDuo 不追求完整刚体变换泛化，而是押注 reflection 这个更容易在 RGB 上实现的离散 symmetry。它牺牲 symmetry 范围，换来对普通 RGB BC pipeline 的兼容性。这是一个务实选择。

和 SO(2)-Equivariant Diffusion Policy 这类 image rotation equivariance 相比，MirrorDuo 的重点不是旋转图像模拟 global scene rotation，而是利用左右 workspace 的任务对称性。reflection 对很多前视/侧视 manipulation 更自然，也更容易保持物体-末端执行器相对关系。

和早期 mirror augmentation / equivariant imitation work 相比，实质新增在于 full 6-DoF pose/action、多视角 RGB、proprioception 的统一 reflection formulation，以及去外参依赖的 local coordinate trick。看似新颖的 MirrorAug 本身不是新思想，本质是 symmetry-based data augmentation；真正有价值的是把 augmentation label 做对，并分析了它在 diffusion policy / BC-RNN / real robot 中的边界。

MirrorDiffusion 则更多是已有 equivariant diffusion 思路换成 reflection group 的实例化。它是合理 extension，但从实验看不是本文最强贡献。

Dataset / Evaluation

评估覆盖了三个有用维度：一侧 demonstrations 到镜像侧迁移、强视觉非对称下少量 opposite-side demos 的适配、两侧 demonstrations 下不同数据规模的 data efficiency。仿真基于 MimicGen 多个 manipulation tasks，包含 eye-in-hand 和 third-person view；真实世界包含 toy pick-place 和 block stacking。整体上，evaluation 是针对 claim 设计的，而不是泛泛跑 benchmark。

最支持核心 claim 的证据是：one-side setting 中，镜像增强能显著减少目标侧 demonstrations；two-side low/medium data 中，MirrorDuo 也能提高样本效率。这说明 reflection 作为 inductive bias 确实能补 workspace coverage。

但 evaluation 也有明显边界。首先，任务都是作者可定义 mirror counterpart 的场景，本身强烈偏向 reflection symmetry；这不是开放世界泛化。其次，许多结果依赖视觉增强和 pretrained backbone，MirrorDuo 本身与这些 trick 的贡献未完全解耦。第三，真实世界任务数量有限，更多是在验证 feasibility，而不是证明跨机器人、跨相机、跨任务的广泛泛化。第四，opposite-side demos 加入后的快速恢复说明方法有 data efficiency，但也可能说明少量真实目标域数据已经提供了关键视觉对齐信号，reflection augmentation 主要负责放大它。

Limitation

MirrorDuo 的核心前提是任务在几何和语义上都近似 reflection-equivariant。这个前提一旦不成立，方法不但无益，还可能注入系统性错误。例如工具有 handedness、物体 affordance 非对称、接触动力学左右不同、相机视角导致遮挡关系变化、或机器人结构左右外观差异很大时，水平翻转图像并不对应真实目标域。

第二个上限来自 image-space reflection 的不真实性。真实 mirrored setup 不是简单 image flip：背景纹理、机器人 elbow/shoulder 可见性、透视、遮挡、光照都会变。论文通过 Random Overlay 和 pretrained encoder 缓解，但这相当于把几何问题转移给视觉泛化能力。核心能力可能主要来自数据覆盖与视觉鲁棒性组合，而不是单独来自 reflection consistency。

第三，local pose formulation 虽然消除了外参依赖，但也引入了依赖初始姿态和 fixed point alignment 的隐含条件。若初始状态分布较宽，或 mirrored pose 超出 workspace，增强样本可能不可执行。off-centered camera 还需要预中心化 TCP，这在真实系统中又依赖 calibration 或 segmentation，文中未充分说明在复杂遮挡和多物体场景下的稳定性。

第四，高数据 regime 下出现性能下降，说明 MirrorDuo 不只是增加有效样本，也会增加多模态冲突。尤其 eye-in-hand view 会把同一个 third-person task state 分裂成不同局部视觉和不同旋转策略。这个问题不是简单 scaling 能消除的，可能需要 mode-aware augmentation 或 trajectory-level symmetry filtering。

第五，MirrorDiffusion 的等变性并不完整。per-step noise predictor equivariant 不代表 stochastic reverse diffusion trajectory equivariant，文中已经指出独立噪声破坏全局 symmetry。因此把它称为“by construction generalizes”需要打折；更准确地说，它约束了 denoising function，而不是整个 sampled policy distribution。

Takeaway

  • 1. 对 RGB visuomotor BC 来说，最实用的几何先验未必是完整 SE(3)，而可能是少数高频、低成本、可稳定标注 action 的离散 symmetry；reflection 是一个被低估的例子。
  • 2. 数据增强是否有效的关键不在图像变换本身，而在 label transformation 是否与机器人 action/state 表示严格一致。
  • MirrorDuo 的价值主要在这里。
  • 3. 在现实部署中，MirrorAug + 强视觉 encoder / domain randomization 可能比专门设计的 equivariant architecture 更有性价比。

一句话总结

MirrorDuo 是一篇把左右反射从 naive image augmentation 提升为 RGB-proprioception-6DoF action 一致几何先验的工作，真正贡献在于用低成本 symmetry 扩大 imitation learning 的数据覆盖，而不是提出更强的策略模型。