CoRL 2025 / Poster #192

One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies

海报模仿学习

精读笔记

Problem Setting

《One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies》（CoRL 2025）。

这篇论文针对的不是一般意义上的 imitation learning data efficiency，而是 eye-in-hand visuomotor policy 在空间扰动下的分布覆盖问题。原始示教通常只覆盖一条窄轨迹：固定的初始相机视角、固定的自由空间路径、固定的无障碍环境。一旦部署时机器人从不同初始位姿进入、相机看到不同局部外观、或者中间出现未见障碍，BC policy 会立刻落到 OOD observation-action pair 上。

真正困难点在于 robot data augmentation 不是 vision augmentation。对图像做 crop/color jitter 没有改变对应动作；对 action 做扰动又会让 eye-in-hand observation 不匹配。对于眼在手上的设置，位姿轻微变化就会造成图像大变化，因此 action-view consistency 是硬约束。另一个硬约束是物理可行性：生成的轨迹不能穿障碍，也不能伪造接触动力学。

这篇论文的关键矛盾是：真实机器人示教贵，但纯视觉增强无效；想扩展动作覆盖，又必须同时扩展对应视觉和几何约束。作者选择把问题转化为“在重建出的 3D 场景中离线生成新的几何可行轨迹，并渲染匹配视角”，从而用计算替代部分人工示教。

Motivation

已有路线各自缺一块。图像增强和生成式编辑主要增强 appearance / background / small viewpoint，但不会产生新的 action supervision，因此对 eye-in-hand policy 的状态分布迁移帮助有限。state-based augmentation 可以扰动低维状态或 keypoint，但把视觉泛化问题推给 state estimator。MimicGen 一类方法能生成轨迹，但通常依赖仿真或 on-robot rollout 来获得 in-domain visuals，现实部署成本仍高。

作者的核心观察是：一条真实 eye-in-hand demo 不只是一段行为，它同时也是一次局部 3D 扫描。尤其使用 fisheye camera 后，单次移动相机能看到比普通 pinhole wrist camera 更多的环境结构。只要能从这些图像恢复可渲染、可编辑的 3D scene，并且能在其中优化新的接触前路径，就可以把“单条示教”扩展成很多条带有真实视觉外观的伪示教。

关键缺口是 trajectory-level action-view augmentation：不是单帧修正，不是只改图像，也不是仿真生成，而是在真实重建场景内同时生成动作序列和对应视觉序列。论文的动机非常明确：把数据增强从 2D 像素域搬到 3D 几何域。

Core Idea

论文真正的核心思想是：把示教数据看成一个可以被重新采样的 3D action-view manifold，而不是固定的 observation-action 序列。原始 demo 提供 task endpoint / contact pose / gripper profile / 局部场景几何；trajectory optimizer 在这个 manifold 上采样新的可行路径；3DGS 则把这些路径投影回 policy 所需的 image observation。这样生成的数据天然保持 action-view consistency，因为 action pose 同时也是 rendering pose。

这个建模方式引入的 inductive bias 是强几何先验：自由空间运动和避障不需要完全由 neural policy 从少量数据中归纳，而是由离线 3D reconstruction + motion planning 先展开成训练分布。policy 学到的是这些规划结果的 amortized reactive imitation。相比 prior 的 step-level correction 或 action noise，这里新增的信息是完整轨迹级的 recovery / approach distribution；相比 simulation generation，这里保留了真实场景视觉外观。

本质区别在于它没有试图让策略在测试时推理障碍，而是在训练前把可见障碍条件下的避障轨迹“写入数据”。这更 scalable 的地方是：一旦场景可重建，生成额外 trajectory 的边际成本低；但 generalization 的来源主要是 coverage expansion，而不是 learned abstraction。

Method

方法上真正必要的机制只有几个。

第一，使用 fisheye 视角重建场景。它解决的是单条 eye-in-hand demo 视角覆盖不足的问题。普通 wrist camera 的 FoV 太窄，novel view synthesis 很快离开训练视角分布；fisheye 提高了同样采集成本下的可重建空间。但 fisheye 也迫使作者修改 3DGS 的 ray sampling，否则 pinhole rasterization 假设不成立。这里的核心变化不是“用了 3DGS”，而是让真实 eye-in-hand fisheye video 变成可渲染的 policy observation generator。

第二，轨迹生成不是随机扰动，而是带约束的 funnel optimization。它从新的初始位姿出发，收敛到原始 demo 的 pre-contact pose，同时避开场景点云/障碍并保持平滑。这个机制解决的是：增强后的动作必须仍然服务于同一个接触事件，不能改变任务语义。funnel loss 的作用是把多样性限制在接触前自由空间，而不是任意改变 manipulation phase。

第三，render-aware trajectory constraint 很关键。3DGS 的 novel view 并非任意视角都可靠，因此轨迹优化还要让生成位姿靠近原始扫描/示教视角分布。这实际上承认了视觉生成模型的上限：为了得到可训练数据，轨迹不能只满足几何可行，还必须满足渲染可行。

第四，障碍增强通过把 Objaverse 物体作为 3DGS/point cloud 插入场景，再用 RRT* + optimization 生成绕障路径。这里真正注入的是外部 planner 的避障 supervision。policy 的避障能力不是从原始 demo 中涌现，而是来自这些合成 obstacle-conditioned trajectories。

第五，contact-aware augmentation 只在接触前做。这个设计很务实：作者没有动力学模型，也不尝试合成抓取/推挤后的真实物体运动。它把方法适用域限定为 pre-contact approach / obstacle avoidance，这也是整篇工作的边界。

Key Insight / Why It Works

这篇论文有效的主要原因不是 Diffusion Policy，也不是 3DGS 本身，而是把三个约束对齐了：动作轨迹的几何可行性、视觉观测的视角一致性、任务接触点的语义不变性。很多 robot augmentation 失败是因为只满足其中一个：图像好看但动作错，动作合理但图像错，或者局部扰动不构成完整可执行轨迹。1001 DEMOS 的贡献在于把增强单位提升为整条 trajectory episode。

最核心的贡献应当是 trajectory-level action-view consistency。eye-in-hand 设置下，observation 几乎就是 end-effector pose 的函数；因此只扰动 action 或只扰动 image 都会制造 label noise。通过让 trajectory pose 同时作为 action label 和 render camera pose，论文把这个一致性问题变成几何生成问题。这是比普通 augmentation 更强的 inductive bias。

第二个重要 insight 是：避障可以被当成一种数据增强，而不是 policy architecture 问题。原始 demo 没有障碍，但只要任务的 contact endpoint 不变，自由空间段存在多条同伦路径；planner 可以在这些路径上生成 supervision。policy 最终学到的是 obstacle-conditioned approach behavior。这里的“能力迁移”本质上是 offline planning → supervised distillation，不是策略自己发现避障。

第三个 insight 是 renderability 必须进入轨迹生成目标。很多 3D data generation 方法默认 renderer 足够好，但实际 3DGS 在视角外推时 artifact 很明显。作者把生成轨迹限制在可渲染邻域内，牺牲一部分空间多样性换训练数据可信度。这一点很实用，也解释了为什么 augmentation range 存在 sweet spot。

哪些可能只是 engineering / scaling：fisheye 3DGS、SAM2 叠加 gripper、Objaverse obstacle bank、episode 数量扩张，都更像系统工程。它们重要，但不是算法本质。真正带来增益的更可能是 data coverage scaling：策略看到更多初始视角、更多接触前路径、更多障碍布局，于是测试分布落入训练支持集。论文并没有证明 policy 学到了可组合的几何规划能力。

增益归因仍有不清楚之处。真实实验中人工选择了渲染效果最好的 episode，文中未充分说明如果不筛选会怎样。障碍测试是否与生成障碍分布足够不同也没有强验证。若测试障碍形状/位置仍落在合成增强覆盖内，那么成功更像 distribution coverage，而非 out-of-distribution generalization。

Relation To Prior Work

它最接近三条路线的交汇：UMI 式便携示教、3DGS/NeRF novel-view action augmentation、以及 MimicGen 式轨迹再生成。和 UMI 的关系是直接继承数据采集范式，但 UMI 依然需要大量不同配置的人类示教；这篇试图用 3D 重建和规划补足空间覆盖。和 Diffusion Policy 的关系则基本是消费者关系，policy learner 不是创新点。

相对 image augmentation / semantic editing，真正不同在于它不只增强视觉，而是生成 action-view paired trajectories。相对 SPARTN / NeRF-in-the-palm 这类 single-step corrective augmentation，区别是 trajectory-level：完整路径提供了进入/恢复/接近接触点的时序监督，而不是孤立帧的 label correction。这个差异在 eye-in-hand setting 中很实质，因为单步 augmentation 很容易让 rollout 后续进入未覆盖状态。

相对 MimicGen，本文不依赖仿真或真实机器人 rollout 来获得视觉，而是用真实场景 3DGS 渲染。这降低了视觉域 gap，但同时受限于重建质量。相对并行的 3DGS demonstration generation 工作，本文的实质新增点主要是 eye-in-hand fisheye + obstacle-aware trajectory generation + contact-aware cutoff 的组合。单独看每个模块都不是全新思想，但组合后针对 real-world wrist-camera imitation 的痛点比较准确。

因此它属于“offline synthetic demonstration generation / data-centric robot learning”谱系，而不是 policy learning 或 test-time planning 谱系。新增的信息不是模型参数里的结构，而是训练集里的几何覆盖。

Dataset / Evaluation

仿真实验用 RoboMimic square 验证 free-space augmentation，优点是能用 ground-truth rendering 建立上界，从而判断 3DGS 渲染质量是否是瓶颈。结果显示其接近 oracle，说明在该任务和视角范围内，合成视觉足够可用。但这个 benchmark 的物体配置固定、主要测试初始相机/机器人位姿扰动，对更复杂多物体交互的证明有限。

真实世界实验有价值，因为它确实在真机上展示了从无障碍 demo 到有障碍执行的提升。尤其 obstacle augmentation 对比 free-space augmentation 的差异，支持“避障监督来自障碍轨迹生成”这一机制判断。但真实世界覆盖范围偏窄：主要是 cup serving，一个单臂、静态、pre-contact 避障占主导的任务。附录 challenging obstacle 也仍然是同一任务族。

evaluation 基本支持论文的核心 claim：action-view augmentation 能提升空间鲁棒性，obstacle augmentation 能把 planner 生成的避障行为蒸馏给 policy。它没有充分支持更强的 claim，例如跨任务、跨场景、动态接触、复杂长期规划或真实语义泛化。

一个明显 limitation 是实验中人工选择 50 个 novel-view rendering 最好的 episode 来生成真实增强数据。这对系统实际可扩展性和自动化程度有影响，文中未充分说明筛选失败率、渲染 artifact 对 policy 的负面影响，以及大规模自动生成时的质量控制机制。

Limitation

第一，方法强依赖静态 3D scene。作者自己也承认单个 eye-in-hand camera 不足以做动态 scene reconstruction，因此增强基本限制在接触前或接触后静态阶段。对 contact-rich manipulation，真正困难的部分往往是接触后的物体运动和力学耦合，这篇没有解决。

第二，泛化边界由 3DGS 的 viewpoint support 决定。轨迹优化里加入 render loss 本质上说明 novel view 不能外推太远。augmentation range 的最优点不是策略泛化自然出现，而是 diversity 与 rendering artifact 的折中。超过这个范围，合成数据可能变成 label-noisy domain shift。

第三，生成动作只在 task-space 可行，不保证下游机器人 configuration-space 可行。UMI 风格数据本来就有 embodiment-agnostic 的优势，但这里生成的大量 SE(3) 轨迹可能在具体机械臂上存在 IK discontinuity、关节限位或速度约束问题。论文通过限制采样范围规避，而不是根本解决。

第四，所谓“从一个 demo 学会一千条 trajectory”有一定宣传性。真实系统需要扫描视频、COLMAP/3DGS 训练、obstacle 资产、trajectory optimization、gripper overlay、人工筛选等。它减少的是人类重复示教，不是完全无成本数据生成。增益可能主要来自 scaling / data coverage，而非更强的 representation learning。

第五，避障能力更像 planner-generated behavior cloning，而不是 learned planning。policy 没有显式地图、没有长期状态建模，也没有 test-time search。若障碍布局超出增强分布、遮挡目标、改变接触策略或要求多阶段绕行，当前方法是否能泛化并不明确。

第六，评估中的 obstacle distribution 与训练合成 distribution 的关系不够透明。若测试主要落在训练增强覆盖的几何模式内，那么结果证明的是 coverage works，而不是 robust OOD generalization。这不是缺点，但需要准确表述。

Takeaway

  • 1. 对 eye-in-hand imitation learning，最关键的数据增强单位应该是 trajectory-level action-view pair，而不是 image 或单步 action。
  • 只要 action-view consistency 被破坏，增强就很容易变成 label noise。
  • 2. 3D reconstruction + motion planning 可以作为离线 teacher，把几何能力蒸馏到 reactive visuomotor policy 中。
  • 这条路线很可能会继续发展：不是让 BC policy 自己从少量 demo 中学会规划，而是用外部结构化工具扩展训练支持集。

一句话总结

这篇论文是 data-centric visuomotor learning 中一次务实的 3D 几何化升级：用真实场景重建和离线规划生成 trajectory-level action-view demonstrations，把机器人空间鲁棒性问题主要转化为可控的数据覆盖扩张问题。