IEEE Transactions on Robotics

Learning From Videos Through Graph-to-Graphs Generative Modeling for Robotic Manipulation

作者：Guangyan Chen, Meiling Wang, Te Cui, Chengcai Yang, Mengxiao Hu, Haoyang Lu, Zicai Peng, Tianxing Zhou, Xinran Jiang, Yi Yang, Yufeng Yue · 机构：School of Automation, Beijing Institute of Technology, Beijing, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：1158-1177

操作视觉强化学习模仿学习扩散策略

精读笔记

Problem Setting

论文标题：Learning From Videos Through Graph-to-Graphs Generative Modeling for Robotic Manipulation（IEEE Transactions on Robotics / 2026）。

这篇论文不是在做一般意义上的 imitation learning，而是在解决一个更具体的问题：如何从 action-free videos 中抽取对机器人控制真正有用的动态先验，并在只有少量 action-labeled robot demos 时提升策略学习。困难点不在于视频数据不够，而在于视频里的 supervision 与机器人动作空间之间没有直接对齐：视频能告诉你物体和手/夹爪怎么动，但不能告诉你目标机器人应该输出什么关节或末端动作。

已有路线主要卡在两个地方。视觉预训练类方法学到的多是 state representation，对 transition/action dynamics 利用不足；video generation / flow / point trajectory 类方法虽然建模未来变化，但通常仍在 pixel 或 point space 工作，缺少对 object structure、inter-object relation、effector-object relation 的显式建模，并且容易把 source embodiment 的外观和运动模式带进表示。核心矛盾是：需要从视频中学习 manipulation dynamics，但又必须避免学习到源 embodiment 的低层形态细节。

Motivation

作者的关键观察是，manipulation 中真正跨 embodiment 可迁移的部分往往不是整张图像如何变化，也不是手或机器人本体的完整运动，而是 object-centric dynamics 以及 interaction points 与 objects 的相对关系。也就是说，视频里最有用的信息不是 pixel future 本身，而是哪些物体、哪些接触点、哪些空间关系在随时间变化。

因此已有路线缺的不是更强的图像 encoder，而是一个能把 action-free video 转换成可监督、可迁移、且接近控制需求的中间预测目标的表示。图表示天然适合这件事：它可以显式承载对象内部结构、对象间关系和接触点关系；而 future graph prediction 又保留了 transition dynamics。G3M 的 motivation 可以概括为：用 graph future 作为视频到控制之间的桥，而不是用 image future 或 static visual feature。

Core Idea

核心思想是把视频预训练重写为 graph-to-graphs generative modeling：当前观测被抽象成 object vertices + visual action vertices 的图，模型学习在语言和图像条件下预测未来一段图序列；这些未来图再作为下游 policy 的条件，引导动作输出。这里的 future graphs 实际扮演的是一种 sparse visual plan：它不直接给 robot action，但给出 manipulation-relevant entities 在未来应如何演化。

本质区别在于建模对象变了。UniPi/视频扩散更像生成未来像素，ATM/trajectory 方法生成未来点轨迹，而 G3M 生成的是带有关系归纳偏置的 object-action graph。这个转变引入了两个重要 inductive bias：一是 object-centric bias，使表示更接近 manipulation 的因果实体；二是 relation/action-point bias，使模型更关注接触和相对运动，而不是源 embodiment 的外观。理论上它更 scalable/generalizable，因为 graph abstraction 把大量视觉细节压缩掉，同时保留与控制最相关的几何关系。

Method

1. Action-informed transferable graph：它解决的是跨 embodiment 视频中“动作信息怎么表示”的问题。作者没有直接使用整只手、整台机器人或 dense mask，而是把 human fingertips / robot gripper keypoints 当作 visual action vertices，并与 object vertices 建边。核心变化是把 embodiment-specific morphology 压缩成 interaction points，从而让视频中的操作知识更接近功能层面的 contact relation。

2. Graph future prediction：它解决的是 action-free video 如何提供动态监督的问题。模型不需要动作标签，而是通过 tracking 得到未来 vertices 的位置，把 future graph 当成 self-supervised target。这样 action-free video 的价值被转换成“未来交互几何演化”的监督信号。

3. Property-aware hierarchical graph modeling：它解决的是普通局部图 message passing 难以同时建模局部结构和长程空间关系的问题。层级 root vertices 让远距离信息传播更短，object property embedding 则尝试从历史运动中吸收 stiffness/elasticity 等潜在物体属性。这里真正需要的是改善 graph dynamics prediction，而不是为了控制端增加复杂度。

4. Graph-image interaction：它解决的是稀疏图 token 语义不足的问题。图点知道位置和类别，但可能不知道细粒度视觉语义；图像 token 有语义但缺结构。作者用共享 pixel coordinate positional encoding 做 cross-attention，使图 token 从图像 token 中吸收语义。这个设计更像 representation alignment，而不是新的生成建模理论。

5. Graph-guided policy：它解决的是 future graph 如何转成 robot action 的问题。policy 仍然是 BC，只是条件里加入 generated future graphs。重要的是，policy 学的是从 sparse visual plan 到本体动作的映射；低 demo regime 下，这比从图像直接回归动作更容易。

Key Insight / Why It Works

我认为这篇最核心的贡献不是“图 + 扩散 + transformer”的组合，而是把 action-free video 的监督信号重新定义为可追踪的、对象中心的 future interaction structure。这使得视频预训练不再只是学习视觉特征，而是在学习一种弱形式的 dynamics prior / visual plan prior。

为什么有效：第一，graph representation 去掉了大量与控制无关的像素细节，降低了 sample complexity；第二，visual action vertices 把动作相关性显式注入状态表示，使模型不用从整幅图里隐式发现接触点；第三，future graph 给 policy 提供了一个短期目标轨迹，等价于把部分 planning burden 从 policy 转移到 video-pretrained generator；第四，object-centric abstraction 让不同 embodiment 的共同部分更突出，因此 cross-embodiment transfer 比 pixel/flow 方法更自然。

最可能的核心增益来源是 better inductive bias + latent structure，而不是单纯 scaling。G3M 本质上是在构造一个 manipulation-specific latent state space，并在这个空间里做未来预测。相比之下，property estimation、hierarchical graph 和 graph-image interaction 更像增强 prediction quality 的辅助机制。它们有用，但如果没有 object/action graph 这个核心 abstraction，单独堆这些模块大概率不会产生同样效果。

也需要警惕两点。第一，future graph supervision 来自 tracking pipeline，这是一种强 pseudo-label，不能简单等同于“无监督从视频学习”；很多增益可能来自把 tracking model 的先验转移进 policy。第二，long-horizon claim 可能并不意味着模型学会了长期规划；它更可能是在短 horizon graph prediction + closed-loop replanning 下表现稳定。所谓 reasoning 更像 structured retrieval / dynamics extrapolation，而非显式任务级推理。

Relation To Prior Work

最接近的路线是 ATM、Im2Flow2Act、UniPi 这类从视频预测未来视觉计划再训练低层策略的方法。G3M 与它们的本质差异不是也用了 diffusion，而是预测空间从 pixel/flow/points 变成了 graph-structured object-action state。ATM 的 point tracks 是无结构的运动 token，G3M 则显式编码哪些点属于对象、哪些点是 interaction points、点之间有什么关系。

它也接近 graph dynamics / particle-based manipulation work，但那些工作通常需要动作输入或面向物理动力学建模；G3M 的重点不是学一个可控动力学模型，而是用 graph dynamics prediction 做 video pretraining，再把预测结果作为 policy guidance。和 GraphIRL/scene graph reward 类方法相比，G3M 不走 reward learning 或 RL，而是把 graph 当作 intermediate plan condition 接入 BC。

看似新的部分中，GNN、hierarchical graph、DiT、cross-attention、tracking-supervised future prediction都不是全新思想；实质创新在于把这些已有工具组织成一个 video-to-policy 的信息通道：action-free video → object/action graph future → few-shot action policy。真正新增的信息是 visual action vertices 这个 interaction-point abstraction，以及 graph future 作为跨 embodiment 中间表示的系统化使用。

Dataset / Evaluation

实验覆盖面比较广：LIBERO 多任务仿真、真实 Franka、robot-to-robot、human-to-robot、CALVIN long-horizon、MimicGen。总体上 evaluation 是对核心 claim 有支撑的，尤其是 cross-embodiment 设置和 low-action-data 设置，确实能检验 graph abstraction 是否比 pixel/point 表示更可迁移。

但 evaluation 也有明显边界。首先，多数任务仍是桌面 manipulation，物体类别、交互类型和场景复杂度有限；graph construction 依赖任务相关物体识别与分割，这在 benchmark 中比开放世界容易很多。其次，视频与下游任务之间的 overlap 程度、语言指令分布、物体实例共享情况会显著影响结果，文中没有充分拆解这些因素。第三，真实世界实验规模虽有价值，但仍不足以证明开放环境鲁棒性。第四，生成图作为 policy 输入带来了额外 test-time computation 和额外信息通道，与纯 BC/视觉预训练 baseline 的公平性需要谨慎看待。

Limitation

最根本的限制是：G3M 把动作学习问题转移成了可靠 graph extraction/tracking/future prediction 问题。只要物体分割、关键点检测、tracking 或 2D 投影出错，整个中间表示就会失真。论文承认 tracking 和 2D graph 问题，但低估了这对开放环境 scalability 的影响。

第二，2D graph 对 manipulation 来说有明显上限。许多任务依赖深度、接触法向、遮挡后的物体状态、夹爪姿态与可达性；2D vertices 的未来位置不一定对应可执行的 3D action。多视角可以缓解，但这又增加了部署假设。

第三，cross-embodiment 泛化依赖一个强前提：不同 embodiment 的操作可以通过少数 interaction points 对齐。这对 pick-place、push、open drawer 等任务合理，但对复杂双手操作、工具使用、非刚体包裹/缠绕、需要姿态约束的任务可能不足。

第四，增益归因不完全清晰。G3M 同时引入 graph representation、future prediction、diffusion generator、image interaction、tracking pseudo-label、policy conditioning。虽然有消融，但仍难判断性能提升中有多少来自核心表示，有多少来自更强的数据处理和额外 future guidance。

第五，long-horizon 能力可能是短期视觉计划反复闭环的结果，而不是全局规划能力。若任务需要隐变量记忆、不可见状态维护或多步骤预条件推理，当前 graph future 机制可能不够。

Takeaway

  • 1. 视频学习用于机器人时，关键不是生成更逼真的 future，而是选择一个控制相关、可监督、可迁移的 future representation。
  • G3M 的 graph future 是这个方向上很有价值的设计。
  • 2. Cross-embodiment transfer 的有效 abstraction 可能不是“学习统一机器人动作空间”，而是把 embodiment 压缩到 interaction points，再围绕 object dynamics 建模。
  • 这一点值得迁移到 human video learning、tool-use learning 和 multi-robot data sharing。

一句话总结

G3M 是把 video pretraining 从像素/轨迹预测推进到 object-action graph future prediction 的结构化视频到控制方法，真正贡献在于用可迁移的交互图表示重组 action-free video supervision，而不是单纯换一个更大的生成模型。