Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations Figure 1
RSS 20182018

Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations

Aravind Rajeswaran, Vikash Kumar, Abhishek Gupta, Giulia Vezzani, John Schulman, Emanuel Todorov, Sergey Levine

扩散策略机器人学习基准数据集/基准操作

针对多指灵巧手维度高、接触复杂且纯强化学习样本效率低的问题,论文构建了4个仿真灵巧操作基准,并将少量VR人类示范用于行为克隆预训练与带示范约束的策略梯度微调。结果显示,24-DoF五指手可完成物体搬移、手内旋转、用锤和开门;示范显著降低样本量至数小时机器人经验级别,并带来更自然、对物体变化更鲁棒的策略,但硬件验证文中未充分说明。

Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning Figure 1
CoRL 20202020

Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning

Tianhe Yu, Deirdre Quillen, Zhanpeng He, Ryan Julian, Avnish Narayan, Hayden Shively, Adithya Bellathur, Karol Hausman, Chelsea Finn, Sergey Levine

Stanford University1, UC Berkeley2, Columbia University3, University of Southern California4, Robotics at Google5

扩散策略机器人学习基准数据集/基准触觉/力觉

该论文针对当时多任务/元强化学习评测过窄、难以检验机器人对全新技能泛化的问题,提出 Meta-World:含 50 个共享 Sawyer 桌面操作结构但任务语义多样的开源仿真基准,并设置多种训练/测试协议。对 7 个主流算法的评测显示,单任务或参数变化尚可学习,但跨多个差异任务训练时明显困难,甚至 10 个任务也会失效,揭示现有方法离有效迁移仍有距离。

Bridge data: Boosting generalization of robotic skills with cross-domain datasets Figure 1
RSS 20222022

Bridge data: Boosting generalization of robotic skills with cross-domain datasets

Frederik Ebert, Yanlai Yang, Karl Schmeckpeper, Bernadette Bucher, Georgios Georgakis, Kostas Daniilidis, Chelsea Finn, Sergey Levine

扩散策略机器人学习基准数据集/基准数据采集

机器人技能学习常需为每个新任务和新环境重新采集数据,限制了泛化。本文提出“桥接数据”思路:构建覆盖多任务、多域的可复用模仿学习数据集,含10个厨房类环境、71个任务、7200条示范,用于弥合任务与域差异。实验显示,在新域新任务仅有50条示范时,联合桥接数据训练平均成功率约提升2倍,并可用少量新域数据迁移数据集中已有技能。

Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning Figure 1
NeurIPS 2022 Datasets and Benchmarks Track2022

Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning

Yuanpei Chen, Tianhao Wu, Shengjie Wang, Xidong Feng, Jiechuang Jiang, Stephen Marcus McAleer, Yiran Geng, Hao Dong, Zongqing Lu, Song-Chun Zhu, Yaodong Yang

Institute for AI, Peking University, Center on Frontiers of Computing Studies, Peking University, University College London, Carnegie Mellon University, Beijing Institute for General Artificial Intelligence

扩散策略机器人学习基准数据集/基准操作

面向高自由度、接触丰富且需双手异构协作的灵巧操作难题,论文提出 Isaac Gym 上的 Bi-DexHands 基准,将数十个双手任务与儿童精细运动发展阶段对应,并引入大量 YCB/SAPIEN 物体,支持单/多智能体、离线、多任务和元强化学习评测。实验显示 PPO 类 on-policy 方法可掌握相当于 48 个月儿童水平的简单任务,多智能体方法在举锅、堆叠等协作任务上有帮助,但现有方法在多技能、多任务和 few-shot 泛化上多数失败。

Dexart: Benchmarking generalizable dexterous manipulation with articulated objects Figure 1
CVPR 20232023

Dexart: Benchmarking generalizable dexterous manipulation with articulated objects

Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

Shanghai Jiao Tong University, Tsinghua University, UC San Diego

扩散策略机器人学习基准数据集/基准操作

面向家用机器人需操作水龙头、桶、笔记本等铰接物体而平行夹爪能力受限的问题,DexArt提出多指灵巧手在仿真中基于点云的铰接物体操作基准,重点评估对未见实例和视角变化的泛化。论文用RL结合PointNet表征系统比较后发现,更多训练物体提升泛化,大编码器未必有效,部件分割预训练能显著改善样本效率与成功率,点云几何表征还带来较强视角鲁棒性。

BridgeData V2: A Dataset for Robot Learning at Scale Figure 1
CoRL 20232023

BridgeData V2: A Dataset for Robot Learning at Scale

Homer Walke, Kevin Black, Abraham Lee, Moo Jin Kim, Max Du, Chongyi Zheng, Tony Zhao, Philippe Hansen-Estruch, Quan Vuong, Andre He, Vivek Myers, Kuan Fang, Chelsea Finn, Sergey Levine

UC Berkeley, Stanford, CMU, Google DeepMind

扩散策略机器人学习基准数据集/基准数据采集

面向机器人策略难以跨任务、环境和实验室泛化的问题,本文发布 BridgeData V2:在低成本公开机械臂上采集的 60,096 条操作轨迹,覆盖 24 个环境和 13 类技能,并支持目标图像或语言条件的开放词汇多任务学习。作者用 6 种模仿学习和离线强化学习方法验证其适用性,结果显示更多数据、更大模型和更高技能多样性均能提升泛化,增益可能主要来自 scaling / data。

CALVIN: A Benchmark for Language-conditioned Policy Learning for Long-horizon Robot Manipulation Tasks Figure 1
RA-L 20222022

CALVIN: A Benchmark for Language-conditioned Policy Learning for Long-horizon Robot Manipulation Tasks

Oier Mees, Lukas Hermann, Erick Rosete-Beas, Wolfram Burgard

扩散策略机器人学习基准数据集/基准操作

面向日常机器人需用自然语言组合长程操作技能的问题,CALVIN提出开源仿真基准,将自由语言、多模态机载观测、7-DOF连续控制与长程桌面操作统一起来,提供4个环境、约24小时遥操作play数据和2万条语言指令,并设计见过/未见环境与新指令的评测协议。基线MCIL短程最高约53.9%,长程表现很差,说明该基准对语言 grounding、技能组合和泛化仍具挑战。

RLBench: The Robot Learning Benchmark & Learning Environment Figure 1
RA-L 20202020

RLBench: The Robot Learning Benchmark & Learning Environment

Stephen James, Zicong Ma, David Rovick Arrojo, Andrew J. Davison

扩散策略机器人学习基准数据集/基准

RLBench针对机器人操作缺少统一、可复现且覆盖真实复杂任务的评测标准这一问题,提出基于仿真的大规模学习环境:100个手工设计任务、多模态观测、文本描述,以及由航点运动规划生成的近无限示范,并支持扩展新任务。其主要结果不是单一算法性能提升,而是建立可比较的强化学习、模仿学习、多任务与少样本操作基准,增益可能主要来自任务规模与数据生成能力。

Diffusion policy: Visuomotor policy learning via action diffusion Figure 1
RSS 20232023

Diffusion policy: Visuomotor policy learning via action diffusion

Cheng Chi, Zhenjia Xu, Siyuan Feng, Eric Cousineau, Yilun Du, Benjamin Burchfiel, Russ Tedrake, Shuran Song

Columbia University, US, Toyota Research Institute, US, MIT, US, Stanford University, US

扩散策略机器人学习

针对示教学习中动作分布多峰、时序相关且需高精度的问题,论文将视觉运动策略建模为条件去噪扩散过程,在动作空间迭代采样动作序列,并结合视觉条件、滚动时域控制和时序 Diffusion Transformer,实现闭环重规划与稳定训练。在15个仿真和真实操作任务上,相比既有行为克隆方法平均提升46.9%。

Goal-conditioned imitation learning using score-based diffusion policies Figure 1
RSS 20232023

Goal-conditioned imitation learning using score-based diffusion policies

Moritz Reuss, Maximilian Li, Xiaogang Jia, Rudolf Lioutikov

Intuitive Robots Lab, Karlsruhe Institute of Technology, Germany

扩散策略机器人学习分数生成模型模仿学习

针对从无奖励、未整理 play 数据中学习目标条件策略时,多模态行为难以建模且层级/聚类方法训练复杂的问题,论文提出 BESO,将分数扩散模型直接作为动作策略,并解耦分数学习与采样,用 classifier-free guidance 同时支持目标相关/无关策略。实验在 Block-Push、Relay Kitchen、CALVIN 等基准上优于 C-BeT、LMP 等方法,且仅需约 3 步去噪即可生成动作。

Consistency policy: Accelerated visuomotor policies via consistency distillation Figure 1
RSS 20242024

Consistency policy: Accelerated visuomotor policies via consistency distillation

Aaditya Prasad, Kevin Lin, Jimmy Wu, Linqi Zhou, Jeannette Bohg

Stanford University Princeton University

扩散策略机器人学习一致性模型

面向机载算力受限、扩散策略多步去噪导致控制延迟高的问题,论文将 Diffusion Policy 改写为 EDM 教师,并用一致性蒸馏/CTM 局部目标训练可单步或少步生成动作的 Consistency Policy,同时通过低方差初始采样和预设链式步数稳定性能。在 6 个仿真和 3 个真实任务中,其推理速度较最快基线约提升一个数量级,并保持相近成功率。

Vision-Language-Affordance-based Robot Manipulation with Flow Matching Figure 1
arXiv preprint2024

Vision-Language-Affordance-based Robot Manipulation with Flow Matching

Fan Zhang, Michael Gienger

Honda Research Institute EU

扩散策略机器人学习轨迹/流匹配操作语言目标

面向语言指令下的辅助操作,论文针对端到端策略样本效率低、VLM 全量微调成本高的问题,将冻结视觉基础模型上的可学习文本提示用于多任务 affordance 热图预测,再以 affordance 条件化的 flow matching 将随机路标流到 6D 动作轨迹。其 ADLs 10 任务及多基准实验显示,提示调优在少参数下接近或优于其他微调方案,flow matching 训练更稳、推理更快,泛化与扩散策略相当。

ACTIONFLOW: Equivariant, Accurate, and Efficient Policies with Spatially Symmetric Flow Matching Figure 1
arXiv preprint日期待提取

ACTIONFLOW: Equivariant, Accurate, and Efficient Policies with Spatially Symmetric Flow Matching

Niklas Funk, Julen Urain, Joao Carvalho, Vignesh Prasad, Georgia Chalvatzaki, Jan Peters

扩散策略机器人学习轨迹/流匹配

针对机器人操作中生成式策略缺少观测—动作空间关系建模、导致空间泛化和样本效率不足的问题,ActionFlow将观测与动作统一表示为SE(3)位姿和特征 token,用带相对位姿编码的SE(3)不变Transformer做几何注意力,并以Flow Matching快速生成动作序列。实验覆盖仿真和真实操作,显示其组件有效,整体能产生等变、较准确且低推理时延的策略。

Safe Flow Matching: Robot Motion Planning with Control Barrier Functions Figure 1
arXiv preprint日期待提取

Safe Flow Matching: Robot Motion Planning with Control Barrier Functions

Xiaobing Dai, Zewen Yang, Dian Yu, Fangzhou Liu, Hamid Sadeghian, Sami Haddadin, Sandra Hirche

扩散策略机器人学习轨迹/流匹配规划

针对扩散/流匹配式生成规划在新约束环境中缺乏显式安全保证、且扩散推理开销高的问题,SafeFlow 将流匹配的确定性轨迹生成与受 CBF 启发的 Flow Matching Barrier Function 结合,在测试时无需重训即可实时约束整段规划轨迹处于安全集内。论文在平面导航和 7 自由度操作任务中显示,相比现有生成式规划器,安全违规更少且规划性能更好。

RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation Figure 1
arXiv preprint2024

RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation

Songming Liu, Lingxuan Wu, Bangguo Li, Hengkai Tan, Huayu Chen, Zhengyi Wang, Ke Xu, Hang Su, Jun Zhu

Department of Computer Science & Technology, Institute for AI, BNRist Center, Tsinghua-Bosch Joint ML Center, THBI Lab, Tsinghua University

扩散策略机器人学习扩散变换器操作

面向双臂操作中动作分布多模态、跨机器人数据稀缺且异构的问题,RDT-1B 将扩散策略与可扩展 DiT 结合,并设计物理可解释的统一动作空间以吸收多机器人数据。模型在大规模预训练后用 6K+ 双臂轨迹微调,真实机器人实验显示成功率较强基线提升约 56%,并具备零样本场景/物体泛化和 1–5 次示范学习新技能的能力;但部分增益可能主要来自 scaling / data。

Diffusion Transformer Policy Figure 1
arXiv preprint日期待提取

Diffusion Transformer Policy

Zhi Hou, Tianyi Zhang, Yuwen Xiong, Hengjun Pu, Chengyang Zhao, Ronglei Tong, Yu Qiao, Jifeng Dai, Yuntao Chen

Shanghai AI Lab, College of Computer Science and Technology, Zhejiang University, MMLab, The Chinese University of Hong Kong Peking University SenseTime Research, Tsinghua University Center for Artificial Intelligence and Robotics, HKISI, CAS

扩散策略机器人学习扩散变换器

面向跨机器人数据中相机视角、动作空间和任务差异导致的小动作头泛化受限问题,本文将连续动作块作为扩散生成对象,用大规模多模态 Transformer 直接在图像 patch、语言和历史观测上下文中去噪,而非离散化动作或用浅层 MLP 头。实验显示其在 Maniskill2、Calvin、Libero、SimplerEnv 和真实 Franka 上整体优于 Octo、OpenVLA,Calvin ABC→D 单第三视角下平均连续完成 3.6/5 个任务,预训练带来约 1.2 的序列长度增益。

EquiBot: SIM (3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning Figure 1
CoRL 20242024

EquiBot: SIM (3)-Equivariant Diffusion Policy for Generalizable and Data Efficient Learning

Jingyun Yang, Zi-ang Cao, Congyue Deng, Rika Antonova, Shuran Song, Jeannette Bohg

Stanford University

扩散策略机器人学习等变架构策略泛化

针对模仿学习在真实场景中数据需求大、对物体尺度/姿态/位置变化泛化弱的问题,EquiBot 将 SIM(3) 等变网络嵌入扩散策略,使去噪过程按构造保持平移、旋转和尺度等变,同时保留扩散策略处理多模态动作的能力。实验显示其在 6 个仿真任务中更省数据且 OOD 泛化更好,真实移动操作中每任务约 5 分钟示范即可迁移到新物体和场景。

Equivariant Diffusion Policy Figure 1
CoRL 20242024

Equivariant Diffusion Policy

Dian Wang, Stephen Hart, David Surovik, Tarik Kelestemur, Haojie Huang, Haibo Zhao, Mark Yeatman, Jiuguang Wang, Robin Walters, Robert Platt

Northeastern University, Boston Dynamics AI Institute

扩散策略机器人学习等变架构

扩散策略能表达示教中的多模态动作,但去噪函数比显式策略更难学习、数据需求高。本文将桌面操作绕重力轴的 SO(2) 对称性嵌入扩散去噪网络,并分析 6-DoF 控制下扩散模型等变的条件,使旋转后的观测与噪声轨迹对应旋转后的去噪动作。在 MimicGen 12 个任务、100 条示教设置下,平均成功率比 Diffusion Policy 高 21.9%;真实机器人 6 个任务中用 20–60 条示教也能学到有效策略。

SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution Figure 1
CVPR 20242024

SkillDiffuser: Interpretable Hierarchical Planning via Skill Abstractions in Diffusion-Based Task Execution

Zhixuan Liang, Yao Mu, Hengbo Ma, Masayoshi Tomizuka, Mingyu Ding, Ping Luo

The University of Hong Kong University of California, Berkeley Shanghai AI Laboratory

扩散策略机器人学习层级策略规划

面向长程机器人操作中高层语言指令难以被扩散策略稳定分解与执行的问题,SkillDiffuser将可解释离散技能学习与条件扩散规划结合:先从视觉和语言中用向量量化抽象可复用技能,再以技能条件生成状态轨迹,并用逆动力学解码动作。在Meta-World和LOReL多任务及未见组合任务上取得领先成功率,同时展示了较直观的人类可理解技能表示。

Hierarchical Diffusion Policy for Kinematics-Aware Multi-Task Robotic Manipulation Figure 1
CVPR 20242024

Hierarchical Diffusion Policy for Kinematics-Aware Multi-Task Robotic Manipulation

Xiao Ma, Sumit Patidar, Iain Haughton, Stephen James

Dyson Robot Learning Lab

扩散策略机器人学习层级策略操作

针对长时程操作中端到端控制样本效率低、NBP 加固定规划器又缺乏任务上下文且易受运动学约束影响的问题,HDP 将策略拆成高层语言/视觉 NBP 规划与低层目标条件扩散控制;其 RK-Diffuser 同时生成末端位姿和关节轨迹,并用可微运动学把位姿精度蒸馏到关节空间。实验显示其在 11 个 RLBench 任务总体成功率达 80.2%,优于 ACT、Diffusion Policy、PerAct 等,并能用 20 条真机示教完成开烤箱任务。

ChainedDiffuser: Unifying Trajectory Diffusion and Keypose Prediction for Robotic Manipulation Figure 1
CoRL 20232023

ChainedDiffuser: Unifying Trajectory Diffusion and Keypose Prediction for Robotic Manipulation

Zhou Xian, Nikolaos Gkanatsios, Theophile Gervet, Tsung-Wei Ke, Katerina Fragkiadaki

School of Computer Science, Carnegie Mellon University

扩散策略机器人学习层级策略操作规划

针对示教学习中长程操作既需要关键子目标又需要连续接触轨迹的问题,ChainedDiffuser 将全局 Transformer 关键位姿/宏动作预测与局部扩散轨迹生成串联,避免单纯运动规划或纯轨迹扩散的局限。在 RLBench 多任务上刷新 SOTA,尤其提升接触丰富和关节物体任务,并在少量真实示教的 7 个任务中展示可部署性。

XSkill: Cross Embodiment Skill Discovery Figure 1
CoRL 20232023

XSkill: Cross Embodiment Skill Discovery

Mengda Xu, Zhenjia Xu, Cheng Chi, Manuela Veloso, Shuran Song

Department of Computer Science, Columbia University, School of Computer Science, Carnegie Mellon University (emeritus), Morgan AI Research

扩散策略机器人学习层级策略策略泛化

XSkill针对从人类视频学习机器人操作时存在的形态差异、动作参数不可见和长程任务难组合问题,提出跨形态技能发现框架:用未标注人类/机器人视频自监督聚类出共享技能原型,再以技能条件扩散策略映射到机器人动作,并通过技能对齐Transformer按单个提示视频组合执行新任务。仿真与真实实验显示,该表示能提升技能迁移和未见任务组合,尤其优于直接行为克隆的长程操作。

Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition Figure 1
CoRL 20232023

Scaling Up and Distilling Down: Language-Guided Robot Skill Acquisition

Huy Ha, Pete Florence, Shuran Song

Columbia University, Google DeepMind

扩散策略机器人学习层级策略语言目标

面向机器人技能获取中人工示教难扩展、长时序稀疏任务探索低效的问题,本文用 LLM 将语言任务分解为层级计划,并调用 6DoF 采样式运动/抓取规划器自动生成带成功判定与重试的数据,再将成功轨迹蒸馏为语言条件多任务扩散视觉运动策略。在含 18 个任务、5 类场景的基准上,蒸馏策略学到恢复/重试行为,平均绝对成功率提升 33.2%,并展示了零微调 sim2real。

Generative Skill Chaining: Long-Horizon Skill Planning with Diffusion Models Figure 1
CoRL 20232023

Generative Skill Chaining: Long-Horizon Skill Planning with Diffusion Models

Utkarsh A. Mishra, Shangjie Xue, Yongxin Chen, Danfei Xu

Georgia Institute of Technology

扩散策略机器人学习层级策略规划

面向长时程操作中技能间依赖导致的搜索爆炸与贪心串联短视问题,论文提出 GSC:为每个原子技能学习状态-参数-后效的扩散分布,并在测试时按给定技能骨架线性组合得分、并行采样整条技能链,同时用分类器引导加入几何/任务约束。实验覆盖多个仿真长任务和真实机器人闭环执行,显示其能处理动作依赖、约束与扰动重规划,并较搜索式技能链更具效率和可扩展性。

3D Diffuser Actor: Policy Diffusion with 3D Scene Representations Figure 1
CoRL 20242024

3D Diffuser Actor: Policy Diffusion with 3D Scene Representations

Tsung-Wei Ke, Nikolaos Gkanatsios, Katerina Fragkiadaki

Carnegie Mellon University

扩散策略机器人学习三维感知

针对机器人示教中动作多模态与2D策略空间泛化弱的问题,本文将扩散策略与三维场景表征结合,提出用token化3D场景、语言和本体感知共同条件化的3D去噪Transformer,并通过相对3D注意力让动作轨迹与场景在同一空间交互。方法在RLBench多视角/单视角分别较SOTA提升18.1/13.1个百分点,在CALVIN相对提升9%,且少量真实示教可迁移。

3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations Figure 1
RSS 20242024

3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, Huazhe Xu

Shanghai Qi Zhi Institute, Shanghai Jiao Tong University, Tsinghua University, IIIS, Shanghai AI Lab

扩散策略机器人学习三维感知策略泛化

该论文针对视觉模仿学习在复杂操作中依赖大量示范、泛化和安全部署困难的问题,提出 DP3:用稀疏点云经轻量 MLP 提取紧凑 3D 表征,并作为条件驱动扩散策略生成动作序列。结果显示,DP3 在 72 个仿真任务中仅用 10 条示范即优于基线、相对提升 24.2%,在 4 个真实任务中每任务 40 条示范达到 85% 成功率,并在空间、视角、外观和实例泛化及安全性上更稳。

RISE: 3D Perception Makes Real-World Robot Imitation Simple and Effective Figure 1
IROS 20242024

RISE: 3D Perception Makes Real-World Robot Imitation Simple and Effective

Chenxi Wang, Hongjie Fang, Hao-Shu Fang, Cewu Lu

Shanghai Noematrix Intelligence Technology Ltd, Shanghai Jiao Tong University

扩散策略机器人学习三维感知仿真到现实模仿学习

RISE针对图像模仿学习依赖固定视角、点云方法多预测关键帧而难以处理接触丰富连续控制的问题,直接从单视角RGB-D点云学习动作轨迹。其关键设计是用稀疏3D卷积将点云压缩为token,加入坐标驱动的稀疏位置编码,再经Transformer与扩散头输出连续动作。在每任务50条真实示范下,RISE在6个真实操作任务中明显优于代表性2D/3D基线,并对相机视角、桌高和物体数量变化更稳健。

GenDP: 3D Semantic Fields for Category-Level Generalizable Diffusion Policy Figure 1
CoRL 20242024

GenDP: 3D Semantic Fields for Category-Level Generalizable Diffusion Policy

Yixuan Wang, Guang Yin, Binghao Huang, Tarik Kelestemur, Jiuguang Wang, Yunzhu Li

Columbia University, University of Illinois, Urbana-Champaign, Boston Dynamics AI Institute

扩散策略机器人学习三维感知策略泛化

现有扩散策略虽适合复杂模仿学习,但仅依赖 RGB 或点云时缺少显式语义与几何对应,难以泛化到新实例和细粒度部件。GenDP 用多视角 RGBD 结合 DINOv2 等视觉基础模型构建 3D 描述场,并与参考特征比较得到多通道 3D 语义场,作为扩散策略条件输入。八个真实操作任务中,其未见实例平均成功率由原始 Diffusion Policy 的 20% 提升到 93%。

DTG : Diffusion-based Trajectory Generation for Mapless Global Navigation Figure 1
arXiv preprint日期待提取

DTG : Diffusion-based Trajectory Generation for Mapless Global Navigation

Jing Liang, Amirreza Payandeh, Daeun Song, Xuesu Xiao, Dinesh Manocha

University of Maryland, College Park, George Mason University

扩散策略机器人学习三维感知规划导航

面向户外无地图全局导航中地图难维护、遮挡与草丛/灌木等非结构化地形导致可通行性和路径最优性难兼顾的问题,DTG将扩散模型用于远距离目标轨迹生成,并以条件RNN替代较重的U-Net以支持实时推理,同时通过按扩散步自适应施加可通行性损失提升安全性。在Husky及多种户外场景中,相比ViNT、NoMaD、MTG等方法,行驶距离指标至少提升15%,可通行性约提升7%。

Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation Figure 1
ECCV 20242024

Track2Act: Predicting Point Tracks from Internet Videos enables Generalizable Robot Manipulation

Homanga Bharadhwaj, Roozbeh Mottaghi, Abhinav Gupta, Shubham Tulsiani

Carnegie Mellon University and FAIR at Meta

扩散策略机器人学习图像目标操作数据采集

Track2Act面向无需测试时适应的开放场景机器人操作,试图缓解大规模真实机器人示教难采集、任务多样性不足的问题。其核心是从互联网人类/机器人视频学习目标条件的2D点轨迹交互计划,再结合深度估计物体刚体变换生成末端位姿,并用少量约400条本体示教训练闭环残差策略修正误差。实机Spot实验显示其能在未见任务、物体和场景上完成多种短程单物体操作,但长程多物体任务仍未覆盖。

PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play Figure 1
CoRL 20232023

PlayFusion: Skill Acquisition via Diffusion from Language-Annotated Play

Lili Chen, Shikhar Bahl, Deepak Pathak

Carnegie Mellon University

扩散策略机器人学习语言目标层级策略

PlayFusion针对机器人从无结构 play 数据中学习语言目标技能的难点:数据易采但多模态、噪声大且非最优。其核心是用语言条件的轨迹扩散模型生成状态-动作序列,并通过离散瓶颈促使模型形成可复用的技能词汇。实验覆盖CALVIN、Franka Kitchen、Ravens及三个真实操作场景,整体优于Play-LMP、RIL、C-BeT等基线,但真实场景仍有改进空间。

Se(3)-diffusionfields: Learning cost functions for joint grasp and motion optimization through diffusion Figure 1
ICRA 20232023

Se(3)-diffusionfields: Learning cost functions for joint grasp and motion optimization through diffusion

Julen Urain, Niklas Funk, Jan Peters, Georgia Chalvatzaki

AI, 4 4 {}^{4} start_FLOATSUPERSCRIPT 4 end_FLOATSUPERSCRIPT Centre for Cognitive Science

扩散策略机器人学习对象中心操作三维感知

面向抓取与轨迹规划常被先采样抓取再规划运动、导致候选不可行且难以联合优化的问题,本文将6DoF抓取分布学习为SE(3)上的扩散式平滑代价场,利用score提供全空间可用梯度,并与碰撞、平滑性等手工代价组成单一可微目标。仿真与真实抓放实验显示,该方法生成的抓取更多样、成功率更高,联合优化效率和任务成功率优于解耦式基线。

Composable Part-Based Manipulation Figure 1
CoRL 20232023

Composable Part-Based Manipulation

Weiyu Liu, Jiayuan Mao, Joy Hsu, Tucker Hermans, Animesh Garg, Jiajun Wu

Stanford, MIT, NVIDIA, University of Utah

扩散策略机器人学习对象中心操作

面向机器人在新物体乃至新类别上泛化困难的问题,CPM将倒水、受限放置等功能动作拆成对象部件之间的对应约束,如边缘对齐、把手朝向等,并为每类约束训练可组合的条件扩散模型来生成技能位姿/轨迹参数。推理时组合多个部件约束采样满足任务的动作,在PyBullet仿真和真实机器人实验中展示了对新实例和未见类别的更强泛化能力。

StructDiffusion: Language-Guided Creation of Physically-Valid Structures using Unseen Objects Figure 1
arXiv preprint日期待提取

StructDiffusion: Language-Guided Creation of Physically-Valid Structures using Unseen Objects

Weiyu Liu, Yilun Du, Tucker Hermans, Sonia Chernova, Chris Paxton

扩散策略机器人学习对象中心操作语言目标

面向家庭/桌面整理中“按语言目标把未见物体摆成有语义且物理可行结构”的需求,StructDiffusion将对象中心点云-语言 Transformer 与扩散式6DoF目标采样结合,并用碰撞/真实性判别器筛除不合理候选,以避免单一回归在多约束下失效。仿真和真实重排实验显示,其在未见物体结构搭建上较既有多模态 Transformer平均成功率提升约16%,多任务基线也低于该方法。

Shelving, stacking, hanging: Relational pose diffusion for multi-modal rearrangement Figure 1
CoRL 20232023

Shelving, stacking, hanging: Relational pose diffusion for multi-modal rearrangement

Anthony Simeonov, Ankit Goyal, Lucas Manuelli, Lin Yen-Chen, Alina Sarmiento, Alberto Rodriguez, Pulkit Agrawal, Dieter Fox

Massachusetts Institute of Technology, start_FLOATSUPERSCRIPT 3 end_FLOATSUPERSCRIPT Improbable AI Lab

扩散策略机器人学习对象中心操作

面向书架放书、堆叠、挂杯等存在多个可行目标位姿的整理任务,RPDiff将示教得到的物体—场景关系建模为SE(3)位姿扩散去噪,并用逐步收缩的局部点云裁剪聚焦相关几何,避免全局干扰。在仿真中相比回归或离散搜索基线同时保持较高覆盖率与精度,局部裁剪消融显著提升成功率,并在真实机器人抓取放置中完成多解重排。

Reorientdiff: Diffusion model based reorientation for object manipulation Figure 1
ICRA 20242024

Reorientdiff: Diffusion model based reorientation for object manipulation

Utkarsh A. Mishra, Yongxin Chen

扩散策略机器人学习对象中心操作

针对精确放置中当前位姿与目标位姿缺少共同抓取、传统重定向需大量拒绝采样的问题,ReorientDiff将中间重定向位姿建模为由场景视觉与自然语言任务共同条件化的扩散分布,并结合classifier-free采样与可行性评分梯度细化,使采样更偏向可抓取、可放置的过渡姿态。在YCB物体与吸盘夹爪仿真中,仅用10个候选位姿达到95.2%成功率。

Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation Figure 1
arXiv preprint2024

Planning-Guided Diffusion Policy Learning for Generalizable Contact-Rich Bimanual Manipulation

Xuanlin Li, Tong Zhao, Xinghao Zhu, Jiuguang Wang, Tao Pang, Kuan Fang

扩散策略机器人学习策略泛化操作规划

面向笨重物体重定向等接触丰富双臂操作,难点在于真实示教昂贵且策略需泛化到未知物体。GLIDE用接触规划器在随机仿真中批量生成高质量轨迹,再训练任务条件扩散策略,并通过点云特征、目标表示、动作序列预测和数据增强缓解 sim-to-real。仿真与实机结果显示其可处理不同几何、尺寸和物性的物体,但增益可能主要来自规划数据规模与工程化设计。

UniSim: UniSim: Learning Interactive Real-World Simulators Figure 1
ICLR 20242024

UniSim: UniSim: Learning Interactive Real-World Simulators

Sherry Yang, Yilun Du, Kamyar Ghasemipour, Jonathan Tompson, Leslie Kaelbling, Dale Schuurmans, Pieter Abbeel

UC Berkeley Google DeepMind MIT University of Alberta, google.com}

扩散策略机器人学习规划仿真到现实世界模型

UniSim瞄准机器人与具身智能缺少可直接用于真实部署的高保真交互仿真器这一瓶颈,核心洞察是把互联网图像、活动视频、导航与机器人数据中互补的物体、运动、语言和控制信息,统一到“动作输入、视频输出”的扩散式观测预测模型中,并可自回归滚动生成长时序交互。实验显示,用其纯仿真训练的高层视觉语言策略和低层强化学习策略可零样本迁移到真实机器人,同时还能增强视频字幕等任务。

HiP: Compositional Foundation Models for Hierarchical Planning Figure 1
NeurIPS 20232023

HiP: Compositional Foundation Models for Hierarchical Planning

Anurag Ajay, Seungwook Han, Yilun Du, Shuang Li, Abhi Gupta, Tommi Jaakkola, Josh Tenenbaum, Leslie Kaelbling, Akash Srivastava, Pulkit Agrawal

Improbable AI Lab, MIT-IBM Watson AI Lab, Massachusetts Institute Technology

扩散策略机器人学习规划层级策略

面向陌生环境中的长时程机器人任务,HiP认为单一端到端模型受限于跨语言-视觉-动作配对数据昂贵,转而组合独立训练的语言、视频扩散和逆动力学模型:LLM产出符号子目标,视频模型生成可视化轨迹,动作模型落地执行,并用迭代细化约束层级一致性。论文在三个桌面长时程操作环境中验证,在新状态与目标组合上显著优于当时基线,但视频与动作模型仍为较小规模仿真训练代理。

VLP: Video language planning Figure 1
ICLR 20242024

VLP: Video language planning

Yilun Du, Mengjiao Yang, Pete Florence, Fei Xia, Ayzaan Wahid, Brian Ichter, Pierre Sermanet, Tianhe Yu, Pieter Abbeel, Joshua B. Tenenbaum, Andy Zeng, Jonathan Tompson

扩散策略机器人学习规划语言目标图像目标

全文短总结尚未生成。

Dreamitate: Dreamitate: Real-World Visuomotor Policy Learning via Video Generation Figure 1
CoRL 20242024

Dreamitate: Dreamitate: Real-World Visuomotor Policy Learning via Video Generation

Junbang Liang, Ruoshi Liu, Ege Ozguroglu, Sruthi Sudhakar, Achal Dave, Pavel Tokmakov, Shuran Song, Carl Vondrick

Columbia University Toyota Research Institute Stanford University

扩散策略机器人学习规划语言目标图像目标

Dreamitate针对机器人操作策略难以在多样视觉场景中泛化、且行为克隆依赖机器人动作标注的问题,将互联网视频预训练的扩散视频模型用少量人类示范微调;其关键洞察是只生成“人用可跟踪工具完成任务”的视频,再通过双目3D跟踪工具轨迹转成机器人末端动作,从而绕开人手到机械臂的具身差异。真实四类任务中,相比Diffusion Policy等行为克隆基线表现出更强未见场景泛化,少样本下也较稳健。

ARDuP: ARDuP: Active Region Video Diffusion for Universal Policies Figure 1
arXiv preprint2024

ARDuP: ARDuP: Active Region Video Diffusion for Universal Policies

Shuaiyi Huang, Mara Levy, Zhenyu Jiang, Anima Anandkumar, Yuke Zhu, Linxi Fan, De-An Huang, Abhinav Shrivastava

Anima Anandkumar is with California Institute of Technology, Yuke Zhu, Linxi Fan, and De-An Huang are with NVIDIA Corporation

扩散策略机器人学习规划图像目标世界模型

ARDuP针对视频扩散规划把所有像素同等建模、易关注错误物体的问题,提出先从运动轨迹与SAM自动挖掘交互“活跃区域”,再以其条件化潜空间视频扩散并用潜表示解码动作。该设计让策略更聚焦任务相关物体;在CLIPort未见任务上较复现UniPi提升15.7–21.3个百分点,并在BridgeData v2生成较真实的真实场景视频计划。

This&That: This&That: Language-Gesture Controlled Video Generation for Robot Planning Figure 1
arXiv preprint2024

This&That: This&That: Language-Gesture Controlled Video Generation for Robot Planning

Boyang Wang, Nikhil Sridhar, Chao Feng, Mark Van der Merwe, Adam Fishman, Nima Fazeli, Jeong Joon Park

University of Michigan University of Washington

扩散策略机器人学习规划语言目标图像目标

该文针对语言指令在复杂场景中易冗长且指代不清的问题,提出用“语言+指点手势”控制视频扩散模型生成机器人任务视频计划,再由 DiVA 行为克隆策略将视频与在线观测融合为动作。其核心洞察是把生成视频作为可解释中间规划,降低目标歧义并辅助多任务控制;在 Bridge 视频和 IsaacGym 实验中,生成质量、意图对齐和模拟执行均优于语言-only及既有视频规划基线,但真实机器人验证仍未充分说明。

RoboDreamer: RoboDreamer: Learning Compositional World Models for Robot Imagination Figure 1
ICML 20242024

RoboDreamer: RoboDreamer: Learning Compositional World Models for Robot Imagination

Siyuan Zhou, Yilun Du, Jiaben Chen, Yandong Li, Dit-Yan Yeung, Chuang Gan

扩散策略机器人学习规划图像目标世界模型

RoboDreamer针对机器人文本到视频世界模型难以组合泛化的问题,将语言指令解析为动作、对象与空间关系等低层原语,并用组合式扩散模型分别条件化生成视频计划;该分解还可接入目标图像/草图等多模态目标以消除语言歧义。实验显示其在RT-X未见目标视频合成、仿真机器人执行和多模态对齐上优于单体视频生成基线,但真实场景泛化和多相机3D信息仍受限。

SOAR: Autonomous Improvement of Instruction Following Skills via Foundation Models Figure 1
CoRL 2024日期待提取

SOAR: Autonomous Improvement of Instruction Following Skills via Foundation Models

Zhiyuan Zhou, Pranav Atreya, Abraham Lee, Homer Walke, Oier Mees, Sergey Levine

UC Berkeley

扩散策略机器人学习规划语言目标数据采集

SOAR针对机器人指令跟随依赖昂贵遥操作数据、难以从无标注自主经验中稳定提升的问题,利用VLM自动提出可行语言任务并判定成功,将语义理解拆成语言条件图像子目标生成,将控制拆成图像目标条件策略学习,从而用互联网预训练处理语义、用自主轨迹学习物理交互。在真实桌面环境中,5台机械臂收集约3.05万条轨迹,使未见场景中的策略性能提升约2倍。

DMD: Diffusion Meets DAgger: Supercharging Eye-in-hand Imitation Learning Figure 1
arXiv preprint2024

DMD: Diffusion Meets DAgger: Supercharging Eye-in-hand Imitation Learning

Xiaoyu Zhang, Matthew Chang, Pranav Kumar, Saurabh Gupta

University of Illinois at Urbana-Champaign

扩散策略机器人学习数据采集灵巧操作模仿学习

针对眼在手模仿学习中行为克隆因误差累积进入未见状态而失效、DAgger 又需昂贵人工补数据的问题,DMD 用扩散模型合成轨迹扰动后的视觉观测并自动赋予纠偏动作标签,以“造数据”替代在线采集。在推、叠杯、倒豆和挂衣四个真实任务中,相比 BC 明显提升:8 条示范推物达 80% 成功率,叠杯约 92%,倒豆 80%,挂衣 90%。

Embodiment-agnostic Action Planning via Object-Part Scene Flow Figure 1
arXiv preprint日期待提取

Embodiment-agnostic Action Planning via Object-Part Scene Flow

Weiliang Tang, Jia-Hui Pan, Wei Zhan, Jianshu Zhou, Huaxiu Yao, Yun-Hui Liu, Masayoshi Tomizuka, Mingyu Ding, Chi-Wing Fu

扩散策略机器人学习数据采集操作规划

针对现有操作策略易绑定特定末端执行器、缺乏物体运动理解的问题,论文将动作规划转化为预测被操纵物体部件的3D scene flow,并由部件刚性变换反解不同具身的末端轨迹;框架包含部件定位、扩散式RGBD未来生成与轨迹规划。即使仅用无轨迹视频训练,在MetaWorld和Franka-Kitchen上分别较已有方法提升27.7%和26.2%,真实实验还显示可从人手示范迁移到多种机器人。

EDMP: Ensemble-of-costs-guided Diffusion for Motion Planning Figure 1
ICRA 20242024

EDMP: Ensemble-of-costs-guided Diffusion for Motion Planning

Kallol Saha, Vishal Mandadi, Jayaram Reddy, Ajit Srikanth, Aditya Agarwal, Bipasha Sen, Arun Singh, Madhava Krishna

start_FLOATSUPERSCRIPT 1 end_FLOATSUPERSCRIPT Robotic Research Center, IIIT Hyderabad, start_FLOATSUPERSCRIPT 2 end_FLOATSUPERSCRIPT Massachusetts Institute of Technology, start_FLOATSUPERSCRIPT 3 end_FLOATSUPERSCRIPT University of Tartu

扩散策略机器人学习约束运动规划规划

EDMP针对经典规划无需数据但成功率低、学习式规划依赖专用示范且泛化弱的问题,将扩散模型学到的运动学可行轨迹先验与推理时的场景代价引导结合,并用多种碰撞/约束代价及超参调度组成ensemble以提升不同场景下的引导鲁棒性。实验显示其成功率显著优于经典规划器,在特定数据集上接近SOTA学习方法,同时保持对新场景和分布外持物任务的泛化能力。

Spatial-Temporal Graph Diffusion Policy with Kinematic Modeling for Bimanual Robotic Manipulation Figure 1
CVPR 20252025

Spatial-Temporal Graph Diffusion Policy with Kinematic Modeling for Bimanual Robotic Manipulation

Qi Lv, Hao Li, Xiang Deng, Rui Shao, Yinchuan Li, Jianye Hao, Longxiang Gao, Michael Yu Wang, Liqiang Nie

Harbin Institute of Technology (Shenzhen), Greate Bay University, Huawei Noah’s Ark Lab, Shandong Computer Science Center

扩散策略机器人学习约束运动规划操作规划

针对双臂模仿学习中仅预测末端位姿、再用逆运动学执行所导致的碰撞、关节越界与不可行轨迹问题,KStar Diffuser 将机器人 URDF/关节运动构成动态时空图,作为扩散去噪条件,并用可微正运动学把关节空间监督转化为运动学一致的末端参考。实验显示其在仿真与真实双臂任务中提升成功率,较基线超过约 10%。

Learning score-based grasping primitive for human-assisting dexterous grasping Figure 1
NeurIPS 20232023

Learning score-based grasping primitive for human-assisting dexterous grasping

Tianhao Wu, Mingdong Wu, Jiyao Zhang, Yunchong Gan, Hao Dong

Center on Frontiers of Computing Studies, School of Computer Science, Peking University, Beijing Academy of Artificial Intelligence, National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University

扩散策略机器人学习灵巧操作操作

针对上肢缺失或危险场景中用户仅能提供腕部运动、机器人需理解抓取意图的问题,论文提出人类辅助灵巧抓取任务,并将策略拆成基于 score matching 的 GraspGF 抓取梯度场与利用历史轨迹调节时机/速度的残差策略。在4900余物体和多种真实腕部轨迹上优于基线,消融显示用户意图感知与残差缩放是主要增益来源,并展示了一定真实部署泛化。

DexDiffuser: Generating Dexterous Grasps with Diffusion Models Figure 1
arXiv preprint2024

DexDiffuser: Generating Dexterous Grasps with Diffusion Models

Zehang Weng, Haofei Lu, Danica Kragic, Jens Lundell

扩散策略机器人学习灵巧操作操作

面向未知物体在部分点云下的高维灵巧抓取搜索难题,DexDiffuser将16-DoF Allegro手的位姿与关节配置建模为条件扩散生成过程,并引入抓取成功率评估器及两种基于评估器的细化策略。其在DexGraspNet规模数据上训练,仿真与真实机器人均优于FFHNet,平均成功率分别提升9.12%和19.44%,但仍受采样时间和sim-to-real差距限制。

Dexterous Functional Pre-Grasp Manipulation with Diffusion Policy Figure 1
arXiv preprint2024

Dexterous Functional Pre-Grasp Manipulation with Diffusion Policy

Tianhao Wu, Yunchong Gan, Mingdong Wu, Jingbo Cheng, Yaodong Yang, Yixin Zhu, Hao Dong

扩散策略机器人学习灵巧操作操作

这篇论文针对现实中物体常需先被重定位、重定向才能进行功能性抓取的问题,研究灵巧手的功能性预抓取操作。核心做法是在教师-学生框架中引入 mutual reward,缓解多目标距离奖励导致的局部最优,并用 MoE 生成多样专家策略、再以扩散策略蒸馏复杂动作分布。方法在 30+ 类、1400+ 物体和 1 万+ 目标姿态上达到 72.6% 成功率,但不规则物体和 sim2real 仍是限制。

Autonomous Human-Robot Interaction via Operator Imitation Figure 1
arXiv preprint日期待提取

Autonomous Human-Robot Interaction via Operator Imitation

Sammy Christen, David Müller, Agon Serifi, Ruben Grandia, Georg Wiedebach, Michael A. Hopkins, Espen Knoop, Moritz Bächer

扩散策略机器人学习人机交互模仿学习

针对人机交互机器人依赖熟练遥操作员、难以自主生成有社交表现的行为,论文将问题转为模仿“操作员指令”而非重学底层控制:用相对人体姿态作条件,在统一 Transformer 中以扩散预测连续摇杆指令、分类预测离散按键。少于40分钟数据即可学会简单互动和多种情绪;20人真机研究中用户难区分自主与人工控制,并能识别情绪,且可零样本迁移到同接口平台。

UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers Figure 1
CoRL 20242024

UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers

Huy Ha, Yihuai Gao, Zipeng Fu, Jie Tan, Shuran Song

Stanford University, Columbia University, Google DeepMind

扩散策略机器人学习移动操作操作

面向移动操作中真实机器人采数昂贵且仿真任务建模困难的问题,UMI-on-Legs 将手持夹爪采集的任务示教与仿真训练的四足全身控制器解耦,用任务坐标系末端轨迹作为跨形体接口,并结合扩散策略与实时里程计实现户外部署。实验覆盖抓取放置、推重物和动态投掷,真实任务成功率均超过 70%,还展示了固定基座机械臂策略到四足平台的零样本迁移。

Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation Figure 1
arXiv preprint日期待提取

Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation

Jonathan Yang, Catherine Glossop, Arjun Bhorkar, Dhruv Shah, Quan Vuong, Chelsea Finn, Dorsa Sadigh, Sergey Levine

Stanford University, University of California, Berkeley, Google Deepmind

扩散策略机器人学习移动操作操作导航

论文关注通用机器人策略能否跨越“导航—操作”这种高度异构具身仍产生正迁移。其核心做法是把多种机器人统一为目标条件到达任务,并对动作坐标与尺度做近似对齐,在导航与操作数据上联合训练单一策略。结果显示,导航数据可使腕相机操作成功率较操作-only提高约20%,导航任务也提升5–7%,并能零样本控制移动操作臂和四旋翼;但部分增益可能主要来自更大规模与更多样数据。

RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors Figure 1
arXiv preprint日期待提取

RoPotter: Toward Robotic Pottery and Deformable Object Manipulation with Structural Priors

Uksang Yoo, Adam Hung, Jonathan Francis, Jean Oh, Jeffrey Ichnowski

Robotics Institute, Carnegie Mellon University, Pittsburgh, USA, University of Michigan, Ann Arbor, USA, Bosch Center for Artificial Intelligence, Pittsburgh, USA

扩散策略机器人学习柔性物体操作

面向陶艺这类长时程三维柔性物体操作,难点在于黏土形变复杂且常被遮挡。RoPotter利用陶轮任务的径向对称先验,将黏土状态降为二维截面,并用初始化网格结合力学约束恢复遮挡形状,再以扩散策略做行为克隆。实验显示该结构化表示提升碗成形质量,宽碗任务最终形状误差较3D基线降低44.4%。

Imitating Human Behaviour with Diffusion Models Figure 1
ICLR 20232023

Imitating Human Behaviour with Diffusion Models

Tim Pearce, Tabish Rashid, Anssi Kanervisto, Dave Bignell, Mingfei Sun, Raluca Georgescu, Sergio Valcarcel Macua, Shan Zheng Tan, Ida Momennejad, Katja Hofmann, Sam Devlin

Microsoft Research

扩散策略机器人学习未分类应用人机交互

本文针对行为克隆中 MSE、离散化或 K-Means 等建模假设难以表达人类行为的随机性、多模态性和动作维度相关性的问题,将扩散模型用作观测到动作的策略分布模型。核心洞察是直接学习联合动作空间的复杂分布,并为序列环境调整网络结构、分析 CFG 反而有害、提出更可靠的采样策略。实验显示,该方法在模拟机器人控制中优于既有强基线,并能较好拟合 CS:GO 等 3D 游戏中的人类演示行为。

Memory-Consistent Neural Networks for Imitation Learning Figure 1
ICLR 20242024

Memory-Consistent Neural Networks for Imitation Learning

Kaustubh Sridhar, Souradeep Dutta, Dinesh Jayaraman, James Weimer, Insup Lee

扩散策略机器人学习未分类应用模仿学习

这篇论文针对行为克隆在部署时偏离示范分布后容易产生复合误差的问题,提出记忆一致神经网络 MCNN:用代表性训练样本作为“记忆”锚点,并将策略输出硬约束在围绕记忆的可允许区域内,使模型在近邻处更稳定、远处仍保留深度网络表达力。作者给出次优性上界,并在10个模仿学习任务中结合 MLP、Transformer 与扩散策略均取得稳定提升,低数据场景收益尤其明显。

Differentiable Robot Rendering Figure 1
CoRL 20242024

Differentiable Robot Rendering

Ruoshi Liu, Alper Canberk, Shuran Song

Columbia University Stanford University

扩散策略机器人学习未分类应用语言目标

论文针对视觉基础模型难以直接输出机器人动作的模态鸿沟,提出 Dr. Robot:将高斯溅射、可微前向运动学、隐式线性蒙皮和姿态条件外观形变结合,使机器人图像对控制参数可微。实验显示其可从野外视频重建机器人姿态,显著优于既有方法,并能把 CLIP、视频生成等视觉模型的像素/语言信号转化为动作优化梯度。

Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning Figure 1
CoRL 20242024

Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning

Yixiao Wang, Yifei Zhang, Mingxiao Huo, Ran Tian, Xiang Zhang, Yichen Xie, Chenfeng Xu, Pengliang Ji, Wei Zhan, Mingyu Ding, Masayoshi Tomizuka

UC Berkeley Carnegie Mellon University UNC-Chapel Hill

扩散策略机器人学习未分类应用

面向机器人多任务与持续学习中单一大策略计算开销高、学习新任务易遗忘的问题,本文将 MoE 嵌入 Transformer 扩散策略,把专家视为可复用技能、路由器视为技能规划器,仅激活少量专家以支持稀疏推理和新增技能整合。仿真与真实实验显示,SDP 在多任务中仅约 1% 活跃参数增量即可提升表现,持续学习中减轻遗忘,并可通过训练小型路由器迁移到长时程任务。

Efficient Diffusion Transformer Policies with Mixture of Expert Denoisers for Multitask Learning Figure 1
arXiv preprint2024

Efficient Diffusion Transformer Policies with Mixture of Expert Denoisers for Multitask Learning

Moritz Reuss, Jyothish Pari, Pulkit Agrawal, Rudolf Lioutikov

Intuitive Robots Lab (IRL), Karlsruhe Institute of Technology, Germany, Department of Electrical Engineering and Computer Science (EECS), MIT, USA

扩散策略机器人学习未分类应用策略泛化

该文针对扩散策略在多任务模仿学习中随模型变大而训练、推理开销过高的问题,提出 MoDE:将 Transformer 去噪器改为稀疏专家混合,并按噪声水平路由与缓存专家,利用去噪阶段差异实现更高效专门化。在 CALVIN、LIBERO 共 134 个任务上取得 SOTA,平均较既有扩散策略提升约 57%,同时宣称推理 FLOPs 降低 90%、活跃参数减少约 40%。

Waypoint-Based Imitation Learning for Robotic Manipulation Figure 1
CoRL 20232023

Waypoint-Based Imitation Learning for Robotic Manipulation

Lucy Xiaoyang Shi, Archit Sharma, Tony Z. Zhao, Chelsea Finn

Department of Computer Science, Stanford University

扩散策略机器人学习未分类应用操作模仿学习

本文针对行为克隆在长时域机器人操作中易累积误差的问题,提出自动路标提取 AWE:利用示教轨迹中可由线性插值近似的片段,仅保留端点作为路标,并用动态规划在给定重建误差预算下选择最短路标序列,无需额外人工标注或环境状态假设。AWE可作为预处理接入扩散策略和ACT,在仿真任务中最高提升25%成功率,在真实双臂操作中提升4–28%,并将决策时域最多缩短约10倍。

RoLD: Robot Latent Diffusion for Multi-task Policy Modeling Figure 1
arXiv preprint日期待提取

RoLD: Robot Latent Diffusion for Multi-task Policy Modeling

Wenhui Tan, Bei Liu, Junbo Zhang, Ruihua Song, Jianlong Fu

Renmin University of China, Beijing, China Microsoft Research, Beijing, China, Tsinghua University, Beijing China

扩散策略机器人学习未分类应用

RoLD针对多任务机器人操作中跨数据集、跨本体动作表示难统一,以及端到端扩散或大视觉语言模型推理成本高的问题,将动作轨迹编码与策略生成解耦:先在Open-X-Embodiment等多本体数据上预训练任务无关自编码器,学习紧凑的潜在动作轨迹空间,再在该空间中用条件扩散生成后续动作。实验在两个基准八个任务上平均成功率较基线提升7%–29%,并报告推理速度超过基线两倍,消融显示潜在扩散与任务无关动作空间是主要增益来源。

Adaptive Online Replanning with Diffusion Models Figure 1
NeurIPS 20232023

Adaptive Online Replanning with Diffusion Models

Siyuan Zhou, Yilun Du, Shun Zhang, Mengdi Xu, Yikang Shen, Wei Xiao, Dit-Yan Yeung, Chuang Gan

Hong Kong University of Science and Technology, Massachusetts Institute of Technology, MIT-IBM Watson AI Lab, Carnegie Mellon University, UMass Amherst

扩散策略机器人学习未分类应用规划

论文针对扩散规划在随机、部分可观测或执行误差下需重规划,但逐步重采样又昂贵且易频繁改目标的问题,提出 RDM:用扩散模型对当前轨迹的估计似然判断何时重规划,并在可行时基于旧轨迹加噪去噪做局部修正,否则从头规划。实验显示其在 Maze2D 相比既有扩散规划提升约 38%,在随机 D4RL locomotion 与 RLBench 机器人任务上也取得更高回报或成功率。

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies Figure 1
arXiv preprint2024

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

Stanford University Simon Fraser University UPenn UIUC, CMU

扩散策略机器人学习运动控制操作三维感知

针对人形机器人操作技能常被限制在训练场景、跨场景数据采集昂贵的问题,论文构建了带升降推车和头部 3D LiDAR 的全尺寸人形平台,结合全上身遥操作采集类人数据,并将 DP3 改为适合自我中心点云和噪声示教的 iDP3。实机超过 2000 次评测显示,仅用单一场景数据和机载计算,机器人可在厨房、会议室、办公室等未见场景中零样本执行抓放、倒水、擦拭等任务。

Adaptive Online Replanning with Diffusion Models Figure 1
NeurIPS 20232023

Adaptive Online Replanning with Diffusion Models

Siyuan Zhou, Yilun Du, Shun Zhang, Mengdi Xu, Yikang Shen, Wei Xiao, Dit-Yan Yeung, Chuang Gan

Hong Kong University of Science and Technology, Massachusetts Institute of Technology, MIT-IBM Watson AI Lab, Carnegie Mellon University, UMass Amherst

扩散策略机器人学习扩散特性利用规划柔性物体

本文针对扩散规划在机器人执行中“何时重规划”的矛盾:不重规划会累积执行误差和环境随机性,每步重规划又昂贵且易打断目标一致性。RDM利用扩散模型对当前轨迹的估计似然判断计划是否失效,并根据失效程度在基于旧轨迹的轻量去噪修正与从头生成之间自适应切换。实验显示其在Maze2D较既有扩散规划提升约38%,并在随机D4RL locomotion与RLBench开关盒/冰箱任务中取得更高回报或成功率。

Diffusion reward: Learning rewards via conditional video diffusion Figure 1
ECCV 20242024

Diffusion reward: Learning rewards via conditional video diffusion

Tao Huang, Guangqi Jiang, Yanjie Ze, Huazhe Xu

Shanghai Qi Zhi Institute The Chinese University of Hong Kong Sichuan University Tsinghua University, IIIS Shanghai AI Laboratory, Shanghai Qi Zhi Institute The Chinese University of Hong Kong Sichuan University Tsinghua University, IIIS Shanghai AI Laboratory diffus

扩散策略机器人学习扩散特性利用图像目标强化学习

这篇论文针对视觉强化学习中手工密集奖励难设计、稀疏奖励采样效率低的问题,提出从无动作专家视频中预训练奖励。核心洞察是:以专家式历史轨迹为条件时,视频扩散模型的生成多样性更低,因此用负条件熵作为奖励,并结合新颖性与环境稀疏奖励引导探索。实验在 MetaWorld、Adroit 及真实机器人上优于基线,并显示一定零样本任务泛化能力。