arXiv preprint日期待提取
Zhi Hou, Tianyi Zhang, Yuwen Xiong, Hengjun Pu, Chengyang Zhao, Ronglei Tong, Yu Qiao, Jifeng Dai, Yuntao Chen
Shanghai AI Lab, College of Computer Science and Technology, Zhejiang University, MMLab, The Chinese University of Hong Kong Peking University SenseTime Research, Tsinghua University Center for Artificial Intelligence and Robotics, HKISI, CAS
扩散策略机器人学习扩散变换器
面向跨机器人数据中相机视角、动作空间和任务差异导致的小动作头泛化受限问题,本文将连续动作块作为扩散生成对象,用大规模多模态 Transformer 直接在图像 patch、语言和历史观测上下文中去噪,而非离散化动作或用浅层 MLP 头。实验显示其在 Maniskill2、Calvin、Libero、SimplerEnv 和真实 Franka 上整体优于 Octo、OpenVLA,Calvin ABC→D 单第三视角下平均连续完成 3.6/5 个任务,预训练带来约 1.2 的序列长度增益。