ReActor: Reinforcement Learning for Physics-Aware Motion Retargeting Figure 1
SIGGRAPH 20262026-05

ReActor: Reinforcement Learning for Physics-Aware Motion Retargeting

David Müller, Agon Serifi, Sammy Christen, Ruben Grandia, Espen Knoop, Moritz Bächer

Disney Research

人形机器人机器人学习全身控制强化学习模仿学习

针对人体运动重定向至机器人时常见的脚部滑动、自碰撞等物理不一致问题,该研究提出了一种双层优化框架:上层通过近似梯度优化重定向参数,下层利用强化学习训练跟踪策略。该方法仅需稀疏语义刚体对应,无需预设接触模式或手动调参,直接在物理仿真中生成合理的参考运动。实验表明,该框架可支持人形及四足等不同形态,并在仿真和硬件上验证了复杂动作的迁移效果。

Heracles: Bridging Precise Tracking and Generative Synthesis for General Humanoid Control Figure 1
arXiv preprint2026-03

Heracles: Bridging Precise Tracking and Generative Synthesis for General Humanoid Control

Zelin Tao, Zeran Su, Peiran Liu, Jingkai Sun, Wenqiang Que, Jiahao Ma, Jialin Yu, Jiahang Cao, Pihai Sun, Hao Liang, Gang Han, Wen Zhao, Zhiyuan Xu, Jian Tang, Qiang Zhang, Yijie Guo

人形机器人机器人学习全身控制运动生成

现有通用人形控制器多将运动控制视为刚性参考跟踪任务,在遭受严重外部扰动时易产生脆弱且非拟人的失效模式。本文提出Heracles,一种状态条件扩散中间件,置于高层运动指令与底层物理跟踪器之间。它依据机器人实时状态隐式切换行为:状态接近参考时近似恒等映射以保障跟踪精度,偏离较大时则无缝过渡为生成式合成器,输出自然的拟人恢复轨迹。硬件实验表明,该方法在极端分布外扰动下仍能涌现出类人的恢复行为与强鲁棒性。

SafeFlow: Real-Time Text-Driven Humanoid Whole-Body Control via Physics-Guided Rectified Flow and Selective Safety Gating Figure 1
arXiv preprint2026-03

SafeFlow: Real-Time Text-Driven Humanoid Whole-Body Control via Physics-Guided Rectified Flow and Selective Safety Gating

Hanbyel Cho, Sang-Hun Kim, Jeonguk Kang, Donghan Koo

Future Robot AI Group, Samsung Electronics

人形机器人机器人学习全身控制安全恢复

针对纯运动学文本驱动生成器在真实人形机器人上易产生物理幻觉、且在分布外(OOD)输入下轨迹不可行或不安全的问题,本文提出SafeFlow框架。其核心创新在于将VAE潜空间中的物理引导整流流匹配(通过Reflow加速实现实时采样)与三级安全门控相结合:利用文本嵌入空间的马氏距离检测语义OOD、借助方向敏感性差异过滤不稳定生成、并以硬运动学约束限制关节与速度,从而在选择性执行前主动拦截风险轨迹。在Unitree G1上的实验表明,该方案在成功率、物理合规性与推理速度上均优于扩散基线,同时保持了动作表现力。

Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation Figure 1
arXiv preprint2026-03

Ψ₀: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation

Songlin Wei, Hongyi Jing, Boqian Li, Zhenyu Zhao, Jiageng Mao, Zhenhao Ni, Sicheng He, Jie Liu, Xiawei Liu, Kaidi Kang, Sheng Zang, Weiduo Yuan, Marco Pavone, Di Huang, Yue Wang

人形机器人机器人学习全身控制

现有工作常将人类与人形机器人数据混合联合训练,但由于两者运动学与动态特性存在本质差异,这种方式数据效率低且性能不佳。Ψ₀提出分阶段解耦训练范式:先在大规模第一人称人类视频上预训练VLM以学习泛化视觉-动作表征,再基于高质量真实人形数据训练流式动作专家以掌握精确关节控制。研究表明,高质量人类视频预训练结合域内真实轨迹后训练,远优于盲目扩展异构数据。仅用800小时人类视频与30小时机器人数据,Ψ₀在多项长程操作任务上的成功率较使用十倍数据的基线提升超40%,并将全面开源。

SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning Figure 1
arXiv preprint2026-03

SteadyTray: Learning Object Balancing Tasks in Humanoid Tray Transport via Residual Reinforcement Learning

Anlun Huang, Zhenyu Wu, Soofiyan Atar, Yuheng Zhi, Michael Yip

UC San Diego {}^{ }{}^{\dagger}

人形机器人机器人学习全身控制强化学习

针对双足机器人动态行走时躯体振荡向末端传递、导致托盘上无固定物体难以稳定运输的问题,该研究提出ReST-RL残差强化学习框架。其核心洞察在于将运动与负载稳定解耦:冻结预训练的运动基策略,仅训练残差模块主动抵消步态扰动,并通过师生蒸馏实现可部署观测。在SteadyTray任务中,该方法在变速度跟踪与抗外部推力上显著优于端到端基线,并在Unitree G1上实现了零样本的可靠虚实迁移。

ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video Figure 1
arXiv preprint2026-03

ZeroWBC: Learning Natural Visuomotor Humanoid Control Directly from Human Egocentric Video

Haoran Yang, Jiacheng Bao, Yucheng Xin, Haoming Song, Yuyang Tian, Bin Zhao, Dong Wang, Xuelong Li

人形机器人机器人学习全身控制感知

现有方法依赖昂贵的真实机器人遥操作数据,且难以生成坐下、踢腿等自然全身动作。ZeroWBC提出从人类第一视角视频直接学习视觉-运动全身控制策略,无需大规模机器人遥操作数据。该方法先微调视觉-语言模型,依据文本指令和第一人称视觉预测未来全身运动,再通过重定向与通用运动跟踪策略在真实机器人上执行。在Unitree G1上的实验表明,该方法在运动自然性和多样性上优于基线,实现了可扩展的类人全身场景交互控制。

Embedding Classical Balance Control Principles in Reinforcement Learning for Humanoid Recovery Figure 1
arXiv preprint2026-03

Embedding Classical Balance Control Principles in Reinforcement Learning for Humanoid Recovery

Nehar Poddar, Stephen McCrory, Luigi Penco, Geoffrey Clark, Hakki Erhan Svil, Robert Griffin

Florida Institute for Human and Machine Cognition, Pensacola, FL, USA, University of West Florida, Pensacola, FL, USA

人形机器人机器人学习全身控制强化学习安全恢复

现有强化学习方法常将人形机器人摔倒恢复视为纯任务奖励问题,缺乏对平衡状态的显式表征,导致策略难以应对多样扰动。本文将捕获点、质心状态与质心动量等经典平衡度量嵌入非对称critic与奖励塑造中,使单一策略在无参考轨迹和预设接触的情况下,覆盖从踝/髋策略、迈步恢复到多接触起身的完整频谱。在Unitree H1-2上的实验表明该策略恢复率达93.4%,消融实验证实平衡结构是起身行为得以习得的关键,且策略可零样本迁移至实体硬件与MuJoCo环境。

ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation Figure 1
arXiv preprint2026-03

ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation

Xialin He, Sirui Xu, Xinyao Li, Runpei Dong, Liuyu Bian, Yu-Xiong Wang, Liang-Yan Gui

University of Illinois Urbana-Champaign

人形机器人机器人学习全身控制

现有人形全身操作移动方法多依赖预定义运动参考,且重定向数据物理不一致、规模受限。ULTRA提出物理驱动的神经重定向,将大规模动捕数据转化为接触丰富的物理可行轨迹;进而构建统一多模态控制器,通过策略蒸馏与隐空间压缩,令单一模型在具备参考信号时精准跟踪,在仅获得噪声自我中心视觉与稀疏目标时仍能闭环生成协调全身行为。仿真与真实Unitree G1实验表明,该系统在自主目标条件任务中持续优于仅跟踪参考的基线。

OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control Figure 1
arXiv preprint2026-02

OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control

Yunshen Wang, Shaohang Zhu, Peiyuan Zhi, Yuhan Li, Jiaxin Li, Yong-Lu Li, Yuchen Xiao, Xingxing Wang, Baoxiong Jia, Siyuan Huang

人形机器人机器人学习全身控制

当前人形机器人在扩展高动态运动库时普遍面临“泛化壁垒”:运动越多样,跟踪精度越崩塌,且难以在真实硬件上执行。本文提出 OmniXtreme,将通用运动技能学习与物理执行能力解耦:先用基于流匹配的大容量生成策略,通过行为克隆聚合多专家知识,避免多动作强化学习的梯度干扰;再引入执行器感知的残差强化学习,在真实转矩、速度与功率约束下精细微调。实验表明,该统一策略在仿真中保持高保真跟踪,并在 G1 真机上可靠完成了翻转、杂技与街舞等极限动作,打破了 fidelity–scalability 的固有权衡。

LessMimic: Long-Horizon Humanoid Interaction with Unified Distance Field Representations Figure 1
arXiv preprint2026-02

LessMimic: Long-Horizon Humanoid Interaction with Unified Distance Field Representations

Yutang Lin, Jieming Cui, Yixuan Li, Baoxiong Jia, Yixin Zhu, Siyuan Huang

人形机器人机器人学习全身控制模仿学习

现有方法依赖参考动作或任务专用奖励,使策略与物体几何强耦合且难以跨技能组合。LessMimic以距离场(DF)作为统一交互表征,利用表面距离、梯度及速度分解等局部几何线索,令单一策略摆脱参考动作依赖。框架通过VAE编码交互潜变量,并基于对抗交互先验(AIP)进行强化学习后训练,再经蒸馏实现无动作捕捉的视觉部署。实验表明,单一策略在0.4×到1.6×尺度变化下仍达80–100%成功率,并可在最长40个任务的序列中持续执行并隐式切换技能。

Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation Figure 1
arXiv preprint2026-02

Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation

Runpei Dong, Ziyan Li, Xialin He, Saurabh Gupta

University of Illinois Urbana-Champaign

人形机器人机器人学习全身控制视觉语言动作感知

现有基于真实模仿学习的人形操作难以泛化到新物体新场景,且全身控制末端误差过大。本文提出HERO框架,将大视觉模型的开放词汇泛化能力与仿真训练的精确末端跟踪策略结合。核心创新在于融合经典机器人学逆运动学与学习式神经前向模型,通过残差感知、目标调整与重规划将末端跟踪误差从8–13cm降至2.5cm。真实世界实验中,机器人在办公室、咖啡店等多样环境里对开放词汇物体进行全身抓取,平均成功率达83.8%,展现了无需大规模真机示教的模块化操作新范式。

VIGOR: Visual Goal-In-Context Inference for Unified Humanoid Fall Safety Figure 1
arXiv preprint2026-02

VIGOR: Visual Goal-In-Context Inference for Unified Humanoid Fall Safety

Osher Azulay, Zhengjie Xu, Andrew Scheffer, Stella X. Yu

University of Michigan, Ann Arbor

人形机器人机器人学习全身控制安全恢复感知

现有人形机器人跌倒安全研究常将问题割裂为防跌倒、冲击缓解与站立恢复,或依赖无视觉的端到端策略,难以应对复杂地形。本文提出VIGOR框架,核心洞察在于:人体跌倒恢复姿态具有强约束性,可通过姿态对齐从平地迁移至复杂地形;且快速全身反应需要将目标姿态与局部地形编码为统一的“情境内目标”隐变量,而非分离感知与控制。研究利用稀疏人类演示训练特权教师并蒸馏为仅依赖自中心深度与本体感知的策略,在仿真及真实Unitree G1上实现了复杂地形的零样本跌倒安全恢复。

Perceptive Humanoid Parkour: Chaining Dynamic Human Skills via Motion Matching Figure 1
arXiv preprint2026-02

Perceptive Humanoid Parkour: Chaining Dynamic Human Skills via Motion Matching

Zhen Wu, Xiaoyu Huang, Lujie Yang, Yuanhang Zhang, Xi Chen, Pieter Abbeel, Rocky Duan, Angjoo Kanazawa, Carmelo Sferrazza, Guanya Shi, C. Karen Liu

Amazon FAR, UC Berkeley, CMU, Stanford University, Amazon FAR team co-lead

人形机器人机器人学习全身控制感知

针对人形机器人在复杂地形中难以兼具高动态敏捷性与长程技能连贯性的挑战,本文提出PHP框架。其核心洞察在于:利用motion matching在特征空间中对重定向的人类原子动作进行最近邻检索与拼接,从而由稀疏动作库生成流畅且多样化的长程参考轨迹;随后训练运动跟踪RL专家,并通过DAgger与RL联合蒸馏为单一深度感知策略,使机器人仅凭机载深度相机即可自主决策跨步、攀爬、跳跃或翻滚。在Unitree G1上的零样本迁移实验表明,该框架成功实现了攀爬1.25米(达96%身高)障碍及长程多障碍闭环穿越。

MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction Figure 1
arXiv preprint2026-02

MeshMimic: Geometry-Aware Humanoid Motion Learning through 3D Scene Reconstruction

Qiang Zhang, Jiahao Ma, Peiran Liu, Shuai Shi, Zeran Su, Zifan Wang, Jingkai Sun, Wei Cui, Jialin Yu, Gang Han, Wen Zhao, Pihai Sun, Kangning Yin, Jiaxu Wang, Jiahang Cao, Lingfeng Zhang, Hao Cheng, Xiaoshuai Hao, Yiding Ji, Junwei Liang, Jian Tang, Renjing Xu, Yijie Guo

The Hong Kong University of Science and Technology (Guangzhou) The University of Hong Kong Tsinghua University, The Chinese University of Hong Kong Shanghai Jiao Tong University The Australian National University

人形机器人机器人学习全身控制模仿学习

针对传统动捕昂贵且缺乏环境几何信息导致运动与场景解耦的问题,本文提出MeshMimic框架,利用3D视觉基础模型从单目视频中联合重建人体轨迹与环境网格,引入运动学一致性优化提取物理可信的运动数据,并通过接触感知的MeshRetarget将人-环境交互特征迁移至人形机器人。实验表明,该方法仅凭消费级传感器即可在复杂不规则地形上实现高动态、鲁棒的全身运动,为无结构场景下的机器人学习提供了低成本可扩展路径。

Humanoid Hanoi: Investigating Shared Whole-Body Control for Skill-Based Box Rearrangement Figure 1
arXiv preprint2026-02

Humanoid Hanoi: Investigating Shared Whole-Body Control for Skill-Based Box Rearrangement

Minku Kim, Kuan-Chia Chen, Aayam Shrestha, Li Fuxin, Stefan Lee, Alan Fern

the Collaborative Robotics and Intelligent Systems Institute, Oregon State University, Corvallis, Oregon, 97331, USA

人形机器人机器人学习全身控制

针对人形机器人长程箱子重排中独立技能组合易因分布偏移和控制器切换导致失稳的问题,该研究提出让所有技能通过共享的、任务无关的全身控制器(WBC)执行,并采用基于闭环技能执行的域随机化数据聚合来扩展WBC的覆盖范围,避免为每个技能单独调整底层策略。实验在提出的Humanoid Hanoi基准上表明,该架构支持Digit V3机器人在仿真和硬件上完成长程自主重排,且共享WBC优于非共享基线;硬件成功率约40%,主要受限于感知鲁棒性与放置精度。

General Humanoid Whole-Body Control via Pretraining and Fast Adaptation Figure 1
arXiv preprint2026-02

General Humanoid Whole-Body Control via Pretraining and Fast Adaptation

Zepeng Wang, Jiangxing Wang, Shiqing Yao, Yu Zhang, Ziluo Ding, Ming Yang, Yuxuan Wang, Haobin Jiang, Chao Ma, Xiaochuan Shi, Zongqing Lu

Wuhan University, Peking University

人形机器人机器人学习全身控制

人形机器人全身控制面临真实场景运动参考分布偏移显著与高动态平衡难题,而单纯扩大模型受限于机载算力与推理延迟。本文提出FAST框架,其核心为Parseval引导的残差策略适应——在正交性与KL约束下学习轻量级增量策略,以快速适应分布外运动并抑制灾难性遗忘,同时引入质心感知控制增强物理鲁棒性。仿真与真机实验表明,该系统在零样本高动态跟踪、实时遥操作及低质量运动适应等场景中,鲁棒性、适应效率与泛化性均优于现有基线。

HAIC: Humanoid Agile Object Interaction Control via Dynamics-Aware World Model Figure 1
arXiv preprint2026-02

HAIC: Humanoid Agile Object Interaction Control via Dynamics-Aware World Model

Dongting Li, Xingyu Chen, Qianyang Wu, Bo Chen, Sikai Wu, Hanyu Wu, Guoyao Zhang, Liang Li, Mingliang Zhou, Diyun Xiang, Jianzhu Ma, Qiang Zhang, Renjing Xu

人形机器人机器人学习全身控制世界模型

现有人形机器人交互研究多聚焦全驱动物体,难以应对滑板、手推车等具有独立动力学且常遮挡视觉的欠驱动对象。HAIC仅依赖本体感觉历史推断物体速度与加速度等高阶状态,并将其显式投影至静态几何先验,从而在视觉盲区内构建空间化的动态占据表征;配合世界模型对学生策略探索的非对称在线适应,有效弥合仿真到现实的分布偏移。在Unitree G1上的实验表明,该方法首次在无外部感知条件下实现了动态滑板、不同负载推车及盲视多地形搬运等敏捷交互任务。

EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration Figure 1
arXiv preprint2026-02

EgoHumanoid: Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration

Modi Shi, Shijia Peng, Jin Chen, Haoran Jiang, Yinghui Li, Di Huang, Ping Luo, Hongyang Li, Li Chen

人形机器人机器人学习全身控制模仿学习感知

针对人形机器人野外全身操作数据稀缺、遥操作成本高昂且难以外出采集的瓶颈,本文提出利用便携式设备大规模采集人类第一人称演示,与少量机器人数据联合训练视觉-语言-动作策略。核心创新在于系统性的“人-机对齐”流水线:通过深度重投影与修复实现视角对齐,并将人体运动映射到统一的、运动学可行的动作空间以完成动作对齐。在Unitree G1上的真实实验表明,引入无机器人第一人称数据使策略在未见环境中较纯机器人基线提升51%,验证了跨本体迁移在全身操作中的可行性与扩展潜力。

MOSAIC: Bridging the Sim-to-Real Gap in Generalist Humanoid Motion Tracking and Teleoperation with Rapid Residual Adaptation Figure 1
arXiv preprint2026-02

MOSAIC: Bridging the Sim-to-Real Gap in Generalist Humanoid Motion Tracking and Teleoperation with Rapid Residual Adaptation

Zhenguo Sun, Bo-Sheng Huang, Yibo Peng, Xukun Li, Jingyu Ma, Yu Sun, Zhe Li, Haojun Jiang, Biao Gao, Zhenshan Bing, Xinlong Wang, Alois Knoll

人形机器人机器人学习全身控制模仿学习仿真到现实

针对通用人形运动跟踪器在仿真中指标优异却在真实硬件长程遥操作中因接口与动力学误差而失稳的问题,本文提出MOSAIC全栈系统。其核心创新在于:首先通过强化学习在异构多源动作库上训练面向遥操作的通用跟踪器,并以自适应重采样和世界坐标系运动一致性奖励提升移动遥操作性能;随后提出快速残差适应机制,仅用约30分钟接口数据训练适应策略,再通过加性残差模块将其蒸馏至冻结的通用策略,在保持运动通用性的同时注入接口专用修正,优于直接微调或持续学习。实验通过系统消融、分布外测试及真实机器人长程遥操作验证,实现了分钟级稳定在线遥操作与鲁棒离线回放。

Learning Human-Like Badminton Skills for Humanoid Robots Figure 1
arXiv preprint2026-02

Learning Human-Like Badminton Skills for Humanoid Robots

Yeke Chen, Shihao Dong, Xiaoyu Ji, Jingkai Sun, Zeren Luo, Liu Zhao, Jiahui Zhang, Wanyue Li, Ji Ma, Bowen Xu, Yimin Han, Yudong Zhao, Peng Lu

人形机器人机器人学习全身控制

针对羽毛球运动要求人形机器人同时具备爆发性全身协调与精准击打的挑战,现有方法往往难以兼顾运动模仿与物理交互。本文提出"Imitation-to-Interaction"渐进式强化学习框架,通过四阶段训练——从人体数据构建运动先验、目标条件蒸馏得到紧凑状态表示、AMP稳定动力学、并在物理交互环境中通过流形扩展将稀疏示教泛化为密集击球流形——使机器人从"模仿者"进化为"击球手"。该工作在仿真中掌握挑球、吊球等多项技能,并首次实现人形机器人羽毛球技能的零样本sim-to-real迁移,在真实硬件上复现了类人的运动优雅性与击打精度。

TextOp: Real-time Interactive Text-Driven Humanoid Robot Motion Generation and Control Figure 1
arXiv preprint2026-02

TextOp: Real-time Interactive Text-Driven Humanoid Robot Motion Generation and Control

Weiji Xie, Jiakun Zheng, Jinrui Han, Jiyuan Shi, Weinan Zhang, Chenjia Bai, Xuelong Li

Institute of Artificial Intelligence (TeleAI), China Telecom Shanghai Jiao Tong University, East China University of Science and Technology

人形机器人机器人学习全身控制运动生成

现有预定义轨迹或遥操作驱动的人形控制器难以在运行时灵活调整意图,而既有文本驱动方法多一次性生成完整轨迹,不支持执行中修改指令。本文提出 TextOp,以高层自回归运动扩散模型持续生成短视界运动学轨迹、底层全身跟踪策略实时执行的双层架构,实现对流式语言指令的即时响应与在线修正。研究针对机器人结构设计骨架运动表示,并通过生成数据增强跟踪策略训练以缩小分布差距。真实机器人实验表明,系统可在单次连续运动中平滑完成舞蹈、跳跃等复杂行为的切换,响应迅速且控制精确。

DynaRetarget: Dynamically-Feasible Retargeting using Sampling-Based Trajectory Optimization Figure 1
arXiv preprint2026-02

DynaRetarget: Dynamically-Feasible Retargeting using Sampling-Based Trajectory Optimization

Victor Dhedin, Ilyass Taouil, Shafeef Omar, Dian Yu, Kun Tao, Angela Dai, Majid Khadiv

Munich Institute of Robotics and Machine Intelligence (MIRMI) , Technical University of Munich (TUM) , Germany, Technical University of Munich

人形机器人机器人学习全身控制模仿学习规划

现有人形机器人动作重定向多依赖运动学优化或短视的模型预测控制,易产生动态不可行或长程失败的问题。本文提出基于采样的轨迹优化方法SBTO,通过逐步扩展优化时域,将不完美的运动学重定向轨迹一次性优化为考虑全长程的动态可行全身运动,再用于训练跟踪策略。实验表明,该方法在数百个人形物体交互演示上的重定向成功率显著优于现有方法,并能泛化到不同质量、尺寸与几何的物体,为构建大规模人形操作合成数据集提供了可能。

Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations Figure 1
arXiv preprint2026-02

Humanoid Manipulation Interface: Humanoid Whole-Body Manipulation from Robot-Free Demonstrations

Ruiqian Nai, Boyuan Zheng, Junming Zhao, Haodong Zhu, Sicong Dai, Zunhao Chen, Yihang Hu, Yingdong Hu, Tong Zhang, Chuan Wen, Yang Gao

Tsinghua University, Shanghai Qi Zhi Institute, Shanghai Jiao Tong University

人形机器人机器人学习全身控制模仿学习

现有遥操作与强化学习方案受人形硬件与奖励工程限制,数据采集低效且难以泛化。HuMI以手持夹爪与无基站可穿戴追踪器实现背包级无机器人全身动作采集,并引入在线IK预览与骨盆-手脚关键帧记录,保证运动学可行;结合扩散策略高层规划与面向操作精度的全身低层控制器,弥合人与机器人的形态差异。在跪地取物、双手操作等五项任务中,采集效率较遥操作提升3倍,未见环境与物体上成功率达70%。

HiWET: Hierarchical World-Frame End-Effector Tracking for Long-Horizon Humanoid Loco-Manipulation Figure 1
arXiv preprint2026-02

HiWET: Hierarchical World-Frame End-Effector Tracking for Long-Horizon Humanoid Loco-Manipulation

Zhanxiang Cao, Liyun Yan, Yang Zhang, Sirui Chen, Jianming Ma, Tianyue Zhan, Shengcheng Fu, Yufei Jia, Cewu Lu, Yue Gao

人形机器人机器人学习全身控制

现有体坐标系方法难以抑制人形机器人腿部运动累积的世界坐标系漂移,导致长时程末端执行器精度下降。HiWET将全身操作重新建模为世界坐标系末端跟踪,通过分层强化学习解耦全局空间推理与动态执行:高层策略联合优化末端精度与基座可达性子目标,低层策略负责高频率全身跟踪;并引入运动学流形先验约束残差动作空间以抑制无效探索。仿真中实现12.4毫米世界坐标系跟踪误差,且低层策略可零样本迁移至实体平台。

Learning Soccer Skills for Humanoid Robots: A Progressive Perception-Action Framework Figure 1
arXiv preprint2026-02

Learning Soccer Skills for Humanoid Robots: A Progressive Perception-Action Framework

Jipeng Kong, Xinzhe Liu, Yuhang Lin, Jinrui Han, Sören Schwertfeger, Chenjia Bai, Xuelong Li

人形机器人机器人学习全身控制感知

针对人形机器人踢足球中模块化方法不稳定、端到端训练目标冲突的问题,本文提出渐进式感知-动作集成决策框架PAiD,将技能学习解耦为运动技能获取、轻量感知-动作集成和物理感知sim-to-real迁移三个阶段,先建立稳定基础动作再引入感知以避免奖励冲突。在Unitree G1上的实验表明,该方法实现了高保真类人踢球,对多种球位、滚动球及室内外干扰均保持鲁棒,成功率达91.3%。

PDF-HR: Pose Distance Fields for Humanoid Robots Figure 1
arXiv preprint2026-02

PDF-HR: Pose Distance Fields for Humanoid Robots

Yi Gu, Yukang Gao, Yangchen Zhou, Xingyu Chen, Yixiao Feng, Mingle Zhao, Yunyang Mo, Zhaorui Wang, Lixin Xu, Renjing Xu

人形机器人机器人学习全身控制

针对人形机器人高质量运动数据稀缺、难以直接迁移人类姿态先验的问题,本文提出PDF-HR,通过一个轻量MLP学习连续可微的姿态距离场,将任意机器人姿态映射为与重定向姿态库的距离,从而提供平滑的姿态合理性度量。该先验可作为奖励塑形项或正则化器即插即用于多种管线,在单轨迹跟踪、通用运动跟踪、风格模仿及运动重定向任务中均显著加速收敛并提升鲁棒性,真实世界部署验证亦优于基线方法。

HUSKY: Humanoid Skateboarding System via Physics-Aware Whole-Body Control Figure 1
arXiv preprint2026-02

HUSKY: Humanoid Skateboarding System via Physics-Aware Whole-Body Control

Jinrui Han, Dewei Wang, Chenyun Zhang, Xinzhe Liu, Ping Luo, Chenjia Bai, Xuelong Li

人形机器人机器人学习全身控制

针对现有人形全身控制多假设环境静态的局限,本文研究机器人在欠驱动滑板上实现动态平衡与机动的难题。通过建立板面倾斜与转向架角度的物理耦合模型,作者将滑板任务刻画为含离散接触相位的混合动态系统,并提出融合AMP类人推板、物理感知倾斜转向及轨迹引导过渡的强化学习框架HUSKY。在Unitree G1上的仿真与真实实验表明,该系统实现了连续稳定且类人的滑板推进与转向,且滑板机械参数的精确辨识对sim-to-real迁移至关重要。

Embodiment-Aware Generalist Specialist Distillation for Unified Humanoid Whole-Body Control Figure 1
arXiv preprint2026-02

Embodiment-Aware Generalist Specialist Distillation for Unified Humanoid Whole-Body Control

Quanquan Peng, Yunfeng Lin, Yufei Xue, Jiangmiao Pang, Weinan Zhang

Shanghai Jiao Tong University, Shanghai AI Lab

人形机器人机器人学习全身控制

现有强化学习训练的人形全身控制器通常绑定单一机器人平台,且多限于低维速度指令,难以完成蹲伏、倾身等复杂动作。本文提出EAGLE框架,通过迭代式通用-专用策略蒸馏循环,在无需逐机调整奖励函数的情况下,将异构人形机器人的专属技能持续融合为单一统一策略,并引入包含基座高度与躯干姿态的高维命令接口以扩展行为空间。该策略在五种机器人仿真及四种真实机型上均实现了优异的指令跟踪精度与鲁棒性。

HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos Figure 1
arXiv preprint2026-02

HumanX: Toward Agile and Generalizable Humanoid Interaction Skills from Human Videos

Yinhuai Wang, Qihan Zhao, Yuen Fui Lau, Runyi Yu, Hok Wai Tsui, Qifeng Chen, Jingbo Wang, Jiangmiao Pang, Ping Tan

人形机器人机器人学习全身控制模仿学习

现有方法受限于交互数据稀缺与繁琐的任务特定奖励工程,难以赋予人形机器人敏捷的交互能力。HumanX的核心洞察是“物理合理远比视觉重建关键”,其XGen管线基于物理先验从单目视频合成多样且一致的交互轨迹,并支持高效数据增强;XMimic则通过统一模仿奖励与两阶段教师-学生训练,习得远超原示范的泛化技能。在Unitree G1上,仅单视频演示即实现后仰跳投、连续人机传球等10项技能零样本迁移,泛化成功率较之前提升8倍以上,为从人类视频学习真实交互技能提供了可扩展路径。

TTT-Parkour: Rapid Test-Time Training for Perceptive Robot Parkour Figure 1
arXiv preprint2026-02

TTT-Parkour: Rapid Test-Time Training for Perceptive Robot Parkour

Shaoting Zhu, Baijun Ye, Jiaxuan Wang, Jiakang Chen, Ziwen Zhuang, Linzhan Mou, Runhan Huang, Hang Zhao

Tsinghua University, Shanghai Qi Zhi Institute, Princeton University

人形机器人机器人学习全身控制感知

针对通用运动策略难以应对极具挑战的未知地形这一瓶颈,该工作提出TTT-Parkour框架,通过real-to-sim-to-real流程实现快速测试时训练。其核心贡献是一套基于RGB-D的前馈高保真几何重建管线,可自动恢复尺度并对齐帧,在10分钟内完成从环境采集到仿真策略微调的闭环。实验表明,人形机器人能够稳健穿越楔子、桩、窄梁等复杂障碍,且经测试时训练的策略具备直接的零样本sim-to-real迁移能力。

ZEST: Zero-shot Embodied Skill Transfer for Athletic Robot Control Figure 1
arXiv preprint2026-02

ZEST: Zero-shot Embodied Skill Transfer for Athletic Robot Control

Jean Pierre Sleiman, He Li, Alphonsus Adu-Bredu, Robin Deits, Arun Kumar, Kevin Bergamin, Mohak Bhardwaj, Scott Biddlestone, Nicola Burger, Matthew A. Estrada, Francesco Iacobelli, Twan Koolen, Alexander Lambert, Erica Lin, M. Eva Mungai, Zach Nobles, Shane Rozen-Levy, Yuyao Shi, Jiashun Wang, Jakob Welner, Fangzhou Yu, Mike Zhang, Alfred Rizzi, Jessica Hodgins, Sylvain Bertrand, Yeuhi Abe, Scott Kuindersma, Farbod Farshidian

人形机器人机器人学习全身控制仿真到现实

针对人形机器人实现类人敏捷全身控制需大量逐技能工程与脆弱调参的难题,本文提出ZEST框架,通过强化学习从动作捕捉、单目视频及动画等异构数据中学习运动策略,无需接触标签、状态估计或精细奖励塑造即可零样本部署到硬件。其训练管道结合自适应采样与基于模型辅助力矩的自动课程,并针对闭链执行器提出了关节增益选取与建模方法。该框架仅在仿真中训练,便成功将动态多接触技能迁移到Atlas与G1人形机器人,并将杂技动作迁移到Spot四足机器人,实现了跨数据源与跨本体形态的零样本部署。

Robust and Generalized Humanoid Motion Tracking Figure 1
arXiv preprint2026-01

Robust and Generalized Humanoid Motion Tracking

Jiayin Xie, Changtai Lv, Qiang Luo, Chi Zhang, Yunpeng Yin, Boyang Xing, Xuemei Ren, Dongdong Zheng

Beijing Institute of Technology, Beijing, China

人形机器人机器人学习全身控制模仿学习

现有全身控制方法在跟踪含噪声参考运动时易因闭环放大局部缺陷而失稳,且常需海量数据或缺乏跌倒恢复。本文提出一种动力学条件的命令聚合框架:通过因果时序编码器提取近期本体感知动力学表征,再以多头交叉注意力选择性聚合参考指令上下文,从而抑制噪声与伪影;同时将跌倒恢复纳入统一训练课程,借助随机不稳定初始化和退火辅助力提升鲁棒性。仅用约3.5小时高质量运动数据端到端训练,该策略在仿真中对多样化参考输入实现高精度跟踪与零样本泛化,并成功部署于Unitree G1实体机器人,展现出强sim-to-real迁移能力与抗干扰性。

RoboStriker: Hierarchical Decision-Making for Autonomous Humanoid Boxing Figure 1
arXiv preprint2026-01

RoboStriker: Hierarchical Decision-Making for Autonomous Humanoid Boxing

Kangning Yin, Zhe Cao, Wentao Dong, Weishuai Zeng, Tianyi Zhang, Qiang Zhang, Jingbo Wang, Jiangmiao Pang, Ming Zhou, Weinan Zhang

人形机器人机器人学习全身控制

针对人形机器人在拳击等高动态接触任务中物理可行性与策略进化稳定性的内在矛盾,本文提出RoboStriker三层级框架,将高层战略与底层执行解耦。研究首先基于动作捕捉训练运动跟踪器构建物理可行的技能库,进而将其蒸馏至经超球面正则化的结构化潜在流形,形成物理安全的策略空间;随后在该潜在空间中引入神经虚拟自博弈(LS-NFSP),使智能体无需在原始电机空间探索即可习得对抗战术,显著稳定训练。实验表明,该框架在仿真中展现优异竞技性能,并成功实现零样本sim-to-real迁移。

PILOT: A Perceptive Integrated Low-level Controller for Loco-manipulation over Unstructured Scenes Figure 1
arXiv preprint2026-01

PILOT: A Perceptive Integrated Low-level Controller for Loco-manipulation over Unstructured Scenes

Xinru Cui, Linxi Feng, Yixuan Zhou, Haoqi Han, Zhe Liu, Hesheng Wang

Yixuan Zhou is with Global College, Shanghai Jiao Tong University, Shanghai, 200240, China

人形机器人机器人学习全身控制感知

现有全身控制器多缺乏外感受环境感知,难以在楼梯、崎岖地面等非结构化场景中同时保障移动稳定性与全身操作精度。为此,本文提出单阶段强化学习框架PILOT,通过跨模态上下文编码器融合本体预测与注意力感知表征以提升地形感知与精确足部落点,并采用MoE架构协调异构运动技能。仿真与Unitree G1真机实验表明,该方法在复杂三维地形的长时移动操作任务中具有优于基线的稳定性、指令跟踪精度与地形通过性。

Collision-Free Humanoid Traversal in Cluttered Indoor Scenes Figure 1
arXiv preprint2026-01

Collision-Free Humanoid Traversal in Cluttered Indoor Scenes

Han Xue, Sikai Liang, Zhikai Zhang, Zicheng Zeng, Yun Liu, Yunrui Lian, Jilong Wang, Qingtao Liu, Xuesong Shi, Li Yi

Tsinghua University, Tongji University, Shanghai Qi Zhi Institute, South China University of Technology, Peking University, Zhejiang University

人形机器人机器人学习全身控制安全恢复

针对人形机器人在杂乱室内环境中穿越时缺乏有效障碍物关系表示的问题,本文提出Humanoid Potential Field(HumanoidPF),将人形-障碍物空间关系编码为连续可微的无碰撞运动方向场,直接作为策略观察并提供密集的避障监督,显著降低了奖励设计的调参负担。该表示因其连续场特性还展现出极小的sim-to-real差距。结合真实3D场景裁剪与程序合成障碍的混合训练策略,所学策略成功部署到真实世界,并支持用户单击目标点的遥操作穿越。

FRoM-W1: Towards General Humanoid Whole-Body Control with Language Instructions Figure 1
arXiv preprint2026-01

FRoM-W1: Towards General Humanoid Whole-Body Control with Language Instructions

Peng Li, Zihan Zhuang, Yangfan Gao Yi Dong Sixian Li, Changhao Jiang, Shihan Dou, Zhiheng Xi, Enyu Zhou

Fudan University Shanghai Innovation Institute

人形机器人机器人学习全身控制

现有人形机器人动作多依赖硬编码或任务专属训练,难以遵循自然语言指令泛化。FRoM-W1借鉴大脑-小脑分工构建两阶段框架:H-GPT基于LLaMA-3.1与海量人体数据,利用思维链将抽象指令分解为时序化运动基元以生成全身动作;H-ACT通过动作重定向与仿真中强化学习预训练及微调,将动作稳定迁移至不同构型真实机器人。在Unitree H1与G1上的评估表明,该框架在HumanML3D-X基准上FID较基线改善2.5倍,强化学习微调使MPJPE提高15%并持续增强跟踪成功率。

Learning Whole-Body Human-Humanoid Interaction from Human-Human Demonstrations Figure 1
arXiv preprint2026-01

Learning Whole-Body Human-Humanoid Interaction from Human-Human Demonstrations

Wei-Jin Huang, Yue-Yi Zhang, Yi-Lin Wei, Zhi-Wei Xia, Juantao Tan, Yuan-Ming Li, Zhilin Zhao, Wei-Shi Zheng

School of Computer Science and Engineering, Sun Yat-sen University, China, Peng Cheng Laboratory, China, Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China, Guangdong Province Key Laboratory of Information Security Technology, China

人形机器人机器人学习全身控制模仿学习

针对人形机器人全身人机交互数据稀缺的瓶颈,本文提出从丰富的人-人交互数据中学习的完整流程。核心创新包括PAIR重定向框架,通过两阶段优化保留接触语义与物理一致性,解决形态差异导致的接触失效问题;以及D-STAR分层策略,将时间意图与空间选择解耦,超越简单轨迹模仿实现同步协作。该框架在仿真和Unitree G1真机上验证了拥抱、握手等复杂全身交互的有效性。

Hiking in the Wild: A Scalable Perceptive Parkour Framework for Humanoids Figure 1
arXiv preprint2026-01

Hiking in the Wild: A Scalable Perceptive Parkour Framework for Humanoids

Shaoting Zhu, Ziwen Zhuang, Mengjie Zhao, Kun-Ying Lee, Hang Zhao

IIIS, Tsinghua University, Shanghai Qi Zhi Institute, Department of Computer Science and Technology, Tsinghua University

人形机器人机器人学习全身控制感知

针对人形机器人在野外复杂地形稳健徒步的需求,现有方法受限于状态估计漂移与训练稳定性不足。本文提出可扩展的端到端感知框架,以单阶段强化学习将原始深度图与本体感知直接映射为关节动作,无需外部状态估计。关键创新是结合地形边缘检测与足部体积点的安全落脚机制,防止边缘滑倒;并通过平坦区域采样生成可行导航目标以抑制奖励作弊。实验表明,该策略使全尺寸人形机器人在野外以2.5 m/s速度稳健穿越楼梯、斜坡及间隙,实现了零样本Sim-to-Real迁移。

Deep Whole-body Parkour Figure 1
arXiv preprint2026-01

Deep Whole-body Parkour

Ziwen Zhuang, Shaoting Zhu, Mengjie Zhao, Hang Zhao

人形机器人机器人学习全身控制

现有方法或长于地形感知却仅限足式移动,或精于动作复现却无视环境几何。本文将外感受深度感知嵌入全身运动跟踪框架,使机器人能依据地形视觉信息在线调整参考动作,突破单一足式接触的局限。通过单一策略在多样化地形上训练,实现了撑杆跳、前滚翻等高动态多接触跑酷动作,显著扩展了人形机器人在非结构化环境中的通过能力。

Coordinated Humanoid Manipulation with Choice Policies Figure 1
arXiv preprint2025-12

Coordinated Humanoid Manipulation with Choice Policies

Haozhi Qi, Yen-Jen Wang, Toru Lin, Brent Yi, Yi Ma, Koushil Sreenath, Jitendra Malik

UC Berkeley

人形机器人机器人学习全身控制

人形机器人全身协调(头、手、腿)是复杂场景操作的关键瓶颈。本文设计了一套模块化遥操作接口,通过分解控制为手眼协调、抓取基元、臂部跟踪与移动等子模块,高效采集高质量演示数据;并据此提出 Choice Policy,在单次网络前向传播中生成多组候选动作并打分选择,兼顾推理速度与多模态行为建模。真实实验表明,该方法在洗碗机装载和白板擦拭等全身移动操作任务中显著优于扩散策略与标准行为克隆,并验证了手眼协调对长程任务成功的关键作用。

UniAct: Unified Motion Generation and Action Streaming for Humanoid Robots Figure 1
arXiv preprint2025-12

UniAct: Unified Motion Generation and Action Streaming for Humanoid Robots

Nan Jiang, Zimo He, Wanhe Yu, Lexi Pang, Yunhao Li, Hongjie Li, Jieming Cui, Yuhan Li, Yizhou Wang

Institute for AI, Peking University Beijing Institute for General Artificial Intelligence (BIGAI), School of Psychological and Cognitive Sciences, Peking University School of Computer Science, Peking University, Yuanpei College, Peking University School of Foreign Languages, Peking University School of EECS, Peking University, Beijing Key Laboratory of Behavior and Mental Health, Peking University, Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence, Research Center of Visual Technology

人形机器人机器人学习全身控制运动生成

现有多模态人形控制难以兼顾语言、音乐等异构指令的实时全身执行与鲁棒性。本文提出两阶段框架UniAct:以微调多模态大语言模型通过有限标量量化将多源输入统一映射至共享离散码本生成运动token,再经因果流式解码器实时输出跟踪指令,约束运动于物理可行流形。系统在真实场景中实现亚500毫秒响应,对不完美参考运动的零样本跟踪成功率提升19%,并展现出跨模态任务的强泛化能力。

EGM: Efficiently Learning General Motion Tracking Policy for High Dynamic Humanoid Whole-Body Control Figure 1
arXiv preprint2025-12

EGM: Efficiently Learning General Motion Tracking Policy for High Dynamic Humanoid Whole-Body Control

Chao Yang, Yingkai Sun, Peng Ye, Xin Chen, Chong Yu, Tao Chen

人形机器人机器人学习全身控制模仿学习

现有方法在人形机器人全身运动跟踪中存在数据利用低效与难以胜任高动态运动的瓶颈。本文提出EGM框架,其核心包括基于运动分组的跨运动课程自适应采样策略,以及复合解耦混合专家(CDMoE)架构——通过上下半身专家分组并解耦专用与通用特征以提升跟踪能力。研究强调数据质量与多样性对通用策略训练至关重要。结合三阶段课程训练,EGM仅用4.08小时数据即泛化至49.25小时测试运动,在常规与高动态任务中均优于基线方法。

Semantic Co-Speech Gesture Synthesis and Real-Time Control for Humanoid Robots Figure 1
arXiv preprint2025-12

Semantic Co-Speech Gesture Synthesis and Real-Time Control for Humanoid Robots

Gang Zhang

人形机器人机器人学习全身控制运动生成

针对人形机器人在自然交互中难以同步生成语义丰富且可实时执行的伴随手势这一问题,本文提出了一个端到端框架,将基于大语言模型的语义感知手势检索与Motion-GPT自回归生成相结合,并通过通用运动重定向弥合人体与Unitree G1的具身差距,再辅以基于模仿学习的MotionTracker控制策略实现动态平衡下的高保真运动跟踪。实验表明,该系统能够生成与语音语义和节奏高度匹配的手势,并在物理机器人上完成同步的实时部署与稳定执行。

CHIP: Adaptive Compliance for Humanoid Control through Hindsight Perturbation Figure 1
arXiv preprint2025-12

CHIP: Adaptive Compliance for Humanoid Control through Hindsight Perturbation

Sirui Chen, Zi-ang Cao, Zhengyi Luo, Fernando Castañeda, Chenran Li, Tingwu Wang, Ye Yuan, C. Karen Liu, Yuke Zhu

NVIDIA, Stanford University, UT Austin

人形机器人机器人学习全身控制

针对人形机器人擅长敏捷运动却难以完成擦抹、推车等力量型操作的问题,本文提出即插即用模块CHIP。其核心洞察是将参考运动事后重构为机器人对外部扰动的柔顺响应,从而在不修改参考轨迹本身的前提下,通过调整稀疏跟踪目标来注入自适应末端刚度,避免了传统方法所需的数据增强与奖励调参。实验表明,基于CHIP训练的运动跟踪控制器可在保持跑跳下蹲等敏捷性的同时,独立完成开门、搬运、擦抹等接触丰富的操作任务,并支持多机器人协作抓取与运输大型物体。

PvP: Data-Efficient Humanoid Robot Learning with Proprioceptive-Privileged Contrastive Representations Figure 1
arXiv preprint2025-12

PvP: Data-Efficient Humanoid Robot Learning with Proprioceptive-Privileged Contrastive Representations

Mingqi Yuan, Tao Yu, Haolin Song, Bo Li, Xin Jin, Hua Chen, Wenjun Zeng, HK PolyU, LimX Dynamics

人形机器人机器人学习全身控制

针对人形机器人全身控制中强化学习样本效率低下的问题,本文提出PvP框架,利用本体感受与特权状态之间的内在互补性进行对比表征学习,无需手工数据增强即可学得紧凑且任务相关的隐式表征,从而加速策略学习。此外,作者开发了统一模块化的SRL4Humanoid框架以系统评估各类状态表征学习方法。在LimX Oli机器人上的速度跟踪与运动模仿任务中,PvP在样本效率和最终性能上均显著优于现有基线。

Learning Agile Striker Skills for Humanoid Soccer Robots from Noisy Sensory Input Figure 1
arXiv preprint2025-12

Learning Agile Striker Skills for Humanoid Soccer Robots from Noisy Sensory Input

Zifan Xu, Myoungkyu Seo, Dongmyeong Lee, Hao Fu, Jiaheng Hu, Jiaxun Cui, Yuqian Jiang, Zhihan Wang, Anastasiia Brund, Joydeep Biswas, Peter Stone

Department of Computer Science, The University of Texas at Austin, Sony AI

人形机器人机器人学习全身控制

针对人形足球机器人在快速摆腿、单脚支撑平衡及嘈杂感知下的踢球难题,本文提出四阶段强化学习训练流程:先以特权信息训练教师策略掌握追球与定向踢球,再通过DAgger蒸馏至带噪声感知的学生策略,并引入速度相关噪声、延迟与丢帧建模,最后以在线约束RL(N-P3O)精细化动作并弥合仿真到现实的差距。在Booster T1真机与仿真中,该方法在多样球-门配置下实现了稳健的连续踢球与66.7%的平均进球成功率,消融实验亦验证了约束RL与噪声建模的必要性。

Discovering Self-Protective Falling Policy for Humanoid Robot via Deep Reinforcement Learning Figure 1
arXiv preprint2025-12

Discovering Self-Protective Falling Policy for Humanoid Robot via Deep Reinforcement Learning

Diyuan Shi, Shangke Lyu, Donglin Wang

Zhejiang University, Westlake University, Nanjing University

人形机器人机器人学习全身控制强化学习安全恢复

现有人形机器人受控摔倒研究多依赖简化动力学或人类先验,难以适配其刚性材质与多样化摔倒场景。本文利用深度强化学习与课程学习,在不引入人体软组织先验的前提下,激励机器人自主探索符合自身物理特性的保护策略。研究发现机器人会自发形成手臂支撑的“三角形”构型以显著降低冲击损伤。作者还在多种扰动与执行器失效场景下建立了全面的仿真基准,验证了策略性能,并成功将其部署到真实硬件平台。

Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer Figure 1
arXiv preprint2025-12

Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer

Haoru Xue, Tairan He, Zi Wang, Qingwei Ben, Wenli Xiao, Zhengyi Luo, Xingye Da, Fernando Castañeda, Guanya Shi, Shankar Sastry, Yuke Zhu

NVIDIA, UC Berkeley, CMU

人形机器人机器人学习全身控制

针对人形机器人仅凭RGB视觉完成移动操作(如开门)仍极具挑战的问题,该研究提出了一种可扩展的教师-学生-自举学习框架。核心创新在于通过分段重置探索策略稳定长程特权策略训练,并借助GRPO微调缓解视觉策略的部分可观测性;同时依托IsaacLab构建了大规模物理与视觉域随机化流水线。在纯仿真环境中训练的策略实现了到真实场景的零样本迁移,不仅能泛化到多种门型,且在相同全身控制框架下,任务成功率与效率均超越人类遥操作,完成时间最高缩短31.7%。

Commanding Humanoid by Free-form Language: A Large Language Action Model with Unified Motion Vocabulary Figure 1
arXiv preprint2025-11

Commanding Humanoid by Free-form Language: A Large Language Action Model with Unified Motion Vocabulary

Zhirui Liu, Kaiyang Ji, Ke Yang, Yahao Fan, Jingyi Yu, Ye Shi, Jingya Wang

ShanghaiTech University

人形机器人机器人学习全身控制视觉语言动作

针对人形机器人自由语言全身控制中配对数据稀缺与物理不稳定的问题,本文提出 Humanoid-LLA,通过联合量化人类与人形配对运动构建统一的跨本体离散运动词汇表,使同一 token 表征双方相同的运动原语,从而利用丰富的人类语料学习语言-运动对齐;并设计监督式运动思维链与物理反馈强化学习相结合的两阶段微调框架,将大语言模型的语义推理与物理可行性深度融合。仿真及真实跨本体实验表明,该方法能将自由形式自然语言直接转化为可执行全身运动,对新指令具有强泛化能力并保持高物理保真度。

Kinematics-Aware Multi-Policy Reinforcement Learning for Force-Capable Humanoid Loco-Manipulation Figure 1
arXiv preprint2025-11

Kinematics-Aware Multi-Policy Reinforcement Learning for Force-Capable Humanoid Loco-Manipulation

Kaiyan Xiao, Zihan Xu, Cheng Zhe, Chengju Liu, Qijun Chen

State Key Laboratory of Autonomous Intelligent Unmanned System(Tongji University), Shanghai, China

人形机器人机器人学习全身控制强化学习

针对现有移动操作研究偏重灵巧性而难以满足高负载工业场景主动施力需求的局限,本文提出了解耦三阶段强化学习框架:上肢策略隐式嵌入前向运动学先验以加速训练,下肢策略通过基于力的课程学习主动调控交互力,并引入delta-command策略补偿下肢运动对末端执行器垂直位置的扰动。仿真与真实实验在Unitree G1上验证了该方法可实现携载4kg物体行走及推拉总重112.8kg小车等高负载任务。

HAFO: A Force-Adaptive Control Framework for Humanoid Robots in Intense Interaction Environments Figure 1
Control Engineering Practice2025-11

HAFO: A Force-Adaptive Control Framework for Humanoid Robots in Intense Interaction Environments

Chenhui Dong, Haozhe Xu, Wenhao Feng, Zhipeng Wang, Yanmin Zhou, Yifei Zhao, Bin He

Frontiers Science Center for Intelligent Autonomous Systems, Tongji University, Shanghai, 201109, China, National Key Laboratory of Autonomous Intelligent Unmanned Systems, Shanghai, 201109, China, Tongji University, Shanghai Artificial Intelligence Laboratory, Shanghai, 200030, China, Beijing Academy of Artificial Intelligence, Shanghai Artificial Intelligence Laboratory

人形机器人机器人学习全身控制

现有人形机器人RL控制器在强外力交互环境中常因缺乏显式接触动力学建模而失稳。本文提出HAFO框架,以双智能体耦合训练解耦下肢鲁棒移动与上肢精确操作,引入约束残差动作空间提升训练稳定性;并用弹簧-阻尼系统显式建模外部张力扰动,结合课程学习让单一策略自主习得抗扰响应。实验表明,该策略在负重、推力扰动及绳索悬挂等剧烈交互场景下均能实现稳定的全身控制,且成功部署于Unitree G1与H1-2。

SENTINEL: A Fully End-to-End Language-Action Model for Humanoid Whole Body Control Figure 1
arXiv preprint2025-11

SENTINEL: A Fully End-to-End Language-Action Model for Humanoid Whole Body Control

Yuxuan Wang, Haobin Jiang, Shiqing Yao, Ziluo Ding, Zongqing Lu

Peking University

人形机器人机器人学习全身控制视觉语言动作

现有系统多将语言理解与物理执行解耦,导致语义与运动难以对齐。本文提出端到端语言-动作模型 SENTINEL,直接将语言指令和本体感觉映射为低级控制信号,无需中间运动表示;通过流匹配生成动作块,并以残差头强化学习细化以抑制漂移、实现 sim-to-real 迁移。实验表明,该方法在仿真与真实人形机器人上均能稳定执行复杂全身运动,并支持视觉等多模态扩展。

SafeFall: Learning Protective Control for Humanoid Robots Figure 1
arXiv preprint2025-11

SafeFall: Learning Protective Control for Humanoid Robots

Ziyu Meng, Tengyu Liu, Le Ma, Yingying Wu, Ran Song, Wei Zhang, Siyuan Huang

School of Control Science and Engineering, Shandong University, National Key Laboratory of General Artificial Intelligence, BIGAI, Department of Automation, Tsinghua University

人形机器人机器人学习全身控制安全恢复

针对全尺寸人形机器人在真实场景中易摔倒、导致昂贵硬件损毁的痛点,本文提出SafeFall保护控制框架。该系统通过轻量级GRU预测器实时监测状态,仅在判定跌倒不可避免时激活强化学习保护策略,与常规控制器无缝并存。其核心洞察在于设计了部件异质性感知的损伤奖励函数,既优先保护头部等脆弱区域,又约束关节内力矩以避免执行器机械过载与电气饱和。在Unitree G1上的实验表明,该方法将峰值接触力降低68.3%、关节力矩峰值降低78.4%,并基本消除对脆弱部件的碰撞,同时保持低于0.5毫秒的推理延迟与0.1%的误触发率。

Agility Meets Stability: Versatile Humanoid Control with Heterogeneous Data Figure 1
arXiv preprint2025-11

Agility Meets Stability: Versatile Humanoid Control with Heterogeneous Data

Yixuan Pan, Ruoyi Qiao, Li Chen, Kashyap Chitta, Liang Pan, Haoguang Mai, Qingwen Bu, Hao Zhao, Cunyuan Zheng, Ping Luo, Hongyang Li

人形机器人机器人学习全身控制

现有方法往往只能在动态敏捷与稳定平衡间二选一,难以兼顾。AMS框架通过融合人类动作捕捉数据与物理约束的合成平衡运动这两种异构数据,并设计混合奖励机制——在全局施加通用跟踪目标、仅对合成数据注入平衡先验——首次在单一策略中同时实现动态运动跟踪与极端平衡维持。该策略在Unitree G1真机上得到验证,不仅能完成舞蹈、跑步等敏捷动作,还能零样本执行叶问蹲等极限平衡姿态,并支持实时遥操作。

VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation Figure 1
arXiv preprint2025-11

VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation

Tairan He, Zi Wang, Haoru Xue, Qingwei Ben, Zhengyi Luo, Wenli Xiao, Ye Yuan, Xingye Da, Fernando Castañeda, Shankar Sastry, Changliu Liu, Guanya Shi, Yuke Zhu

NVIDIA CMU UC Berkeley CUHK

人形机器人机器人学习全身控制感知

针对人形机器人缺乏自主移动操作能力且真实数据采集成本过高的瓶颈,本文提出VIRAL框架,先利用特权RL教师策略在仿真中掌握长程移动操作技能,再通过大规模视觉蒸馏(最多64块GPU的瓦片渲染与DAgger+BC混合训练)将其迁移至纯RGB学生策略。作者发现计算规模是训练可靠性的关键,低算力下常告失败;同时结合广泛的视觉域随机化与硬件系统辨识实现零样本迁移。该策略在Unitree G1上无需任何真实世界微调即可完成长达54个周期的连续移动操作,泛化至不同空间与外观条件,性能接近专家遥操作水平。

HMC: Learning Heterogeneous Meta-Control for Contact-Rich Loco-Manipulation Figure 1
arXiv preprint2025-11

HMC: Learning Heterogeneous Meta-Control for Contact-Rich Loco-Manipulation

Lai Wei, Xuanbin Peng, Ri-Zhao Qiu, Tianshu Huang, Xuxin Cheng, Xiaolong Wang

UC San Diego

人形机器人机器人学习全身控制

现有模仿学习多依赖纯位置控制,在擦桌、开抽屉等接触丰富任务中易因忽略力交互而产生振荡或过大作用力。本文提出异构元控制框架HMC,通过HMC-Controller在力矩空间连续混合位置、阻抗与混合力位控制,避免硬切换的不稳定性;上层HMC-Policy采用MoE软路由进行异构学习,既能利用大规模位置数据预训练,又可融合少量力控演示微调。真实人形机器人实验表明,该方法在多种接触丰富任务中相较基线提升超50%。

Humanoid Whole-Body Badminton via Multi-Stage Reinforcement Learning Figure 1
arXiv preprint2025-11

Humanoid Whole-Body Badminton via Multi-Stage Reinforcement Learning

Chenhao Liu, Leyun Jiang, Yibo Wang, Kairan Yao, Jinchen Fu, Xiaoyu Ren

人形机器人机器人学习全身控制强化学习

针对人形机器人与高速动态物体交互的难题,该研究以羽毛球为测试平台,提出三阶段课程强化学习训练框架,使机器人从零自主学习脚步移动与击球动作的全身协同,无需任何专家示教或参考轨迹。研究还提出了一种不依赖显式轨迹预测的端到端无预测变体,简化了部署并增强了鲁棒性。在仿真中双机连续对打达21回合,真实硬件上机器人出球速度可达19.1米每秒,平均回球落点距离4米,且无预测版性能与基于扩展卡尔曼滤波器的策略基本持平。

Robot Crash Course: Learning Soft and Stylized Falling Figure 1
arXiv preprint2025-11

Robot Crash Course: Learning Soft and Stylized Falling

Pascal Strauch, David Müller, Sammy Christen, Agon Serifi, Ruben Grandia, Espen Knoop, Moritz Bächer

Disney Research, Zurich, Switzerland

人形机器人机器人学习全身控制安全恢复

现有双足机器人防摔策略无法完全避免跌倒,而无控摔倒往往冲击大且损伤关键部件。本文提出一种机器人无关的强化学习框架,通过设计兼顾冲击最小化、关键部位保护与用户指定结束姿势的奖励函数,并引入物理感知的初始与目标位姿采样策略,使策略能泛化到任意未见的摔倒条件与目标姿态。仿真与真实机器人实验表明,双足机器人可实现低冲击、姿态可控的软着陆摔倒。

Unveiling the Impact of Data and Model Scaling on High-Level Control for Humanoid Robots Figure 1
arXiv preprint2025-11

Unveiling the Impact of Data and Model Scaling on High-Level Control for Humanoid Robots

Yuxi Wei, Zirui Wang, Kangning Yin, Yue Hu, Jingbo Wang, Siheng Chen

Shanghai Jiao Tong University Shanghai AI Laboratory Zhejiang University of Michigan

人形机器人机器人学习全身控制

针对人形机器人高层控制中的数据瓶颈,该工作构建了自动化数据流程Humanoid-Union,将人类视频与动作数据转换过滤为超过260小时、带语义标注的高质量机器人动作数据,并在此上提出可扩展框架SCHUR。该框架通过引入前向运动学虚拟关键点优化动作表征,以FSQ替代VQ-VAE进行运动token化来避免码本崩溃,并基于LLaMA架构实现文本驱动的机器人动作自回归生成。实验表明,随数据与模型规模扩大,SCHUR在动作重建误差(MPJPE降低37%)和文本-动作对齐(FID提升25%)上均显著优于此前方法,且已在真实人形机器人上验证有效性。

No Figure
arXiv preprint2025-11

SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control

Zhengyi Luo, Ye Yuan, Tingwu Wang, Chenran Li, Fernando Castañeda, Sirui Chen, Zi-Ang Cao, Jiefeng Li, David Minor, Qingwei Ben, Jinhyung Park, David Sami, Zi Wang, Xingye Da, Runyu Ding, Cyrus Hogg, Lina Song, Edy Lim, Eugene Jeong, Tairan He, Haoru Xue, Wenli Xiao, Simon Yuen, Jan Kautz, Yan Chang, Umar Iqbal, Yuke Zhu

NVIDIA

人形机器人机器人学习全身控制模仿学习视觉语言动作

全文短总结尚未生成。

Unified Humanoid Fall-Safety Policy from a Few Demonstrations Figure 1
arXiv preprint2025-11

Unified Humanoid Fall-Safety Policy from a Few Demonstrations

Zhengjie Xu, Ye Li, Kwan-yee Lin, Stella X. Yu

University of Michigan

人形机器人机器人学习全身控制模仿学习安全恢复

针对现有人形机器人控制仅孤立处理防摔、倒地缓冲或起身恢复的问题,本文提出一个统一的安全策略,将三者整合为单一策略。该方法仅需少量人类示教,通过与强化学习融合,并借助自适应扩散记忆模型编码多模态安全反应,在运行时在线检索并组装全身动作。仿真与Unitree G1真机实验表明,该策略实现了稳健的sim-to-real迁移,在显著降低冲击力的同时,实现了多样扰动下的快速恢复。

Towards Adaptive Humanoid Control via Multi-Behavior Distillation and Reinforced Fine-Tuning Figure 1
arXiv preprint2025-11

Towards Adaptive Humanoid Control via Multi-Behavior Distillation and Reinforced Fine-Tuning

Yingnan Zhao, Xinmiao Wang, Dewei Wang, Xinzhe Liu, Dan Lu, Qilong Han, Peng Liu, Chenjia Bai

人形机器人机器人学习全身控制

针对现有人形机器人技能策略独立训练导致泛化性差、地形适应能力弱的问题,本文提出两阶段自适应控制框架AHC:首先结合对抗运动先验训练行为专属策略,并通过策略蒸馏得到基础多行为控制器;随后利用在线反馈进行强化微调,借助梯度投影缓解多任务梯度冲突以增强地形适应性。仿真与真实Unitree G1实验表明,该框架支持摔倒恢复与行走等多行为自适应切换,在斜坡、楼梯等挑战性地形上实现了鲁棒运动。

GentleHumanoid: Learning Upper-body Compliance for Contact-rich Human and Object Interaction Figure 1
arXiv preprint2025-11

GentleHumanoid: Learning Upper-body Compliance for Contact-rich Human and Object Interaction

Qingzhou Lu, Yao Feng, Baiyu Shi, Michael Piseno, Zhenan Bao, C. Karen Liu

Stanford University

人形机器人机器人学习全身控制

现有强化学习策略多追求刚性跟踪,将外力视为扰动抑制,而传统阻抗控制又局限于基座或末端执行器,难以支撑人形机器人上半身多连杆(肩、肘、腕)的柔顺人机交互。为此,GentleHumanoid 将阻抗控制融入全身运动跟踪策略,提出统一的弹簧模型,同时刻画抗阻接触与基于人体运动数据采样的引导接触,保证运动链上力的协调一致,并引入任务可调的安全力阈值。在仿真及 Unitree G1 实体上的实验表明,该方法在拥抱、坐立辅助和物体操作中均能在维持任务成功率的同时显著降低峰值接触力,实现更安全自然的物理交互。

BFM-Zero: A Promptable Behavioral Foundation Model for Humanoid Control Using Unsupervised Reinforcement Learning Figure 1
arXiv preprint2025-11

BFM-Zero: A Promptable Behavioral Foundation Model for Humanoid Control Using Unsupervised Reinforcement Learning

Yitang Li, Zhengyi Luo, Tonghe Zhang, Cunxi Dai, Anssi Kanervisto, Andrea Tirinzoni, Haoyang Weng, Kris Kitani, Mateusz Guzek, Ahmed Touati, Alessandro Lazaric, Matteo Pirotta, Guanya Shi

Carnegie Mellon University, Meta

人形机器人机器人学习全身控制强化学习

现有基于策略梯度和显式跟踪奖励的人形全身控制方法多为任务专用,难以零样本泛化到新任务或组合技能。本文提出BFM-Zero,基于无监督强化学习与Forward-Backward表示学习,将运动、目标与奖励嵌入统一潜空间,构建可提示的行为基础模型。为缩小仿真到现实的差距,研究引入了领域随机化、非对称历史依赖训练及辅助奖励设计,并在Unitree G1真实机器人上实现了零样本运动跟踪、目标到达与奖励推断,同时支持基于采样的少样本快速适应。

Learning Vision-Driven Reactive Soccer Skills for Humanoid Robots Figure 1
arXiv preprint2025-11

Learning Vision-Driven Reactive Soccer Skills for Humanoid Robots

Yushi Wang, Changsheng Luo, Penghui Chen, Jianran Liu, Weijian Sun, Tong Guo, Kechang Yang, Biao Hu, Yangang Zhang, Mingguo Zhao

1]Tsinghua University, 2]ByteDance Seed, 3]China Agricultural University

人形机器人机器人学习全身控制感知

针对现有人形足球系统因感知与控制解耦而导致的响应迟滞和行为不连贯问题,本文提出一种端到端的视觉驱动强化学习控制器。其核心创新在于将对抗运动先验拓展至真实动态环境的视觉感知领域,利用编码器-解码器架构配合虚拟感知系统,从噪声观测中恢复特权状态并实现感知-动作的紧密耦合。该策略经单次训练后即零样本部署于Booster T1机器人,在多种真实地形及动态对抗中展现出鲁棒的追踪与射门能力,并助力团队夺得RoboCup 2025成人组人形联赛与世界人形机器人运动会双冠军。

TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System Figure 1
arXiv preprint2025-11

TWIST2: Scalable, Portable, and Holistic Humanoid Data Collection System

Yanjie Ze, Siheng Zhao, Weizhuo Wang, Angjoo Kanazawa, Rocky Duan, Pieter Abbeel, Guanya Shi, Jiajun Wu, C. Karen Liu

Amazon FAR Stanford University USC UC Berkeley CMU

人形机器人机器人学习全身控制遥操作

现有全身体感人形遥操作依赖昂贵动捕且难以扩展,TWIST2提出一套便携、免动捕的全身数据采集与遥操作系统,利用PICO4U VR获取人体全身动作并配以低成本主动视觉颈部,实现全身人形映射与鲁棒运动跟踪。基于此,作者进一步提出分层视觉运动策略,使机器人仅凭第一人称视觉即可自主完成全身灵巧操作与动态踢球等任务,并在15分钟内以近100%成功率采集百条演示。

Thor: Towards Human-Level Whole-Body Reactions for Intense Contact-Rich Environments Figure 1
arXiv preprint2025-10

Thor: Towards Human-Level Whole-Body Reactions for Intense Contact-Rich Environments

Gangyang Li, Qing Shi, Youhao Hu, Jincheng Hu, Zhongyuan Wang, Xinlong Wang, Shaqi Luo

人形机器人机器人学习全身控制

针对人形机器人在高强度力接触环境中难以维持全身稳定并产生自适应反应的问题,本文提出Thor框架。其基于力分析设计了FAT2奖励函数,鼓励机器人力交互时通过类人的自适应躯干倾斜来增强发力,而非单纯提高电机扭矩;并引入上身、腰部、下肢解耦的强化学习架构,共享全局观测并协同更新以缓解高维控制难题。在Unitree G1上的实验表明,机器人峰值拉力后向达167.7 N、前向达145.5 N,较最优基线分别提升约68.9%与74.7%,并可完成单手开防火门、拉动130 N重载货架等任务。

Humanoid Goalkeeper: Learning from Position Conditioned Task-Motion Constraints Figure 1
arXiv preprint2025-10

Humanoid Goalkeeper: Learning from Position Conditioned Task-Motion Constraints

Junli Ren, Junfeng Long, Tao Huang, Huayi Wang, Zirui Wang, Feiyu Jia, Wentao Zhang, Jingbo Wang, Ping Luo, Jiangmiao Pang

人形机器人机器人学习全身控制

针对人形机器人守门任务中生成类人全身运动与覆盖大范围防守区域的双重挑战,该工作提出了基于球落点位置条件化的端到端强化学习框架,通过对抗式训练整合多个人体运动先验,在优化拦截性能的同时保证动作自然性。实验表明,该策略可直接部署于真实人形机器人,实现对高速来球的敏捷自主拦截,并能泛化至躲球与抓球等动态交互任务。

SoftMimic: Learning Compliant Whole-body Control from Examples Figure 1
arXiv preprint2025-10

SoftMimic: Learning Compliant Whole-body Control from Examples

Gabriel B. Margolis, Michelle Wang, Nolan Fey, Pulkit Agrawal

the Improbable AI Lab, Massachusetts Institute of Technology, USA

人形机器人机器人学习全身控制模仿学习

现有人形机器人强化学习模仿方法往往追求刚性跟踪参考动作,导致意外接触时产生危险的大回复力。SoftMimic通过逆运动学离线生成不同交互场景下的可行柔顺轨迹数据集,训练策略从本体感知推断外力并匹配预设的柔顺响应,而非盲目最小化跟踪误差,从而实现用户可指定刚度的全身顺应控制。该方法在仿真与真实Unitree G1上验证,能在保持无扰动时高跟踪精度的同时,安全处理碰撞并将单条动作片段泛化到不同任务变体。

From Language to Locomotion: Retargeting-free Humanoid Control via Motion Latent Guidance Figure 1
arXiv preprint2025-10

From Language to Locomotion: Retargeting-free Humanoid Control via Motion Latent Guidance

Zhe Li, Cheng Chi, Yangyang Wei, Boan Zhu, Yibo Peng, Tao Huang, Pengwei Wang, Zhongyuan Wang, Shanghang Zhang

University of Sydney, Harbin Institute of Technology, Hong Kong University of Science and Technology, Shanghai Jiao Tong University, Peking University

人形机器人机器人学习全身控制模仿学习

现有语言驱动人形机器人运动的方法多采用“文本→人体运动→重定向→跟踪”的多级流水线,存在误差累积、延迟高、语义与控制耦合弱等问题。RoboGhost摒弃了易错的重定向环节,提出将语言生成的运动潜变量直接作为扩散策略的条件,使策略从噪声中直接生成可执行动作,并采用混合因果Transformer–扩散架构保证长程时序一致性与运动多样性。实验表明,该方法将全流程延迟从17.85秒降至5.84秒,成功率提升5%且跟踪误差更低,可在真实人形机器人上实现实时、平滑且语义对齐的运动控制,并支持向图像、音频等模态扩展。

Towards Adaptable Humanoid Control via Adaptive Motion Tracking Figure 1
arXiv preprint2025-10

Towards Adaptable Humanoid Control via Adaptive Motion Tracking

Tao Huang, Huayi Wang, Junli Ren, Kangning Yin, Zirui Wang, Xiao Chen, Feiyu Jia, Wentao Zhang, Junfeng Long, Jingbo Wang, Jiangmiao Pang

人形机器人机器人学习全身控制模仿学习

现有运动先验方法虽能适应少量运动但牺牲模仿精度,而运动跟踪方法精度高却依赖大量训练数据与测试时参考运动。为此,AdaMimic提出仅需单个参考运动即可实现高精度自适应跟踪的两阶段框架:先将参考运动稀疏化为关键帧并轻量编辑构建增强数据,再通过跟踪策略生成密集中间运动;随后引入相位适配器与跟踪适配器联合调节运动速度与底层动作,实现灵活时间扭曲。该方法在仿真与Unitree G1实体机器人上跨多任务验证了精度与适应性的显著提升。

Learning Human-Humanoid Coordination for Collaborative Object Carrying Figure 1
arXiv preprint2025-10

Learning Human-Humanoid Coordination for Collaborative Object Carrying

Yushi Du, Yixuan Li, Yutang Lin, Pei Zhou, Wei Liang, Yanchao Yang, Siyuan Huang

State Key Laboratory of General Artificial Intelligence, BIGAI, School of Computer Science and Technology, Beijing Institute of Technology, Yuanpei College, Peking University

人形机器人机器人学习全身控制

针对人形机器人协作搬运因全身动力学复杂且缺乏直接力测量而难以柔顺配合的问题,本文提出仅依赖本体感知的强化学习方法COLA,利用关节状态与目标值的偏移隐式估计接触力,并以被搬运物体状态编码稳定性与协调约束,在单一策略内统一实现领导者与跟随者行为。通过教师-学生蒸馏与闭环动态交互训练,机器人无需外部传感器即可隐式预测物体运动及人类意图。仿真与真实实验表明,该方法在斜坡、转弯等多地形场景下可搬运箱子、担架等物体,降低人体用力24.7%,23人用户研究亦证实其协作柔顺性较基线提升27.4%。

Ego-Vision World Model for Humanoid Contact Planning Figure 1
arXiv preprint2025-10

Ego-Vision World Model for Humanoid Contact Planning

Hang Liu, Yuman Gao, Sangli Teng, Yufeng Chi, Yakun Sophia Shao, Zhongyu Li, Maani Ghaffari, Koushil Sreenath

University of California, Berkeley, University of Michigan, Ann Arbor, The Chinese University of Hong Kong

人形机器人机器人学习全身控制世界模型感知

针对非结构化环境中人形机器人主动利用接触的需求,现有优化方法与在线强化学习分别受困于接触复杂性及样本效率。该工作提出将可扩展的以自我为中心视觉世界模型与基于采样的模型预测控制相结合,利用无演示离线数据在潜空间预测未来动态,并通过学习的替代价值函数引导规划,缓解稀疏奖励与感知噪声。实验表明,单一模型即可实现扰动后撑墙、阻挡物体及钻越拱门等多任务接触行为,并在真实机器人上基于深度图与本体感知完成实时鲁棒规划。

DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation Figure 1
IEEE RA-L 20262025-10

DemoHLM: From One Demonstration to Generalizable Humanoid Loco-Manipulation

Yuhui Fu, Feiyang Xie, Chaoyi Xu, Jing Xiong, Haoqi Yuan, Zongqing Lu

Peking University

人形机器人机器人学习全身控制模仿学习

现有方法在实现人形机器人自主移动操作时,往往受困于任务特定的硬编码设计或高昂的真实世界数据采集成本。本文提出 DemoHLM,以分层架构耦合底层强化学习全身控制器与高层操作策略,仅需单次仿真演示即可通过对象中心动作回放自动生成大规模多样化训练轨迹,并在闭环视觉反馈下完成复杂全身协调操作。在 Unitree G1 真机上的实验表明,该方法无需真实世界微调即可在十个任务中实现 sim-to-real 迁移,且合成数据规模与泛化性能呈显著正相关。

PhysHSI: Towards a Real-World Generalizable and Natural Humanoid-Scene Interaction System Figure 1
arXiv preprint2025-10

PhysHSI: Towards a Real-World Generalizable and Natural Humanoid-Scene Interaction System

Huayi Wang, Wentao Zhang, Runyi Yu, Tao Huang, Junli Ren, Feiyu Jia, Zirui Wang, Xiaojie Niu, Xiao Chen, Jiahe Chen, Qifeng Chen, Jingbo Wang, Jiangmiao Pang

人形机器人机器人学习全身控制

PhysHSI针对现有人形机器人场景交互方法在真实感、泛化性与感知鲁棒性上的不足,提出了一套完整的真实世界部署系统。其核心在于:仿真阶段利用对抗运动先验(AMP)学习经人工标注增强的MoCap交互数据,使策略同时具备自然运动与跨场景泛化能力;部署阶段则通过融合LiDAR与相机的粗到精物体定位模块,在遮挡与视野受限条件下实现连续鲁棒的场景感知。在Unitree G1上的实验表明,该系统能完成搬箱、就坐、躺卧与起立等长程任务,并在仿真与真实环境中均保持高成功率与强目标泛化性。

It Takes Two: Learning Interactive Whole-Body Control Between Humanoid Robots Figure 1
arXiv preprint2025-10

It Takes Two: Learning Interactive Whole-Body Control Between Humanoid Robots

Zuhong Liu, Junhao Ge, Minhao Xiong, Jiahao Gu, Bowei Tang, Wei Jing, Siheng Chen

\affiliation \institution Shanghai Jiao Tong University, \city Shanghai, \country China \affiliation \institution Shanghai Jiao Tong University

人形机器人机器人学习全身控制

现有单智能体人形模仿方法存在“隔离问题”,无法处理多机交互中的耦合动力学与接触约束,导致机器人穿透和动作失真。本文提出首个双机交互全身模仿框架Harmanoid,通过接触感知重定向对齐人机接触点,并设计交互驱动的强化学习控制器施加协调关键点奖励与物理可行接触约束。实验表明,该框架在Inter-X数据集上将重定向成功率提升约25%,显著优于单智能体基线,实现了物理可信的双人形机器人全身交互控制。

ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning Figure 1
arXiv preprint2025-10

ResMimic: From General Motion Tracking to Humanoid Whole-body Loco-Manipulation via Residual Learning

Yue Wang, C. Karen Liu, Pieter Abbeel, Guanya Shi, Rocky Duan

Amazon FAR (Frontier AI & Robotics) USC Stanford University UC Berkeley CMU

人形机器人机器人学习全身控制模仿学习

人形通用动作跟踪虽能复现人体动作,却缺乏物体感知,难以完成全身移动操作。ResMimic提出两阶段残差学习:先以大规模人体动作预训练GMT作为鲁棒先验,再以轻量级残差策略引入物体轨迹修正输出,解耦通用运动与精细交互;并设计点云跟踪奖励、接触奖励与课程式虚拟控制器加速训练。实验表明,该方法在仿真迁移与真实Unitree G1上均显著优于从头训练及微调,成功率、效率与鲁棒性大幅提升,可完成负重搬运及不规则物体操作等复杂全身接触任务。

Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking Figure 1
arXiv preprint2025-10

Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking

João Pedro Araújo, Yanjie Ze, Pei Xu, Jiajun Wu, C. Karen Liu

Stanford University

人形机器人机器人学习全身控制模仿学习

现有将人体动作重定向到人形机器人的方法常引入足部滑动、自穿透等伪影,导致后续强化学习策略必须依赖大量奖励调参才能弥补。本文系统评估了在抑制过度奖励调参的情况下,重定向质量对策略性能的影响,并提出基于非均匀局部缩放与两阶段优化的GMR方法。实验表明,重定向伪影会显著降低动态或长序列动作的追踪鲁棒性,而GMR在追踪精度与动作保真度上均优于现有开源方法,接近高质量闭源基线。

SEEC: Stable End-Effector Control with Model-Enhanced Residual Learning for Humanoid Loco-Manipulation Figure 1
arXiv preprint2025-09

SEEC: Stable End-Effector Control with Model-Enhanced Residual Learning for Humanoid Loco-Manipulation

Jaehwi Jang, Zhuoheng Wang, Ziyi Zhou, Feiyang Wu, Ye Zhao

Stanford University, CA, Georgia Institute of Technology Tsinghua University

人形机器人机器人学习全身控制

针对人形机器人移动操作中下肢运动对上肢末端执行器的强烈扰动,现有模型方法受限于精确动力学建模,纯学习方法则易过拟合并难以泛化到新场景。本文提出SEEC框架,通过模型增强的残差学习将基于模型的解析补偿信号蒸馏至强化学习策略,并设计扰动生成机制使上肢策略在多样化的基座运动扰动中独立训练,从而无需重新训练即可适配未见的行走控制器。实验表明,该方法在仿真和Booster T1真机上均实现了更稳定精确的末端执行器控制,在多种复杂移动操作任务中优于基线。

VisualMimic: Visual Humanoid Loco-Manipulation via Motion Tracking and Generation Figure 1
arXiv preprint2025-10

VisualMimic: Visual Humanoid Loco-Manipulation via Motion Tracking and Generation

Shaofeng Yin, Yanjie Ze, Hong-Xing Yu, C. Karen Liu, Jiajun Wu

Stanford University

人形机器人机器人学习全身控制模仿学习感知

现有视觉人形机器人全身操作受限于外部动捕依赖或任务泛化不足,且高维动作空间使视觉强化学习难以收敛。本文提出VisualMimic,通过分层教师-学生蒸馏将第一人称视觉与全身控制解耦:先以人体运动数据训练任务无关的底层关键点跟踪器,再蒸馏出仅依赖视觉与本体感觉的高层策略生成关键点指令,并以噪声注入与动作裁剪稳定训练。该框架实现了从仿真到真实机器人的零样本迁移,使机器人完成举箱、推箱、足球盘带与踢球等复杂全身操作任务,并泛化至室外非结构化环境。

HDMI: Learning Interactive Humanoid Whole-Body Control from Human Videos Figure 1
arXiv preprint2025-09

HDMI: Learning Interactive Humanoid Whole-Body Control from Human Videos

Haoyang Weng, Yitang Li, Nikhil Sobanbabu, Zihan Wang, Zhengyi Luo, Tairan He, Deva Ramanan, Guanya Shi

the Robotics Institute, Carnegie Mellon University, USA

人形机器人机器人学习全身控制模仿学习

由于人形机器人全身交互数据稀缺且接触丰富,现有方法常受限于任务特定的奖励工程或高层规划。HDMI提出直接从单目RGB视频中学习交互技能,核心思路是通过端到端强化学习联合跟踪机器人与物体运动,避免繁琐的逐任务奖励设计。该方法采用统一物体表示、残差动作空间和通用交互奖励来稳定训练,并实现了从仿真到真实Unitree G1的零样本迁移,成功完成连续67次双向开门穿越及6项真实世界全身移动操作任务。

KungfuBot 2: Learning Versatile Motion Skills for Humanoid Whole-Body Control Figure 1
arXiv preprint2025-09

KungfuBot 2: Learning Versatile Motion Skills for Humanoid Whole-Body Control

Jinrui Han, Weiji Xie, Jiakun Zheng, Jiyuan Shi, Weinan Zhang, Ting Xiao, Chenjia Bai

Institute of Artificial Intelligence (TeleAI), China Telecom, Shanghai Jiao Tong University, East China University of Science and Technology

人形机器人机器人学习全身控制

针对人形机器人单一策略学习多样化全身动作时表达能力不足、且难以兼顾局部运动保真度与全局长时稳定性的难题,本文提出统一控制器VMS。其核心在于混合跟踪目标以平衡局部精度与全局一致性,并引入正交混合专家架构(OMoE)解耦不同技能表征以提升泛化,同时设计分段级跟踪奖励来缓解逐步匹配的刚性约束。仿真与真实实验表明,该方法在动态动作模仿、分钟级长序列稳定跟踪及未见动作泛化上均显著优于基线。

Implicit Kinodynamic Motion Retargeting for Human-to-humanoid Imitation Learning Figure 1
arXiv preprint2025-09

Implicit Kinodynamic Motion Retargeting for Human-to-humanoid Imitation Learning

Xingyu Chen, Hanyu Wu, Sikai Wu, Mingliang Zhou, Diyun Xiang, Haodong Zhang

Xiaomi Robotics Lab, ETH Zurich, Zhejiang University

人形机器人机器人学习全身控制模仿学习

针对现有人形机器人模仿学习中运动重定向逐帧处理、难以扩展的问题,本文提出隐式运动动力学重定向框架IKMR。该框架通过双编码器-解码器架构预训练人类与人形机器人间的统一运动拓扑特征映射,实现运动学层面的隐式域迁移;随后引入仿真中的模仿学习追踪器对解码器进行动力学感知微调,使输出轨迹满足物理可行性。经微调后,IKMR可实时完成大规模人体运动到机器人可执行运动的转换,并直接支持下游全身控制器的训练与部署。作者在Unitree G1真机及仿真环境中验证了该方法的有效性。

DreamControl: Human-Inspired Whole-Body Humanoid Control for Scene Interaction via Guided Diffusion Figure 1
arXiv preprint2025-09

DreamControl: Human-Inspired Whole-Body Humanoid Control for Scene Interaction via Guided Diffusion

Dvij Kalaria, Sudarshan Harithas, Pushkal Katara, Sangkyung Kwak, Sarthak Bhagat, S. Shankar Sastry, Srinath Sridhar, Sai Vemprala, Ashish Kapoor, Jonathan Huang

University of California, Berkeley, Brown University

人形机器人机器人学习全身控制运动生成

现有全身人形操控方法常将上下半身解耦或依赖大量遥操作数据,难以同时应对平衡维持与长程交互的多时间尺度挑战。本文提出DreamControl,先利用人类运动数据训练扩散先验并生成任务相关轨迹,再在仿真中引导RL策略跟踪重定向后的参考运动以完成交互任务。该方法不依赖遥操作数据,使RL能探索到直接训练难以获得的自然运动解,并在Unitree G1上实现了涉及全身协调与物体交互的多种任务部署。

Track Any Motions under Any Disturbances Figure 1
arXiv preprint2025-09

Track Any Motions under Any Disturbances

Zhikai Zhang, Jun Guo, Chao Chen, Jilong Wang, Chenghuai Lin, Yunrui Lian, Han Xue, Zhenrong Wang, Maoqi Liu, Jiangran Lyu, Huaping Liu, He Wang, Li Yi

Tsinghua University, Peking University, Shanghai Qi Zhi InstitutePaper

人形机器人机器人学习全身控制

针对现有人形运动跟踪难以同时兼顾通用性与动力学鲁棒性的问题,本文提出两阶段强化学习框架Any2Track,将动力学适应性解耦为附加能力。第一阶段通过规范化动作空间与从 Specialist 到 Generalist 的策略学习训练通用跟踪器AnyTracker,使其掌握多样高动态接触运动;第二阶段基于历史信息与世界模型预测训练AnyAdapter,在冻结基础策略参数的前提下在线适配地形、外力及物理属性变化等多种干扰。该方法在Unitree G1上实现零样本真机部署,展现出优异的抗扰动跟踪性能。

Behavior Foundation Model for Humanoid Robots Figure 1
arXiv preprint2025-09

Behavior Foundation Model for Humanoid Robots

Weishuai Zeng, Shunlin Lu, Kangning Yin, Xiaojie Niu, Minyue Dai, Jingbo Wang, Jiangmiao Pang

Peking University, The Chinese University of Hong Kong, Shenzhen, Shanghai Jiaotong University, Fudan University, Shanghai Artificial Intelligence Laboratory

人形机器人机器人学习全身控制

现有全身控制框架多为任务特定,依赖繁琐的奖励工程且难以跨任务泛化。本文将各类控制模式统一为“行为生成”问题,提出基于大规模行为数据预训练的Behavior Foundation Model,通过Masked Online Distillation与CVAE建模行为分布,解耦行为与控制模式,并借助残差学习实现新行为的高效获取。实验表明,该方法在仿真与真实人形机器人上均展现出跨任务泛化与快速适应能力。

Embracing Bulky Objects with Humanoid Robots: Whole-Body Manipulation with Reinforcement Learning Figure 1
arXiv preprint2025-09

Embracing Bulky Objects with Humanoid Robots: Whole-Body Manipulation with Reinforcement Learning

Chunxin Zheng, Kai Chen, Zhihai Bi, Yulin Li, Liang Pan, Jinni Zhou, Haoang Li, Jun Ma

人形机器人机器人学习全身控制强化学习

针对人形机器人搬运大件物体时末端执行器在稳定性与负载上的局限,该研究提出一种融合预训练人体运动先验与神经符号距离场(NSDF)的强化学习全身操作框架。通过教师-学生架构蒸馏大规模人体运动数据,生成类人且物理可行的多接触手臂-躯干协调运动;嵌入的NSDF提供精确连续的几何感知以提升长时程接触意识与交互鲁棒性。仿真与真实实验表明,该方法能适应多种形状尺寸的大件物体,并实现了有效的sim-to-real迁移。

StageACT: Stage-Conditioned Imitation for Robust Humanoid Door Opening Figure 1
arXiv preprint2025-09

StageACT: Stage-Conditioned Imitation for Robust Humanoid Door Opening

Dong Ki, Jai Krishna

人形机器人机器人学习全身控制模仿学习

针对人形机器人开门这一长程且部分可观测的任务,传统行为克隆因难以推理门锁状态等隐藏变量而易发生模式崩溃。该工作提出 StageACT,通过向低级模仿策略显式注入低维任务阶段信号,使策略能利用时间上下文消歧相似观测,并支持通过阶段提示触发恢复行为。在真实办公环境中,该方法使人形机器人在未见门上取得 55% 的成功率,较最佳基线提升逾一倍,且完全基于人类示教训练,无需外部感知或先验门参数。

TrajBooster: Boosting Humanoid Whole-Body Manipulation via Trajectory-Centric Learning Figure 1
arXiv preprint2025-09

TrajBooster: Boosting Humanoid Whole-Body Manipulation via Trajectory-Centric Learning

Jiacheng Liu, Pengxiang Ding, Qihang Zhou, Yuxuan Wu, Da Huang, Zimian Peng, Wei Xiao, Weinan Zhang, Lixin Yang, Cewu Lu, Donglin Wang

Zhejiang University, Westlake University, Shanghai Jiao Tong University, Shanghai Innovation Institute

人形机器人机器人学习全身控制

针对双足人形VLA因数据稀缺难以扩展全身操作的问题,本文提出TrajBooster,以末端执行器轨迹作为形态无关接口,将丰富的轮式人形数据迁移至双足平台。该框架在仿真中将低维轨迹重定向为Unitree G1的高维全身动作,生成大规模合成数据用于VLA后预训练,仅需10分钟目标域遥操作数据即可微调。实验表明,机器人可完成蹲下、跨高度操作等超越桌面的家庭任务,显著增强鲁棒性与泛化能力,降低了对同本体高成本数据的依赖。

HITTER: A HumanoId Table TEnnis Robot via Hierarchical Planning and Learning Figure 1
arXiv preprint2025-08

HITTER: A HumanoId Table TEnnis Robot via Hierarchical Planning and Learning

Zhi Su, Bike Zhang, Nima Rahmanian, Yuman Gao, Qiayuan Liao, Caitlin Regan, Koushil Sreenath, S. Shankar Sastry

the University of California, Berkeley

人形机器人机器人学习全身控制规划

现有研究多关注人形机器人的自由空间运动或静态交互,难以应对乒乓球等需要亚秒级感知-动作闭环的高速动态交互任务。本文提出一种分层框架:上层模型驱动规划器预测球路并规划击球位姿与时机,下层强化学习全身控制器跟踪球拍目标并生成类人化的手脚协同击球与快速回位动作。在通用人形机器人上的实验表明,该系统能与人类连续对打多达106板,也可实现双机自主持续对打,验证了亚秒级反应的真实动态交互能力。

HuBE: Cross-Embodiment Human-like Behavior Execution for Humanoid Robots Figure 1
arXiv preprint2025-08

HuBE: Cross-Embodiment Human-like Behavior Execution for Humanoid Robots

Shipeng Lyu, Fangyuan Wang, Weiwei Lin, Luhao Zhu, David Navarro-Alarcon, Guodong Guo

人形机器人机器人学习全身控制

人形机器人在模仿人类行为时,长期面临运动相似性与情境适当性难以兼顾、且缺乏跨本体泛化能力的瓶颈。本文提出双层闭环框架HuBE,通过融合机器人状态、目标姿态与情境语义,将运动生成与执行闭环整合,消除结构失配;同时构建带细粒度情境标注的HPose数据集,并设计骨骼缩放数据增强策略,使模型具备毫米级跨异构人形机器人的迁移能力。在多台商业机器人上的实验表明,该方法在相似性、适当性和计算效率上均显著优于现有基线。

Task and Motion Planning for Humanoid Loco-manipulation Figure 1
arXiv preprint2025-08

Task and Motion Planning for Humanoid Loco-manipulation

Michal Ciebielski, Victor Dhédin, Majid Khadiv

Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich (TUM), Germany

人形机器人机器人学习全身控制规划

当前人形机器人移动-操作规划多将操作视为扰动或依赖预定义步态与简化动力学,难以处理长时程复杂交互。本文提出基于优化的任务与运动规划框架,将符号动作统一为接触模式切换,以二阶运动学结合全身质心动量动力学与执行器约束,实现全时段轨迹优化与完全非周期末端执行器规划。实验表明,该方法能在平台攀爬和双箱搬运等长时程任务中生成物理一致的行为,且执行器约束对避免非物理解至关重要。

Learning Differentiable Reachability Maps for Optimization-based Humanoid Motion Generation Figure 1
arXiv preprint2025-08

Learning Differentiable Reachability Maps for Optimization-based Humanoid Motion Generation

Masaki Murooka, Iori Kumagai, Mitsuharu Morisawa, Fumio Kanehiro

CNRS-AIST JRL (Joint Robotics Laboratory), IRL and, National Institute of Advanced Industrial Science and Technology (AIST)

人形机器人机器人学习全身控制运动生成

针对人形机器人运动规划中反复求解逆运动学导致计算成本过高的问题,本文提出了一种可微可达性图,将末端执行器的运动学可达区域刻画为任务空间上连续可微的标量函数。利用神经网络或支持向量机从运动学样本中学习该映射后,可直接将其作为约束嵌入连续优化,避免在优化循环中反复求解IK。实验表明,该方法能够高效地求解步态规划、多接触运动规划及移动操作规划等多种复杂人形机器人运动生成问题。

GBC: Generalized Behavior-Cloning Framework for Whole-Body Humanoid Imitation Figure 1
arXiv preprint2025-08

GBC: Generalized Behavior-Cloning Framework for Whole-Body Humanoid Imitation

Yifei Yao, Chengyuan Luo, Jiaheng Du, Wentao He, Jun-Guo Lu

人形机器人机器人学习全身控制模仿学习

针对人形机器人数据与学习算法难以跨形态通用的碎片化难题,本文提出广义行为克隆框架GBC。该框架通过可微分IK网络将任意人体动捕数据自动重定向至异构机器人,并基于MMTransformer构建DAgger-MMPPO算法,将本体观测与参考运动作为双模态进行关联建模,实现两阶段强化学习下的鲁棒高保真模仿。此外,整套系统基于Isaac Lab开源,支持通过配置文件快速部署。实验在Unitree G1、H1-2、Fourier GR1及Turin等多种机器人上验证了框架的通用性与对新动作的迁移能力。

BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion Figure 1
arXiv preprint2025-08

BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion

Qiayuan Liao, Takara E. Truong, Xiaoyu Huang, Yuman Gao, Guy Tevet, Koushil Sreenath, C. Karen Liu

University of California, Berkeley, CA 94720, USA, Stanford University, Stanford, CA 94305, USA

人形机器人机器人学习全身控制模仿学习运动生成

针对现有人形控制动作不自然、需逐动作调参且难以组合技能应对新任务的问题,本文提出BeyondMimic框架。其核心在于:以简洁而具原则的运动跟踪公式,在统一设置下掌握空翻、冲刺等高难度敏捷技能;进而通过统一潜空间扩散模型与分类器引导,在推理时在线优化新目标,实现动态技能组合与无缝任务切换。实验表明,该方法在仿真中达到先进的人类相似度,并能零样本迁移至真实硬件,完成遥操作、动作补全与避障等训练时未见任务。

A Whole-Body Motion Imitation Framework from Human Data for Full-Size Humanoid Robot Figure 1
arXiv preprint2025-08

A Whole-Body Motion Imitation Framework from Human Data for Full-Size Humanoid Robot

Zhenghan Chen, Haodong Zhang, Dongqi Wang, Jiyu Yu, Haocheng Xu, Yue Wang, Rong Xiong

The State Key Laboratory of Industrial Control and Technology of Zhejiang University, Zhejiang Humanoid Robot Innovation Center, Department of Engineering Mechanics of Zhejiang University

人形机器人机器人学习全身控制模仿学习

针对全尺寸人形机器人模仿人类动作时因运动学与动力学差异而难以兼顾相似性与实时平衡的问题,本文提出了结合接触感知全身重定向与非线性质心模型预测控制的模仿框架。前者为参考轨迹提供高质量初值,后者在实时跟踪中保证运动精度与抗扰平衡,并配合全身控制器实现精确力矩输出。该框架在仿真与真实机器人平台上完成了上肢运动、单腿站立等全身动作的实时模仿,验证了准确性与鲁棒性。

EMP: Executable Motion Prior for Humanoid Robot Standing Upper-body Motion Imitation Figure 1
arXiv preprint2025-07

EMP: Executable Motion Prior for Humanoid Robot Standing Upper-body Motion Imitation

Haocheng Xu, Haodong Zhang, Zhenghan Chen, Rong Xiong

人形机器人机器人学习全身控制模仿学习

人形机器人在站立状态下模仿人类上肢动作时,直接复现目标运动容易因机器人可控范围有限而破坏全身平衡。该工作提出了一种强化学习框架:首先利用图卷积重定向网络构建大规模人形上肢运动数据集以训练跟踪策略,随后引入可执行运动先验(EMP)模块,根据机器人实时状态对目标动作进行最小化修正,将不稳定输入转化为稳定且可执行的运动指令。仿真与两台真实人形机器人上的实验表明,该框架能够在保持运动相似性的同时显著提升站立稳定性。

Keep on Going: Learning Robust Humanoid Motion Skills via Selective Adversarial Training Figure 1
arXiv preprint2025-07

Keep on Going: Learning Robust Humanoid Motion Skills via Selective Adversarial Training

Yang Zhang, Zhanxiang Cao, Buqing Nie, Haoyang Li, Zhong Jiangwei, Qiao Sun, Xiaoyi Hu, Xiaokang Yang, Yue Gao

Shanghai Jiao Tong University

人形机器人机器人学习全身控制

针对人形机器人强化学习运动策略在长时程运行与真实扰动下易失稳的问题,本文提出选择性对抗攻击鲁棒训练方法SA2RT。该方法通过可学习的对抗网络在攻击预算约束下精准识别并稀疏扰动策略最脆弱的状态与动作,以非零和交替优化持续增强策略鲁棒性,避免保守过拟合。在Unitree G1真机实验表明,该方法将地形穿越成功率提升40%,轨迹跟踪误差降低32%,有效保障了长时程移动与全身控制性能。

UniTracker: Learning Universal Whole-Body Motion Tracker for Humanoid Robots Figure 1
IEEE RA-L 20262025-07

UniTracker: Learning Universal Whole-Body Motion Tracker for Humanoid Robots

Kangning Yin, Weishuai Zeng, Ke Fan, Minyue Dai Zirui Wang, Qiang Zhang, Zheng Tian, Jingbo Wang, Jiangmiao Pang, Weinan Zhang

Shanghai Jiao Tong Univeristy, Shanghai Artificial Intelligence Laboratory, Shanghai Innovation Institute, Peking University, Zhejiang University, Fudan University, The Hong Kong University of Science and Technology (Guangzhou), ShanghaiTech University

人形机器人机器人学习全身控制

现有基于MLP的教师-学生策略在部分观测下往往损失运动多样性与全局一致性,导致人形机器人动作平庸、方向漂移且泛化不足。为此,本文提出三阶段框架UniTracker:先训练特权教师生成高质量参考动作;再构建CVAE通用策略,通过将部分观测先验与全观测编码器对齐来注入全局运动意图,在保持鲁棒性的同时显著提升表现力与泛化性;最后以轻量化模块快速自适应困难序列。该框架在Unitree G1上仅以单一策略即稳定跟踪超过8100种多样化全身动作,在精度与鲁棒性上均优于现有基线。

Learning Motion Skills with Adaptive Assistive Curriculum Force in Humanoid Robots Figure 1
arXiv preprint2025-06

Learning Motion Skills with Adaptive Assistive Curriculum Force in Humanoid Robots

Zhanxiang Cao, Yang Zhang, Buqing Nie, Huangxuan Lin, Haoyang Li, Yue Gao

人形机器人机器人学习全身控制

受婴儿学步与教练保护运动员的启发,本文针对人形机器人高维动作技能学习易陷入局部最优、早期探索不稳定的问题,提出自适应辅助课程力框架A2CF。该方法联合训练一个辅助力智能体,根据机器人当前状态动态施加外力引导,并随熟练度提升逐步撤除辅助,实现从依赖支持到独立执行的过渡。在双足行走、舞蹈与后空翻三项任务中,该框架将收敛速度提升30%、失败率降低逾40%,并在真实机器人上验证了复杂技能的高效习得。

A Survey of Behavior Foundation Model: Next-Generation Whole-Body Control System of Humanoid Robots Figure 1
IEEE Transactions on Pattern Analysis and Machine Intelligence2025-06

A Survey of Behavior Foundation Model: Next-Generation Whole-Body Control System of Humanoid Robots

Mingqi Yuan, Tao Yu, Wenqi Ge, Xiuyong Yao, Dapeng Li, Huijiang Wang, Jiayu Chen, Bo Li, Wei Zhang, Wenjun Zeng, Hua Chen, Xin Jin

Department of Computing, The Hong Kong Polytechnic University, Hong Kong SAR, China, Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo, China, Department of Data and Systems Engineering, The University of Hong Kong, Hong Kong SAR, China, CREATE Lab, EPFL, Lausanne, Switzerland, ZJU-UIUC Institute, Zhejiang University, Zhejiang, China

人形机器人机器人学习全身控制综述

人形机器人全身控制长期受困于复杂动力学与欠驱动问题,传统模型方法依赖繁琐的启发式调参且鲁棒性不足,而既有学习方法又需为每个新任务重新训练、泛化性差。本文将"行为基础模型"(BFMs)定位为下一代解决方案,系统梳理了其如何通过大规模预训练获取通用行为先验与可复用技能,从而支持零样本或快速适应多样下游任务,并详述了从传统WBC到BFMs的演进脉络、主流预训练框架及真实部署挑战,最终指出该范式是迈向可扩展通用人形智能的关键路径。

TACT: Humanoid Whole-body Contact Manipulation through Deep Imitation Learning with Tactile Modality Figure 1
IEEE RA-L 20252025-06

TACT: Humanoid Whole-body Contact Manipulation through Deep Imitation Learning with Tactile Modality

Masaki Murooka, Takahiro Hoshi, Kensuke Fukumitsu, Shimpei Masuda, Marwan Hamze, Tomoya Sasaki, Mitsuharu Morisawa, Eiichi Yoshida

CNRS-AIST JRL (Joint Robotics Laboratory), IRL and, National Institute of Advanced Industrial Science and Technology (AIST), Tokyo University of Science, University of Tsukuba

人形机器人机器人学习全身控制模仿学习触觉

人形机器人全身接触操作可提升稳定性并降低负载,但传统模型驱动方法难以处理高维分布式触觉反馈与实时运动生成。本文将分布式触觉传感器部署于上半身,提出基于Transformer的多模态模仿学习策略TACT,在ACT基础上融合关节位姿、视觉与触觉输入;并将其与基于双足模型的重定向和步态控制器相结合,使RHP7 Kaleido人形机器人在保持平衡与行走的同时完成全身接触操作。实验表明,视觉与触觉模态的联合输入显著增强了广泛而精细接触的鲁棒性,验证了分层架构下学习驱动触觉反馈的有效性。

GMT: General Motion Tracking for Humanoid Whole-Body Control Figure 1
arXiv preprint2025-06

GMT: General Motion Tracking for Humanoid Whole-Body Control

Zixuan Chen, Mazeyu Ji, Xuxin Cheng, Xuanbin Peng, Xue Bin Peng, Xiaolong Wang

UC San Diego &, Simon Fraser University &

人形机器人机器人学习全身控制模仿学习

针对人形机器人在真实场景中跟踪多样化全身运动的挑战,现有方法往往受困于动作数据分布不均、模型表达能力不足以及上下半身协调困难。本文提出GMT框架,通过单一统一策略实现通用运动跟踪,其核心在于自适应采样机制与运动混合专家(MoE)架构:前者自动平衡训练过程中难易样本的采样频率,后者针对不同运动流形区域实现专门化建模。结合教师-学生训练与对硬件约束的针对性处理,该方法在仿真和真实人形机器人上均取得广泛动作类别的最先进跟踪性能。

No Figure
arXiv preprint2025-06

LeVERB: Humanoid Whole-Body Control with Latent Vision-Language Instruction

Haoru Xue, Xiaoyu Huang, Dantong Niu, Qiayuan Liao, Thomas Kragerud, Jan Tommy Gravdahl, Xue Bin Peng, Guanya Shi, Trevor Darrell, Koushil Sreenath, Shankar Sastry

University of California Berkeley Norwegian University of Science and Technology, Simon Fraser University Carnegie Mellon University

人形机器人机器人学习全身控制视觉语言动作感知

全文短总结尚未生成。

No Figure
NeurIPS 20252025-06

KungfuBot: Physics-Based Humanoid Whole-Body Control for Learning Highly-Dynamic Skills

Weiji Xie, Jinrui Han, Jiakun Zheng, Huanyu Li, Xinzhe Liu, Jiyuan Shi, Weinan Zhang, Chenjia Bai, Xuelong Li

Institute of Artificial Intelligence (TeleAI), China Telecom, Shanghai Jiao Tong University East China University of Science and Technology, Harbin Institute of Technology ShanghaiTech University

人形机器人机器人学习全身控制

全文短总结尚未生成。

From Experts to a Generalist: Toward General Whole-Body Control for Humanoid Robots Figure 1
arXiv preprint2025-06

From Experts to a Generalist: Toward General Whole-Body Control for Humanoid Robots

Yuxuan Wang, Ming Yang, Ziluo Ding, Yu Zhang, Weishuai Zeng, Xinrun Xu, Haobin Jiang, Zongqing Lu

Peking University

人形机器人机器人学习全身控制

现有人形机器人控制方法虽能在单一技能上达到很高水平,但直接训练通用策略时,不同动作的数据分布冲突会导致梯度干扰与性能退化。为此,本文提出专家-通才框架BumbleBee:先用自编码器结合腿部运动特征与文本描述对行为相似的动作聚类,在各簇内训练专家策略并通过迭代delta action建模补偿仿真到现实的差距,最终蒸馏为统一通才控制器。实验表明,该方法在仿真与真实机器人上均实现了敏捷、鲁棒且可泛化的全身控制,能够连续跟踪总时长约135秒的多样高动态动作序列。

SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending Figure 1
arXiv preprint2025-06

SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending

Yuxuan Kuang, Haoran Geng, Amine Elhafsi, Tan-Dzung Do, Pieter Abbeel, Jitendra Malik, Marco Pavone, Yue Wang

University of Southern California, Stanford University, Peking University, University of California, Berkeley

人形机器人机器人学习全身控制

现有面向人形机器人全身运动-操作的方法通常需要繁琐的任务特定奖励工程或模型调优,限制了其在多样化日常任务中的通用性与可扩展性。为此,本文提出分层强化学习框架 SkillBlender,采用“预训练-后混合”范式:先预训练目标条件且任务无关的原始技能,再由高层控制器输出子目标与逐关节权重向量,动态混合低层技能以完成复杂任务,仅需极少任务奖励。在提出的跨本体仿真基准 SkillBench 上,该方法在任务精度与运动可行性上均显著优于基线,并能自然抑制奖励窃取行为。

SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World Reinforcement Learning Figure 1
arXiv preprint2025-06

SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World Reinforcement Learning

Jiaheng Hu, Peter Stone, Roberto Martín-Martín

The University of Texas at Austin Sony AI Amazon

人形机器人机器人学习全身控制强化学习

针对高自由度机器人在真实环境中进行强化学习时面临的安全探索、样本效率及现实鸿沟难题,本文提出SLAC方法,利用低精度仿真器预训练一个具备时间抽象、解耦与安全特性的任务无关隐式动作空间,并将其作为下游实机离策略RL的动作接口。实验表明,该方法在双手移动操作任务上达到最优性能,可在不到一小时的实机交互中学会接触丰富的全身任务,且无需任何示范或手工设计的行为先验。

Hierarchical Intention-Aware Expressive Motion Generation for Humanoid Robots Figure 1
arXiv preprint2025-06

Hierarchical Intention-Aware Expressive Motion Generation for Humanoid Robots

Lingfan Bao, Yan Pan, Tianhu Peng, Dimitrios Kanoulas, Chengxu Zhou

the Department of Computer Science, University College London, UK

人形机器人机器人学习全身控制运动生成

现有物理人形机器人的运动生成多聚焦于功能实现,缺乏对交互情境中社会意图与情感上下文的深层感知。本文提出HIAER分层框架,上层利用视觉语言模型结合上下文学习与思维链提示,同步推断人类社交意图及效价-唤醒度情感参数;中层以此引导文本到运动扩散模型实时生成风格适配的具身手势;下层通过强化学习全身控制器在物理机器人上鲁棒执行。真实场景实验表明,该系统生成的行为在社会智能与情境适切性上获得更高评价,实现了更自然的人机交互。

From Motion to Behavior: Hierarchical Modeling of Humanoid Generative Behavior Control Figure 1
arXiv preprint2025-06

From Motion to Behavior: Hierarchical Modeling of Humanoid Generative Behavior Control

Jusheng Zhang, Jinzhou Tang, Sidi Liu, Mingyan Li, Sheng Zhang, Jian Wang, Keze Wang

Sun Yat-sen University, University of Maryland, College Park

人形机器人机器人学习全身控制运动生成

现有方法多聚焦低级短时运动或高层规划,难以同时保证长时程一致性、物理合理性与目标语义。本文提出Generative Behavior Control框架,通过PHYLOMAN将大语言模型的层次化行为规划与机器人任务运动规划及物理约束统一起来,并发布含多层次标注的GBC-100K数据集。实验显示,所提方法可生成时长为现有方法10倍、且兼具物理一致性与语义保真度的长程人形行为序列。

SignBot: Learning Human-to-Humanoid Sign Language Interaction Figure 1
arXiv preprint2025-05

SignBot: Learning Human-to-Humanoid Sign Language Interaction

Guanren Qiao, Sixu Lin, Ronglai Zuo, Zhizheng Wu, Kui Jia, Guiliang Liu

人形机器人机器人学习全身控制

针对听障人士沟通需求与手语人才稀缺的矛盾,现有手语技术多停留在数字模型层面,难以提供实体物理交互。本文提出SignBot框架,借鉴小脑-大脑协作机制:将人类手语数据重定向至机器人运动学;通过解耦的模仿学习与强化学习,使上半身精准跟踪复杂手语姿态、下半身维持稳定站立;并集成翻译-响应-生成模块实现双向自然交互。仿真与真实场景实验表明,该系统可迁移至不同人形机器人完成多种手语动作,具备准确性、泛化性与交互性;但文中也指出,开源手语模型的翻译生成误差及硬件缺乏面部表情支持仍是当前局限。

Learning Gentle Humanoid Locomotion and End-Effector Stabilization Control Figure 1
arXiv preprint2025-05

Learning Gentle Humanoid Locomotion and End-Effector Stabilization Control

Yitang Li, Yuanhang Zhang, Wenli Xiao, Chaoyi Pan, Haoyang Weng, Guanqi He, Tairan He, Guanya Shi

人形机器人机器人学习全身控制

针对人形机器人行走时末端执行器抖动剧烈、难以完成端水等精细任务的问题,本文指出 locomotion 与末端稳定存在时间与动力学特性上的根本错配。为此提出 SoFTA 框架,将上下半身解耦为两个独立智能体:下半身以 50 Hz 执行鲁棒步态,上半身以 100 Hz 进行快速高精度的末端补偿控制。通过时域与目标分离避免策略干扰,该方法在真实机器人上将末端加速度降低 50%–80%,使端杯行走、行走录像等精细任务成为可能。

Mobi-π: Mobilizing Your Robot Learning Policy Figure 1
arXiv preprint2025-05

Mobi-π: Mobilizing Your Robot Learning Policy

Jingyun Yang, Isabella Huang, Brandon Vu, Max Bajracharya, Rika Antonova, Jeannette Bohg

Stanford University Toyota, Research Institute University of Cambridge

人形机器人机器人学习全身控制

针对固定基座/少视角训练的视觉操作策略迁移到移动机器人后易因视角和可达空间偏移而失效的问题,Mobi-π提出“策略移动化”:不重训策略,而是用3D Gaussian Splatting合成候选视角,并结合分布内、目标可见性与碰撞评分采样优化基座位姿。其在RoboCasa仿真套件和真实移动操作任务中均优于非策略感知导航及需额外数据的策略感知基线。

Whole-body Multi-contact Motion Control for Humanoid Robots Based on Distributed Tactile Sensors Figure 1
IEEE Robotics and Automation Letters 20242025-05

Whole-body Multi-contact Motion Control for Humanoid Robots Based on Distributed Tactile Sensors

Masaki Murooka, Kensuke Fukumitsu, Marwan Hamze, Mitsuharu Morisawa, Hiroshi Kaminaga, Fumio Kanehiro, Eiichi Yoshida

CNRS-AIST JRL (Joint Robotics Laboratory), IRL and, National Institute of Advanced Industrial Science and Technology (AIST), Tokyo University of Science

人形机器人机器人学习全身控制触觉

面向狭窄环境中人形机器人仅靠手脚接触不够稳健的问题,论文将柔性片状分布式触觉传感器贴装在肢体表面,并把原本面向末端接触的多接触全身控制扩展到前臂、大腿等中间部位,通过触觉反馈参与质心与肢体阻尼控制。仿真显示其提升了对扰动和环境误差的稳定性,实机 RHP Kaleido 完成前臂支撑迈步和大腿接触坐姿平衡等动作。

SMAP: Self-supervised Motion Adaptation for Physically Plausible Humanoid Whole-body Control Figure 1
arXiv preprint2025-05

SMAP: Self-supervised Motion Adaptation for Physically Plausible Humanoid Whole-body Control

Haoyu Zhao, Sixu Lin, Qingwei Ben, Minyue Dai, Hao Fei, Jingbo Wang, Hua Zou, Junting Dong

School of Computer Science, Wuhan University Shanghai Artificial Intelligence Laboratory, Harbin Institute of Technology (Shenzhen) The Chinese University of Hong Kong, Fudan University National University of Singapore

人形机器人机器人学习全身控制

SMAP针对人形机器人直接模仿重定向人体动作时因动作空间差异导致训练低效、运动不稳的问题,提出自监督运动适配框架:用向量量化周期自编码器学习共享原子行为,将人体动作转换为更符合机器人动力学的参考,再结合特权教师蒸馏与上下肢解耦奖励训练全身控制策略。仿真与Unitree H1实机实验显示,其在全身跟踪、速度跟踪和动态稳定性上优于现有方法。

H2-COMPACT: Human-Humanoid Co-Manipulation via Adaptive Contact Trajectory Policies Figure 1
arXiv preprint2025-05

H2-COMPACT: Human-Humanoid Co-Manipulation via Adaptive Contact Trajectory Policies

Geeta Chandra Raju Bethala, Hao Huang, Niraj Pudasaini, Abdullah Mohamed Ali, Shuaihang Yuan, Congcong Wen, Anthony Tzes, Yi Fang

Embodied AI and Robotics Lab, New York University Abu Dhabi, UAE, Center for AI and Robotics, New York University Abu Dhabi, UAE

人形机器人机器人学习全身控制

针对人形机器人在搬运长物体时难以仅凭接触力理解人类意图且需负载下稳定行走的问题,H2-COMPACT将触觉意图推断与全身运动控制解耦:上层用双腕六轴力/力矩经行为克隆预测平面速度,下层用PPO负载自适应步态跟踪。其在Unitree G1实机上完成协同搬运,时间、轨迹偏差、速度同步和随动力接近蒙眼人类跟随者基线。

Unleashing Humanoid Reaching Potential via Real-world-Ready Skill Space Figure 1
IEEE RA-L 20252025-05

Unleashing Humanoid Reaching Potential via Real-world-Ready Skill Space

Zhikai Zhang, Chao Chen, Han Xue, Jilong Wang, Sikai Liang, Yun Liu, Zongzhang Zhang, He Wang, Li Yi

Fourth Author and Eighth Author are with Peking University, China, Ninth Author is with Shanghai AI Laboratory, China, Ninth Author is with Shanghai Qi Zhi Institute, China, Seventh Author is with Nanjing University, China, Fifth Author is with Tongji University, China

人形机器人机器人学习全身控制

面向人形机器人在高低远近目标间大范围伸手时的全身控制难题,论文认为从零端到端学习会带来优化困难和 sim2real 不稳。其核心是构建 R2S2 技能空间:先训练可实机部署的原子技能,再用异构技能集成结合 IL/RL 与 CVAE 学到统一技能表示,供任务策略采样。实验在 Unitree G1/H1、仿真与真实任务中展示了跨平台的大范围自主到达与全身遥操作能力。

HuB: Learning Extreme Humanoid Balance Figure 1
arXiv preprint2025-05

HuB: Learning Extreme Humanoid Balance

Tong Zhang, Boyuan Zheng, Ruiqian Nai, Yingdong Hu, Yen-Jen Wang, Geng Chen, Fanqi Lin, Jiongye Li, Chuye Hong, Koushil Sreenath, Yang Gao

Tsinghua University Shanghai Qi Zhi Institute UC Berkeley UC San Diego

人形机器人机器人学习全身控制

针对人形机器人在单脚支撑等极端准静态姿态中易受参考动作误差、形态差异和仿真到现实落差影响而失稳的问题,HuB将参考动作精修、放松跟踪的平衡感知强化学习,以及面向IMU噪声和接触抖动的鲁棒训练结合起来。实机Unitree G1可完成燕式平衡、李小龙踢等动作,并在足球撞击和连续10次执行中保持稳定,基线方法则多失败。

FALCON: Learning Force-Adaptive Humanoid Loco-Manipulation Figure 1
arXiv preprint2025-05

FALCON: Learning Force-Adaptive Humanoid Loco-Manipulation

Yuanhang Zhang, Yifu Yuan, Prajwal Gurunath, Ishita Gupta, Shayegan Omidshafiei, Ali-akbar Agha-mohammadi, Liam Pedersen, Tairan He, Guanya Shi

Carnegie Mellon University, com/LeCAR-Lab/FALCON

人形机器人机器人学习全身控制

面向开门、拉车等需要显著三维接触力的人形移动操作,FALCON认为单体全身RL或下肢RL+上肢IK难以同时兼顾稳定与力适应。其核心是上下肢双智能体联合训练,并用满足关节力矩可行性的3D力课程逐步增强末端受力。实验在Unitree G1和Booster T1上迁移,完成0–100N交互任务,上肢关节跟踪约提升2倍且收敛更快。

FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid Figure 1
arXiv preprint2026-03

FAME: Force-Adaptive RL for Expanding the Manipulation Envelope of a Full-Scale Humanoid

Niraj Pudasaini, Yutong Zhang, Jensen Lavering, Alessandro Roncone, Nikolaus Correll

Department of Computer Science, University of Colorado Boulder, Boulder, CO

人形机器人机器人学习全身控制强化学习

面向人形机器人双臂操作中手部外力经运动链破坏站立平衡的问题,FAME 将上肢关节构型与双手交互力编码为潜变量来条件化站立强化学习策略,并在训练中结合球面采样三维手力与上肢姿态课程;部署时用动力学和雅可比从关节力矩估计腕部力,无需腕部力传感器。仿真平均站立成功率达 73.84%,高于仅课程的 51.40% 和基础策略的 29.44%,并在 Unitree H12 上验证了单臂非对称与双臂负载下的稳定性。

JAEGER: Dual-Level Humanoid Whole-Body Controller Figure 1
arXiv preprint2025-05

JAEGER: Dual-Level Humanoid Whole-Body Controller

Ziluo Ding, Haobin Jiang, Yuxuan Wang, Zhenguo Sun, Yu Zhang, Xiaojie Niu, Ming Yang, Weishuai Zeng, Xinrun Xu, Zongqing Lu

Peking University, BAAI Peking University

人形机器人机器人学习全身控制

JAEGER面向成人尺寸人形机器人全身控制中动作维度高、上下肢目标相互干扰、粗粒度速度控制与细粒度姿态跟踪难统一的问题,提出上下肢解耦的双控制器,并结合MLP人体到机器人重定向、监督初始化与强化学习课程训练。系统同时支持根速度和关节角命令,在两个机器人平台的仿真与实机实验中优于现有方法,展示了抓取、侧行和舞蹈等稳定动作。

AMO: Adaptive Motion Optimization for Hyper-Dexterous Humanoid Whole-Body Control Figure 1
arXiv preprint2025-05

AMO: Adaptive Motion Optimization for Hyper-Dexterous Humanoid Whole-Body Control

Jialong Li, Xuxin Cheng, Tianshu Huang, Shiqi Yang, Ri-Zhao Qiu, Xiaolong Wang

UC San Diego

人形机器人机器人学习全身控制灵巧操作

面向人形机器人在拾取地面物体等大工作空间任务中的高自由度、强非线性全身控制难题,AMO将轨迹优化与sim-to-real强化学习结合,用融合MoCap手臂轨迹和采样躯干姿态的混合数据集减轻模仿分布偏置,并学习连续命令到全身参考的自适应映射。在29-DoF Unitree G1上,方法相较基线表现出更稳定控制、更大可达工作空间,并支持遥操作及模仿学习驱动的自主任务执行。

PyRoki: A Modular Toolkit for Robot Kinematic Optimization Figure 1
arXiv preprint2025-05

PyRoki: A Modular Toolkit for Robot Kinematic Optimization

Chung Min Kim, Brent Yi, Hongsuk Choi, Yi Ma, Ken Goldberg, Angjoo Kanazawa

UC Berkeley

人形机器人机器人学习全身控制

针对逆运动学、轨迹优化和动作重定向工具彼此割裂、难以复用自定义目标且常被限制在单一硬件上的问题,PyRoki将机器人运动学优化统一为可组合的变量与代价函数,并用JAX实现LM求解、自动/解析雅可比、稀疏结构和网页调参,支持URDF及CPU/GPU/TPU。实验展示其可复用同一代价完成机械臂规划、人形和灵巧手重定向;批量IK相较cuRobo快约1.4–1.7倍且误差更低。

TWIST: Teleoperated Whole-Body Imitation System Figure 1
arXiv preprint2025-05

TWIST: Teleoperated Whole-Body Imitation System

Yanjie Ze, Zixuan Chen, João Pedro Araújo, Zi-ang Cao, Xue Bin Peng, Jiajun Wu, C. Karen Liu

Stanford University Simon Fraser University

人形机器人机器人学习全身控制模仿学习遥操作

TWIST针对现有人形遥操作多停留在行走或手臂操作、难以协调全身的问题,将遥操作建模为实时人体动作重定向与跟踪,并用RL+BC训练单一全身控制器;关键在教师-学生利用未来帧蒸馏、少量在线MoCap数据缓解分布偏移、位置与姿态联合重定向及末端扰动训练。实机Unitree G1上可完成搬举、腿部操作、移动和表达性动作等多类技能。

LangWBC: Language-directed Humanoid Whole-Body Control via End-to-end Learning Figure 1
arXiv preprint2025-04

LangWBC: Language-directed Humanoid Whole-Body Control via End-to-end Learning

Yiyang Shao, Xiaoyu Huang, Bike Zhang, Qiayuan Liao, Yuman Gao, Yufeng Chi, Zhongyu Li, Sophia Shao, Koushil Sreenath

University of California, Berkeley

人形机器人机器人学习全身控制

LangWBC面向自然语言到人形机器人全身动作之间“语义理解—物理可执行”脱节的问题,避免先生成运动再跟踪带来的不可行动作与固定时长限制。其核心是用强化学习训练MoCap跟踪教师,再以带CVAE的学生策略蒸馏为闭环文本到控制动作模型,统一语言、状态历史与动作潜空间。仿真和实机结果显示机器人可执行跑步、转身、挥手、拍手等动作,支持平滑切换、受扰恢复和潜空间插值生成新动作。

Physically Consistent Humanoid Loco-Manipulation using Latent Diffusion Models Figure 1
arXiv preprint2025-04

Physically Consistent Humanoid Loco-Manipulation using Latent Diffusion Models

Ilyass Taouil, Haizhou Zhao, Angela Dai, Majid Khadiv

Technical University of Munich, Munich, Germany. E-mail, Haizhou Zhao, Tandon School of Engineering, New York University (NYU), USA. E-mail, Technical University of Munich, Munich, Germany, Haizhou Zhao, Tandon School of Engineering, New York University (NYU), USA

人形机器人机器人学习全身控制运动生成

针对人形机器人长时域移动操作中维度高、动力学不稳定且难以规划接触序列的问题,本文把潜在扩散模型生成的人-物交互图像作为先验,从中提取手/脚接触位置与机器人关键构型,并嵌入全身轨迹优化以保证几何和物理一致性。仿真中在两个复杂长时域场景验证了可行性,关键帧引导显著提高优化收敛与降低穿透,但真实机器人效果仍未验证。

Adversarial Locomotion and Motion Imitation for Humanoid Policy Learning Figure 1
arXiv preprint2025-04

Adversarial Locomotion and Motion Imitation for Humanoid Policy Learning

Jiyuan Shi, Xinzhe Liu, Dewei Wang, Ouyang Lu, Sören Schwertfeger, Chi Zhang, Fuchun Sun, Chenjia Bai, Xuelong Li

Institute of Artificial Intelligence (TeleAI), China Telecom, ShanghaiTech University, University of Science and Technology of China, Northwestern Polytechnical University, Tsinghua University

人形机器人机器人学习全身控制模仿学习

针对人形机器人直接学习全身模仿策略训练昂贵、易牺牲平衡并导致实机跌倒的问题,ALMI 将下肢速度跟踪与上肢动作模仿拆成两个策略,并通过上下肢相互扰动的对抗式迭代训练获得协调控制。实验显示其在仿真和 Unitree H1-2 实机上兼顾稳健行走与较精确动作跟踪,并发布含 8 万余条轨迹与语言标注的 ALMI-X 数据集。

Embodied Chain of Action Reasoning with Multi-Modal Foundation Model for Humanoid Loco-manipulation Figure 1
arXiv preprint2025-04

Embodied Chain of Action Reasoning with Multi-Modal Foundation Model for Humanoid Loco-manipulation

Congcong Wen, Geeta Chandra Raju Bethala, Yu Hao, Niraj Pudasaini, Hao Huang, Shuaihang Yuan, Baoru Huang, Anh Nguyen, Mengyu Wang, Anthony Tzes, Yi Fang

and Robotics, New York University Abu Dhabi, Abu Dhabi, UAE

人形机器人机器人学习全身控制

针对人形机器人在开放环境中难以把自然语言指令转化为可执行移动-操作序列的问题,论文提出 Humanoid-COA,在感知-推理-行动框架中引入具身 Chain-of-Action 推理,通过物体可供性、空间关系和全身可行性分析分解长程任务。实机实验覆盖 Unitree H1-2 与 G1、开放场地和公寓环境,在操作、移动及组合任务上优于既有基线,显示出较强零样本泛化能力。

FLAM: Foundation Model-Based Body Stabilization for Humanoid Locomotion and Manipulation Figure 1
arXiv preprint2025-03

FLAM: Foundation Model-Based Body Stabilization for Humanoid Locomotion and Manipulation

Xianqi Zhang, Hongliang Wei, Wenrui Wang, Xingtao Wang, Xiaopeng Fan, Debin Zhao

人形机器人机器人学习全身控制

FLAM针对人形机器人强化学习只依赖任务奖励、容易忽视身体稳定性的问题,将机器人姿态映射到3D人体模型,并借助预训练人体运动重建模型生成“稳定前后”姿态差异作为稳定奖励,与任务奖励共同训练全身策略。实验在类人机器人基准上优于现有RL方法,表明显式稳定性先验可加速学习并提升行走与操作性能。

Being-0: A Humanoid Robotic Agent with Vision-Language Models and Modular Skills Figure 1
arXiv preprint2025-03

Being-0: A Humanoid Robotic Agent with Vision-Language Models and Modular Skills

Haoqi Yuan, Yu Bai, Yuhui Fu, Bohan Zhou, Yicheng Feng, Xinrun Xu, Yi Zhan, Börje F. Karlsson, Zongqing Lu

Peking University BAAI BeingBeyond

人形机器人机器人学习全身控制视觉语言动作感知

面向人形机器人长时程任务中大模型规划与低层运动/操作技能直接拼接不够稳、响应慢的问题,Being-0采用分层智能体:云端FM负责理解与规划,板端模块化技能库执行,核心是轻量VLM Connector把语言计划实时转成导航与操作指令,并协调双足位姿调整。实机在带灵巧手和主动视觉的全尺寸人形上完成室内复杂任务,长时程平均完成率84.4%,导航效率较纯FM方案提升4.2倍。

Trinity: A Modular Humanoid Robot AI System Figure 1
arXiv preprint2025-03

Trinity: A Modular Humanoid Robot AI System

Jingkai Sun, Qiang Zhang, Gang Han, Wen Zhao, Zhe Yong, Yan He, Jiaxu Wang, Jiahang Cao, Yijie Guo, Renjing Xu

人形机器人机器人学习全身控制

Trinity 面向全尺寸人形机器人的复杂操作与全身控制,提出分层模块化 AI 架构,将 LLM 的任务理解与长程规划、VLM 的环境感知、RL 的运动控制组合起来,使各模块可独立优化并协同执行。论文强调在真实人形机器人上的系统级验证,展示了复杂环境中语言到感知再到控制的可行闭环;但具体任务指标、消融对比和相对增益来源文中未充分说明。

BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities Figure 1
CoRL 20252025-03

BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities

Yunfan Jiang, Ruohan Zhang, Josiah Wong, Chen Wang, Yanjie Ze, Hang Yin, Cem Gokmen, Shuran Song, Jiajun Wu, Li Fei-Fei

Stanford University

人形机器人机器人学习全身控制数据集/基准

面向真实家务中双手协作、稳定导航与大范围可达性难以同时满足的问题,BRS将带4DoF躯干的轮式双臂平台、低成本JoyLo全身遥操作采数和WB-VIMA全身视觉运动策略结合;在5个未改造家庭任务中,子任务平均成功率88%,长程整任务最高93%,显著优于DP3、RGB-DP和ACT。

Whole-Body Model-Predictive Control of Legged Robots with MuJoCo Figure 1
arXiv preprint2025-03

Whole-Body Model-Predictive Control of Legged Robots with MuJoCo

John Z. Zhang, Taylor A. Howell, Zeji Yi, Chaoyi Pan, Guanya Shi, Guannan Qu, Tom Erez, Yuval Tassa, Zachary Manchester

Taylor A. Howell, Tom Erez, and Yuval Tassa are with Google DeepMind, Guanya Shi is with the Robotics Institute, Carnegie Mellon University

人形机器人机器人学习全身控制

针对腿式机器人全身 MPC 常依赖定制动力学、接触导数和求解器、复现门槛高的问题,本文展示了一个反直觉的简化路线:直接用 MuJoCo 全身动力学与软接触模型,结合有限差分导数的 iLQR 实时控制。结果表明,该基线在少量 sim-to-real 处理下可完成四足动态行走、四足双足行走和全尺寸人形双足行走,并提供可在线调参的开源 GUI。

HiFAR: Multi-Stage Curriculum Learning for High-Dynamics Humanoid Fall Recovery Figure 1
arXiv preprint2025-02

HiFAR: Multi-Stage Curriculum Learning for High-Dynamics Humanoid Fall Recovery

Penghui Chen, Yushi Wang, Changsheng Luo, Wenhan Cai, Mingguo Zhao

Department of Automation, Tsinghua University, Beijing 100084, China, Booster Robotics Technology Co., Ltd, Beijing, China, Booster Robotics Technology Co

人形机器人机器人学习全身控制安全恢复

面向人形机器人在动态非结构环境中跌倒后难以自主、快速、安全起身的问题,HiFAR将高维多接触恢复拆成两阶段课程:先在二维低维动作空间学习基础俯卧/仰卧起身,再扩展到三维跌倒、更多关节和真实硬件约束,并结合KSI、奖励塑形、网络扩展与镜像损失提升迁移。论文在Booster T1实机上验证了多类跌倒的自主恢复,报告具备较高成功率、较短恢复时间及一定鲁棒性和泛化能力。

HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit Figure 1
arXiv preprint2025-02

HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit

Qingwei Ben, Feiyu Jia, Jia Zeng, Junting Dong, Dahua Lin, Jiangmiao Pang

Shanghai AI Laboratory, Multimedia Laboratory, The Chinese University of Hong Kong

人形机器人机器人学习全身控制遥操作

HOMIE瞄准人形机器人移动操作中“能走但难精细遥操、能遥操但工作空间受限”的矛盾,将踏板映射的强化学习全身/高度控制、同构外骨骼手臂和霍尔传感手套整合为单人座舱,避免依赖MoCap运动先验与IK误差。实验显示其姿态采集更快更准,任务时间约减半,可实机稳定完成行走、下蹲与接触操作,并支持采集模仿学习数据。

Learning Getting-Up Policies for Real-World Humanoid Robots Figure 1
arXiv preprint2025-02

Learning Getting-Up Policies for Real-World Humanoid Robots

Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

University of Illinois Urbana-Champaign Simon Fraser University

人形机器人机器人学习全身控制

针对人形机器人跌倒后姿态和地形不确定、手工起身控制难以覆盖的问题,论文提出 HumanUP 两阶段强化学习框架:先在弱约束下发现全身多接触起身轨迹,再在强正则、地形与初始姿态随机化下学习可部署跟踪策略。该方法在 Unitree G1 上实现仰卧/俯卧起身,并在平地、草地、雪地、斜坡等真实地形上优于厂商手写控制器。

Learning Humanoid Standing-up Control across Diverse Postures Figure 1
arXiv preprint2025-02

Learning Humanoid Standing-up Control across Diverse Postures

Tao Huang, Junli Ren, Huayi Wang, Zirui Wang, Qingwei Ben, Muning Wen, Xiao Chen, Jianan Li, Jiangmiao Pang

Shanghai AI Laboratory Shanghai Jiao Tong University The University of Hong Kong, Zhejiang University The Chinese University of Hong Kong

人形机器人机器人学习全身控制

本文针对人形机器人起身能力依赖预设姿态或仿真假设、难以用于跌倒恢复和日常场景的问题,提出 HoST 强化学习框架,从零学习多姿态起身;其关键在于多地形课程训练、多 critic 奖励分解,以及平滑正则和隐式速度约束以抑制真机振荡与暴力动作。策略经仿真训练后直接部署到 Unitree G1,在室内外、扰动、障碍和负载条件下实现较平稳、鲁棒的起身。

HugWBC: A Unified and General Humanoid Whole-Body Controller Figure 1
RSS 20252025-02

HugWBC: A Unified and General Humanoid Whole-Body Controller

Yufei Xue, Wentao Dong, Minghuan Liu, Weinan Zhang, Jiangmiao Pang

Shanghai Jiao Tong University, Shanghai AI Lab

人形机器人机器人学习全身控制

针对现有人形运动控制多局限于单一步态、难以调节和扩展到操作任务的问题,HugWBC 将速度、步频、摆脚高度、身高、腰部偏航、身体俯仰等纳入统一命令空间,并通过对称损失与上肢干预训练学习全身策略。实验表明其在真实 H1 上可覆盖走、站、跳、单脚跳等步态,较准确跟踪多种命令,并在遥操作等上肢外部控制下保持较稳健的移动操作能力。

Embrace Collisions: Humanoid Shadowing for Deployable Contact-Agnostics Motions Figure 1
arXiv preprint2025-02

Embrace Collisions: Humanoid Shadowing for Deployable Contact-Agnostics Motions

Ziwen Zhuang, Hang Zhao

IIIS, Tsinghua University, Shanghai Qi Zhi Institute

人形机器人机器人学习全身控制安全恢复

针对人形机器人长期只处理足/手接触、难以完成躺倒起身和地面翻滚等全身接触动作的问题,论文提出“拥抱碰撞”的接触无关全身控制框架:用基于关键帧的离散运动命令和 Transformer 编码器统一描述极端姿态目标,并用 advantage mixing、重定义终止条件和极端动作数据集训练可部署策略。仿真与 Unitree G1 实机显示,该策略可在随机接触和大幅基座旋转下零样本迁移完成起身、地面交互和站立舞蹈等动作,但效果可能主要来自专门数据与训练设计。

Human-Humanoid Robots Cross-Embodiment Behavior-Skill Transfer Using Decomposed Adversarial Learning from Demonstration Figure 1
arXiv preprint2024-12

Human-Humanoid Robots Cross-Embodiment Behavior-Skill Transfer Using Decomposed Adversarial Learning from Demonstration

Junjia Liu, Zhuo Li, Minghao Yu, Zhipeng Dong, Sylvain Calinon, Darwin Caldwell, Fei Chen

人形机器人机器人学习全身控制模仿学习

针对人形机器人全身移动操作数据难采、不同平台形态差异导致技能难迁移的问题,论文以统一数字人为中介,从人类示教中用对抗模仿学习提取与具体机体弱相关的行为原语,并将全身控制分解为腿、臂、手等功能组件独立训练,再通过人-物交互图协调组合;随后结合平台相关的运动重定向和动力学微调适配具体机器人。实验在五种构型不同的人形机器人上展示了较稳定的移动操作迁移,说明该框架可减少重复采集与重训练成本,但细粒度性能增益来源仍需更多消融支撑。

Learning from Massive Human Videos for Universal Humanoid Pose Control Figure 1
arXiv preprint2024-12

Learning from Massive Human Videos for Universal Humanoid Pose Control

Jiageng Mao, Siheng Zhao, Siqi Song, Tianheng Shi, Junjie Ye, Mingtong Zhang, Haoran Geng, Jitendra Malik, Vitor Guizilini, Yue Wang

University of Southern California, UC Berkeley, Toyota Research Institute

人形机器人机器人学习全身控制模仿学习

针对人形机器人示教昂贵、现有强化学习/遥操作技能覆盖有限的问题,论文提出从海量人类视频中自动构建 Humanoid-X:经视频挖掘、字幕生成、3D人体重建、动作重定向和RL落地控制,得到20M+带文本描述的人形机器人姿态/动作;再用Transformer训练UH-1,将语言指令直接解码为可执行姿态控制。仿真与实机实验显示其文本到动作泛化和鲁棒性优于较小数据或替代设计,但增益可能主要来自数据规模与多样性。

ExBody2: Advanced Expressive Humanoid Whole-Body Control Figure 1
arXiv preprint2024-12

ExBody2: Advanced Expressive Humanoid Whole-Body Control

Mazeyu Ji, Xuanbin Peng, Fangchen Liu, Jialong Li, Ge Yang, Xuxin Cheng, Xiaolong Wang

UC San Diego UC Berkeley MIT

人形机器人机器人学习全身控制

ExBody2面向人形机器人在真实场景中同时实现类人表现力、动态动作与稳定全身控制的难题。其关键在于可行性—多样性数据筛选、通用策略到专项策略微调,以及将局部关键点模仿与整体速度跟踪解耦的教师—学生训练。论文在Unitree G1上对比多种基线,显示单一通用策略可覆盖行走、下蹲、舞蹈等多样动作,专项微调进一步提升特定动作保真度,但会牺牲部分泛化能力。

Mobile-TeleVision: Predictive Motion Priors for Humanoid Whole-Body Control Figure 1
arXiv preprint2024-12

Mobile-TeleVision: Predictive Motion Priors for Humanoid Whole-Body Control

Chenhao Lu, Xuxin Cheng, Jialong Li, Shiqi Yang, Mazeyu Ji, Chengjing Yuan, Ge Yang, Sha Yi, Xiaolong Wang

UC San Diego, MIT

人形机器人机器人学习全身控制感知遥操作

针对人形机器人行走中精细操作难以兼顾的问题,Mobile-TeleVision 将上肢操作与下肢运动解耦:上肢用 IK 和动作重定向保证高自由度手臂精度,下肢 RL 通过 CVAE 学到的预测运动先验感知上肢动态以维持平衡。实验在 GR1、H1 仿真和 H1 实机遥操作中验证,该方法较端到端全身 RL 在精细、动态和负载操作时更稳定且操作更准确。

A Behavior Architecture for Fast Humanoid Robot Door Traversals Figure 1
Robotics and Autonomous Systems2024-11

A Behavior Architecture for Fast Humanoid Robot Door Traversals

Duncan Calvert, Luigi Penco, Dexton Anderson, Tomasz Bialek, Arghya Chatterjee, Bhavyansh Mishra, Geoffrey Clark, Sylvain Bertrand, Robert Griffin

Florida Institute for Human and Machine Cognition, South Alcaniz St., Pensacola, 32502, FL, USA, University of West Florida, University Pkwy, Pensacola, 32514, FL, USA, Florida Institute for Human and Machine Cognition, University of West Florida

人形机器人机器人学习全身控制

面向人形机器人在城市/灾害等人类环境中快速通过门这一薄弱能力,论文提出将GPU感知、行为树式在线编排、可复用动作模板与支持边走边操作的全身控制器集成的架构,并用分层并发减少动作间停顿。系统在Nadia实机上覆盖多类门,门穿越约20–30秒,显著快于IHMC以往方案;但仍依赖人工编写/操作,距人类速度仍有差距。

The Role of Domain Randomization in Training Diffusion Policies for Whole-Body Humanoid Control Figure 1
arXiv preprint2024-11

The Role of Domain Randomization in Training Diffusion Policies for Whole-Body Humanoid Control

Oleg Kaidanov, Firas Al-Hafez, Yusuf Süvari, Boris Belousov, Jan Peters

TU Darmstadt German Research Center for AI (DFKI) Hessian.AI, TU Darmstadt German Research Center for AI (DFKI) Hessian

人形机器人机器人学习全身控制运动生成

面向扩散策略在机械臂外是否适合人形全身控制这一问题,论文用 IsaacGym 中不同域随机化条件下训练的 AMP 策略生成离线示范,系统消融数据规模与多样性。核心洞察是:全身步行动作对数据覆盖远比操作任务敏感,单纯扩大数据不能弥补随机化不足;地形与外部扰动随机化最关键,可在约 2M 数据下取得较高成功率、跟踪精度和平滑性。

EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning Figure 1
IEEE RA-L 20252024-10

EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning

Peide Huang, Yuhan Hu, Nataliya Nechyporenko, Daehwa Kim, Walter Talbott, Jian Zhang

人形机器人机器人学习全身控制

面向人形机器人在社交互动中难以低成本生成多样、细腻非语言动作的问题,EMOTION利用LLM/VLM的上下文学习直接生成手臂与手指轨迹,并用自然语言人类反馈形成EMOTION++迭代细化。在线用户研究覆盖10类手势,显示其自然性和可理解性在部分场景可匹配或超过人工示范,且反馈显著提升评分;但实时性仍受约20秒级API生成延迟和IK可行性失败限制。

HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots Figure 1
arXiv preprint2024-10

HOVER: Versatile Neural Whole-Body Controller for Humanoid Robots

Tairan He, Wenli Xiao, Toru Lin, Zhengyi Luo, Zhenjia Xu, Zhenyu Jiang, Jan Kautz, Changliu Liu, Guanya Shi, Xiaolong Wang, Yuke Zhu

NVIDIA, CMU, UC Berkeley, UT Austin, UC San DiegoPaper

人形机器人机器人学习全身控制

针对人形机器人在导航、移动操作与桌面操作中依赖不同控制接口、难以复用和切换的问题,HOVER将全身运动学模仿作为统一抽象,先用大规模人类 MoCap 训练 oracle 运动模仿器,再通过多模式策略蒸馏得到单一通用控制器,覆盖根部、关节和关键点等15种以上模式。仿真与真机结果显示其可在模式间平滑切换,并优于单模式策略,增益可能来自共享运动先验与更大数据覆盖。

Harmon: Whole-Body Motion Generation of Humanoid Robots from Language Descriptions Figure 1
arXiv preprint2024-10

Harmon: Whole-Body Motion Generation of Humanoid Robots from Language Descriptions

Zhenyu Jiang, Yuqi Xie, Jinhan Li, Ye Yuan, Yifeng Zhu, Yuke Zhu

The University of Texas at Austin NVIDIA Research

人形机器人机器人学习全身控制运动生成

Harmon针对人形机器人缺少大规模“语言—机器人全身动作”数据、直接人体动作重定向又易丢失手指/头部语义的问题,先用文本条件人体运动扩散模型提供动作先验,再通过逆运动学映射到GR1并让VLM基于渲染结果迭代补全头手与修正手臂。实验在仿真和真机验证,人工评测中86.7%案例更偏好Harmon,显示其动作更自然且与文本更一致。

Whole-Body Dynamic Throwing with Legged Manipulators Figure 1
arXiv preprint2024-10

Whole-Body Dynamic Throwing with Legged Manipulators

Humphrey Munn, Brendan Tidd, Peter Böhm, Marcus Gallagher, David Howard

University of Queensland, QLD. 4072, Australia

人形机器人机器人学习全身控制

针对腿式机器人投掷中操作与姿态稳定强耦合、仅靠机械臂难以获得足够射程和三维泛化的问题,论文将全身动态投掷建模为深度强化学习任务,并用自适应课程在稀疏投掷奖励下调节精度与稳定性。实验表明,人形机器人和带臂四足在仿真中利用身体动量与反向平衡,相比仅用手臂提升了射程、精度和稳定性,并实现了到真实人形平台的部分迁移。

Opt2Skill: Imitating Dynamically-feasible Whole-Body Trajectories for Versatile Humanoid Loco-Manipulation Figure 1
IEEE RA-L 20252024-09

Opt2Skill: Imitating Dynamically-feasible Whole-Body Trajectories for Versatile Humanoid Loco-Manipulation

Fukang Liu, Zhaoyuan Gu, Yilin Cai, Ziyi Zhou, Hyunyoung Jung, Jaehwi Jang, Shijie Zhao, Sehoon Ha, Yue Chen, Danfei Xu, Ye Zhao

Institute for Robotics and Intelligent Machines, Georgia Institute of Technology, Atlanta, GA, USA, Georgia Institute of Technology

人形机器人机器人学习全身控制

针对人形机器人全身移动操作中维度高、接触复杂,以及纯模型控制难实时鲁棒、纯RL依赖调参且仿真到现实困难的问题,Opt2Skill用全阶动力学DDP轨迹优化生成动力学可行、接触一致的参考轨迹,再训练RL策略跟踪,并利用TO提供的关节力矩改善接触力学习。实验表明其相较人类示教和IK参考在跟踪精度与任务成功率上更优,并已在Digit上实现搬箱、过门、擦桌、上下楼等真实任务迁移。

Full-Order Sampling-Based MPC for Torque-Level Locomotion Control via Diffusion-Style Annealing Figure 1
arXiv preprint2024-09

Full-Order Sampling-Based MPC for Torque-Level Locomotion Control via Diffusion-Style Annealing

Haoru Xue, Chaoyi Pan, Zeji Yi, Guannan Qu, Guanya Shi

Carnegie Mellon University, USA

人形机器人机器人学习全身控制运动生成规划

针对腿足机器人全阶动力学、接触非光滑和高维控制使实时 NMPC 难以落地的问题,论文将 MPPI 的采样更新解释为单步扩散,并据此提出 DIAL-MPC:用扩散式退火在在线双循环中从大范围平滑搜索逐步转向局部精细收敛,实现训练-free 的全阶力矩级 MPC。四足实验显示其可 50Hz 运行,相比标准 MPPI 显著降低跟踪误差,在爬箱等任务上优于 RL,并完成带载实机跳跃。

Flow Multi-Support: Flow Matching Imitation Learning for Multi-Support Manipulation Figure 1
arXiv preprint2024-07

Flow Multi-Support: Flow Matching Imitation Learning for Multi-Support Manipulation

Quentin Rouxel, Andrea Ferrari, Serena Ivaldi, Jean-Baptiste Mouret

人形机器人机器人学习全身控制强化学习模仿学习

论文针对人形机器人仅用双脚支撑、双手操作导致工作空间和稳定性受限的问题,提出将优化式多接触全身控制器与 Flow Matching 模仿学习结合,让策略从示教中学习何时、何处建立上肢支撑并生成多模态轨迹。仿真中其接触切换、接触放置精度和推理速度优于扩散策略与传统行为克隆;在 Talos 实机上完成非抓取推箱、洗碗机抽屉关闭,并展示可为遥操作自动补充支撑接触的共享自治模式。

HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation Figure 1
arXiv preprint2024-06

HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation

Jin Wang, Rui Dai, Weijie Wang, Luca Rossini, Francesco Ruscelli, Nikos Tsagarakis

人形机器人机器人学习全身控制规划

面向人形/轮腿机器人在开放指令下执行长时程移动操作,HYPERmotion将难以端到端生成的全身动作拆成可学习技能:用强化学习结合全身优化生成38关节运动库,再由LLM构建层级任务图,VLM融合2D/深度几何选择单/双臂、腿式或轮式形态。仿真与实机显示其可从自由文本在非结构场景中零样本规划并复用技能完成新任务。

HumanPlus: Humanoid Shadowing and Imitation from Humans Figure 1
arXiv preprint2024-06

HumanPlus: Humanoid Shadowing and Imitation from Humans

Zipeng Fu, Qingqing Zhao, Qi Wu, Gordon Wetzstein, Chelsea Finn

Stanford University

人形机器人机器人学习全身控制模仿学习遥操作

HumanPlus针对人形机器人难以直接利用海量人类动作数据、全身遥操作采集成本高的问题,提出从人类动作到自主技能的全栈流程:先用40小时人类动作在仿真中训练可零样本迁移的姿态条件低层控制器,再用单RGB相机实时“影随”人类完成全身遥操作并采集第一视角数据,最后以行为克隆训练视觉技能策略。在33自由度人形机器人上,最多40次示教即可完成穿鞋行走、仓储取物、叠衣、打字等任务,成功率约60–100%。

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning Figure 1
arXiv preprint2024-06

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning

Tairan He, Zhengyi Luo, Xialin He, Wenli Xiao, Chong Zhang, Weinan Zhang, Kris Kitani, Changliu Liu, Guanya Shi

Carnegie Mellon University, Shanghai Jiao Tong University

人形机器人机器人学习全身控制灵巧操作遥操作

OmniH2O面向全尺寸人形机器人难以同时稳定行走与灵巧操作、且示教采集依赖昂贵设备的问题,提出以运动学姿态为统一接口的学习式全身遥操作/自主框架,并用RL仿真到现实、教师-学生蒸馏、数据分布与奖励设计提升稳定性。系统支持VR、RGB、语言/GPT-4o等输入,在多种真实全身任务中展示操作与移动能力,并发布含六个日常任务的OmniH2O-6数据集用于模仿学习。

WoCoCo: Learning Whole-Body Humanoid Control with Sequential Contacts Figure 1
arXiv preprint2024-06

WoCoCo: Learning Whole-Body Humanoid Control with Sequential Contacts

Chong Zhang, Wenli Xiao, Tairan He, Guanya Shi

ETH Zurich, Carnegie Mellon University

人形机器人机器人学习全身控制

针对顺序接触任务中模型规划耗时、强化学习需大量任务调参且长时域探索困难的问题,WoCoCo将全身控制按接触阶段自然分解,并用稠密接触奖励、阶段计数奖励、好奇心奖励及分阶段sim-to-real流程降低探索与迁移难度。无需运动先验,仅少量任务项即可训练端到端策略,并在真实人形机器人上完成跑酷跳跃、搬箱、拍手踏步舞和悬崖攀爬,也扩展到22自由度恐龙机器人。

Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation Figure 1
arXiv preprint2024-03

Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation

Tairan He, Zhengyi Luo, Wenli Xiao, Chong Zhang, Kris Kitani, Changliu Liu, Guanya Shi

Carnegie Mellon University

人形机器人机器人学习全身控制遥操作

面向家务、救援等仍需人类决策的场景,本文解决全尺寸人形机器人仅凭视觉进行实时全身遥操作的难题。核心是用“sim-to-data”流程先将大规模人体动作重定向并筛除机器人不可行动作,再用强化学习训练可零样本迁移的全身跟踪控制器。真实机器人实现了行走、后跳、踢球、转身、挥手、推物、拳击等动态动作,但通用性仍受动作表示、形体差异和视觉姿态估计误差限制。

Expressive Whole-Body Control for Humanoid Robots Figure 1
arXiv preprint2024-02

Expressive Whole-Body Control for Humanoid Robots

Xuxin Cheng, Yandong Ji, Junming Chen, Ruihan Yang, Ge Yang, Xiaolong Wang

UC San Diego

人形机器人机器人学习全身控制

这篇工作关注人形机器人全身控制中过于“功能化”、动作缺乏人类表现力的问题。核心洞察是不要强行逐关节复现 MoCap:ExBody 让上半身模仿参考人体动作,而放松双腿模仿,仅要求稳健跟踪根部速度,并通过大规模 CMU MoCap、强化学习和随机地形训练实现 Sim2Real。结果在 Unitree H1 上展示了不同风格行走、握手、挥手和与人共舞,仿真与实机对比表明放松腿部约束比更强全身模仿更稳健。

Sim-to-Real Learning for Humanoid Box Loco-Manipulation Figure 1
arXiv preprint2023-10

Sim-to-Real Learning for Humanoid Box Loco-Manipulation

Jeremy Dao, Helei Duan, Alan Fern

Collaborative Robotics and Intelligent Systems Institute, Oregon State University, Corvallis, Oregon, 97331, USA

人形机器人机器人学习全身控制

针对双足人形机器人搬箱需同时保持平衡、行走与双臂交互的问题,论文将任务拆成行走、站立、拾取、抱箱行走等技能,用PPO训练全身控制策略,并通过面向箱体接触的奖励设计和相对PD设定点动作空间获得更平滑、低冲击的拾取动作。系统在Digit上完成从桌到桌搬运不同尺寸、重量和初始位姿箱子的仿真与实机迁移演示,但自主感知与规划仍依赖外部标记/人工流程。

Predictive Sampling: Real-time Behaviour Synthesis with MuJoCo Figure 1
arXiv preprint2022-12

Predictive Sampling: Real-time Behaviour Synthesis with MuJoCo

Taylor Howell, Nimrod Gileadi, Saran Tunyasuvunakool, Kevin Zakka, Tom Erez, Yuval Tassa

Stanford University, DeepMind, University of California Berkeley

人形机器人机器人学习全身控制运动生成

本文针对模型预测控制在机器人中实现复杂、门槛高的问题,提出基于 MuJoCo 的开源交互式框架 MJPC,并将 iLQG、梯度下降与零阶 Predictive Sampling 统一为实时 shooting 规划器。核心洞察是借助快速仿真、warm start、样条压缩控制和异步交互,即使简单随机采样也能在线合成复杂行为。实验表明该基线在多类机器人任务上相当有竞争力,但论文强调主要贡献是可用工具而非新算法。

WholeBodyVLA: Towards Unified Latent VLA for Whole-body Loco-manipulation Control Figure 1
arXiv preprint2025-12

WholeBodyVLA: Towards Unified Latent VLA for Whole-body Loco-manipulation Control

Haoran Jiang, Jin Chen

Fudan University, OpenDriveLab & MMLab at The University of Hong Kong

人形机器人机器人学习全身控制视觉语言动作

本文针对人形机器人在大空间任务中难以将移动与双臂操作闭环协同的问题,指出瓶颈来自全身遥操作数据稀缺和底层行走控制不够精确。WholeBodyVLA用动作无关的第一视角视频学习离散潜在动作,并分别建模移动与操作,再结合面向进退、转向、下蹲的离散命令RL控制器落地到Agibot X2。实机实验显示其较基线提升21.3%,可完成搬箱、推车及超过50kg负载等连续任务。

HumDex: Humanoid Dexterous Manipulation Made Easy Figure 1
arXiv preprint2026-03

HumDex: Humanoid Dexterous Manipulation Made Easy

Liang Heng, Yihe Tang, Jiajun Xu, Henghui Bao, Di Huang, Yue Wang

USC Physical Superintelligence (PSI) Lab WorldEngine AI

人形机器人机器人学习操作灵巧操作

HumDex瞄准人形机器人全身灵巧操作中高质量示教难采集的问题,用15个轻量IMU实现便携且少遮挡的全身遥操作,并以学习式手部重定向替代需调参的优化方法;进一步用“人类数据预训练、机器人数据微调”的两阶段模仿学习缓解具身差异。实验显示其在全身、双手协同和精细抓握任务中提升采集效率、成功率与对新物体位置、类别和背景的泛化。

cuRoboV2: Dynamics-Aware Motion Generation with Depth-Fused Distance Fields for High-DoF Robots Figure 1
arXiv preprint2026-03

cuRoboV2: Dynamics-Aware Motion Generation with Depth-Fused Distance Fields for High-DoF Robots

Balakumar Sundaralingam, Adithyavairavan Murali, Stan Birchfield

人形机器人机器人学习操作运动生成

cuRoboV2针对现有运动生成在动力学可执行性、深度感知反应速度和高自由度扩展上的割裂问题,采用B样条轨迹优化约束平滑性与力矩,结合GPU原生TSDF/ESDF距离场和可扩展全身运动学、逆动力学、自碰撞计算。实验显示其在3kg载荷规划、高自由度人形IK和重定向任务上显著优于基线,并支持从单臂到人形机器人的统一运动生成。

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos Figure 1
arXiv preprint2026-02

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

Shenyuan Gao, William Liang, Kaiyuan Zheng, Ayaan Malik, Seonghyeon Ye, Sihyun Yu, Wei-Cheng Tseng, Yuzhu Dong, Kaichun Mo, Chen-Hsuan Lin, Qianli Ma, Seungjun Nah, Loic Magne, Jiannan Xiang, Yuqi Xie, Ruijie Zheng, Dantong Niu, You Liang Tan, K. R. Zentner, George Kurian, Suneel Indupuru, Pooya Jannaty, Jinwei Gu, Jun Zhang, Jitendra Malik, Pieter Abbeel, Ming-Yu Liu, Yuke Zhu, Joel Jang

NVIDIA, HKUST, UC Berkeley, Stanford, KAIST, UCSD, UT Austin

人形机器人机器人学习操作模仿学习世界模型

针对机器人世界模型受限于小规模带动作机器人数据、难以泛化到开放接触任务的问题,DreamDojo用4.4万小时第一视角人类视频预训练,并以连续潜在动作统一无标注视频中的交互信号,再用少量目标机器人数据后训练。结果显示其在OOD物体和场景中具备更好的物理预测与动作可控性,蒸馏后可达10.81 FPS,支持实时遥操作、策略评估和模型规划。

HumanoidVLM: Vision-Language-Guided Impedance Control for Contact-Rich Humanoid Manipulation Figure 1
arXiv preprint2026-01

HumanoidVLM: Vision-Language-Guided Impedance Control for Contact-Rich Humanoid Manipulation

Yara Mahmoud, Yasheerah Yaqoot, Miguel Altamirano Cabrera, Dzmitry Tsetserukou

Skolkovo Institute of Science and Technology

人形机器人机器人学习操作视觉语言动作感知

针对人形机器人在接触丰富操作中仍依赖固定、手调阻抗和夹爪参数的问题,HumanoidVLM用头部RGB图像经VLM判别任务,再通过FAISS-RAG从小规模人工验证数据库检索刚度、阻尼与抓取角,并接入Unitree G1任务空间阻抗控制。14个场景检索准确率93%,实机z轴误差约1–3.5 cm;但评估规模和任务多样性有限,更像可行性验证。

Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation Figure 1
arXiv preprint2026-01

Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation

Xuetao Li, Wenke Huang, Mang Ye, Jifeng Xuan, Bo Du, Sheng Liu, Miao Li

人形机器人机器人学习操作

针对人形机器人在开放场景中语义规划与物理可执行性脱节、且示教数据稀缺的问题,论文提出 RGMP-S:用轻量 2D 几何先验增强 VLM 的长程技能选择,并以递归自适应脉冲网络建模机器人—物体时空交互以提升样本效率。实验覆盖 Maniskill 与三类真实机器人,显示其在未见环境和长程操作中优于现有基线。

Genie Sim 3.0 : A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot Figure 1
arXiv preprint2026-01

Genie Sim 3.0 : A High-Fidelity Comprehensive Simulation Platform for Humanoid Robot

Chenghao Yin, Da Huang, Di Yang, Jichao Wang, Nanshu Zhao, Chen Xu, Wenjun Sun, Linjie Hou, Zhijun Li, Junhui Wu, Zhaobo Liu, Zhen Xiao, Sheng Zhang, Lei Bao, Rui Feng, Zhenquan Pang, Jiayu Li, Qian Wang, Maoqing Yao

人形机器人机器人学习操作

面向VLA/人形机器人操作中真实数据昂贵、仿真基准碎片化且难以规模评测的问题,Genie Sim 3.0将LLM驱动的自然语言场景生成、资产检索、域随机化与LLM/VLM自动评测整合到高保真仿真平台中。系统开源5140个资产、200余任务上万小时合成数据和10万级评测场景;实验显示其数据具备一定零样本sim-to-real能力,但具体增益可能主要来自scaling/data。

SafeHumanoid: VLM-RAG-driven Control of Upper Body Impedance for Humanoid Robot Figure 1
arXiv preprint2025-11

SafeHumanoid: VLM-RAG-driven Control of Upper Body Impedance for Humanoid Robot

Yara Mahmoud, Jeffrin Sam, Nguyen Khang, Marcelino Fernando, Issatay Tokmurziyev, Miguel Altamirano Cabrera, Muhammad Haris Khan, Artem Lykov, Dzmitry Tsetserukou

Skolkovo Institute of Science and Technology

人形机器人机器人学习操作视觉语言动作安全恢复

面向人形机器人在人旁操作时仅靠固定阻抗或几何避障难以兼顾效率与安全的问题,SafeHumanoid用第一视角VLM理解任务、人和物体语义,再通过RAG检索经验证的刚度、阻尼与速度参数,并接入逆运动学执行。Unitree G1上的擦拭、递交、倒液实验显示其能随场景降低速度和顺应性、保持任务成功并优于固定增益;但离板推理最高约1.4秒,动态交互响应仍受限。

Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations Figure 1
arXiv preprint2025-11

Dexterity from Smart Lenses: Multi-Fingered Robot Manipulation with In-the-Wild Human Demonstrations

Irmak Guzey, Haozhi Qi, Julen Urain, Changhao Wang, Jessica Yin, Krishna Bodduluri, Mike Lambeta, Lerrel Pinto, Akshara Rai, Jitendra Malik, Tingfan Wu, Akash Sharma, Homanga Bharadhwaj

New York University, Meta

人形机器人机器人学习操作模仿学习灵巧操作

针对灵巧手从人类日常演示学习时受限于具身差异和野外视频缺少可靠3D线索的问题,Aina利用Aria Gen 2智能眼镜采集自中心RGB、深度与手部3D姿态,将人类视频提升为手关键点和物体点云的3D闭环策略表示,从而在无需机器人数据、仿真或在线修正的情况下迁移到多指机器人。实验覆盖9个日常操作任务,并优于既有人到机器人学习方法。

RGMP: Recurrent Geometric-prior Multimodal Policy for Generalizable Humanoid Robot Manipulation Figure 1
arXiv preprint2025-11

RGMP: Recurrent Geometric-prior Multimodal Policy for Generalizable Humanoid Robot Manipulation

Xuetao Li, Wenke Huang, Nengyuan Pan, Kaiyan Zhao, Songhua Yang, Yiming Wang, Mengde Li, Mang Ye, Jifeng Xuan, Miao Li

人形机器人机器人学习操作

本文针对人形机器人操作中纯数据驱动方法缺少几何推理、示教需求高的问题,提出 RGMP,将带几何先验的 VLM 技能选择器与递归高斯视觉运动策略结合,用形状/空间约束辅助未见场景下的技能决策,并以紧凑统计表示提升少样本动作生成。真实人形与桌面机器人实验中,泛化任务成功率达 87%,数据效率较对比 SOTA 提高约 5 倍。

Lightning Grasp: High Performance Procedural Grasp Synthesis with Contact Fields Figure 1
arXiv preprint2025-11

Lightning Grasp: High Performance Procedural Grasp Synthesis with Contact Fields

Zhao-Heng Yin, Pieter Abbeel

UC Berkeley EECS

人形机器人机器人学习操作灵巧操作运动生成

面向灵巧手实时、多样化抓取生成仍慢且依赖初始化和权重调参的问题,Lightning Grasp 将几何计算与搜索解耦,用 Contact Field 预表示物体可接触区域,再经分块零阶接触优化和运动学优化生成抓取。在 A100 上单次前向 2–5 秒可产出约 1000–10000 个有效抓取,较既有方法实现数量级加速,并支持不规则工具类物体的无监督生成。

EgoMI: Learning Active Vision and Whole-Body Manipulation from Egocentric Human Demonstrations Figure 1
arXiv preprint2025-11

EgoMI: Learning Active Vision and Whole-Body Manipulation from Egocentric Human Demonstrations

Justin Yu, Yide Shentu, Di Wu, Pieter Abbeel, Ken Goldberg, Philipp Wu

UC Berkeley

人形机器人机器人学习操作模仿学习感知

EgoMI针对从第一视角人类示教学习操作时,固定相机难以复现人类“先看再动”的头手协同而产生分布偏移的问题,提出同步采集并重定向头部与末端轨迹的示教接口,并用SPARKS从历史头部视角中选择关键帧形成空间记忆。真实双臂半人形机器人实验显示,显式建模头部运动和记忆的策略稳定优于无头部或单帧基线,可在无需机器人数据、渲染或增强的情况下完成迁移。

Endowing GPT-4 with a Humanoid Body: Building the Bridge Between Off-the-Shelf VLMs and the Physical World Figure 1
arXiv preprint2025-11

Endowing GPT-4 with a Humanoid Body: Building the Bridge Between Off-the-Shelf VLMs and the Physical World

Yingzhao Jian, Zhongan Wang, Yi Yang, Hehe Fan

College of Computer Science and Technology, Zhejiang University, Hangzhou, Zhejiang, China

人形机器人机器人学习操作视觉语言动作

针对人形机器人在开放物理环境中依赖大规模交互数据、泛化成本高的问题,BiBo尝试直接利用现成 GPT-4o 等 VLM 的开放世界推理能力:用具身指令编译器将自然语言与场景观察转成带参数的结构化动作命令,再由结合环境反馈的潜扩散运动执行器生成连续全身动作。实验中开放环境交互成功率达 90.2%,文本引导运动精度较既有方法提升 16.3%。

A Humanoid Visual-Tactile-Action Dataset for Contact-Rich Manipulation Figure 1
arXiv preprint2025-10

A Humanoid Visual-Tactile-Action Dataset for Contact-Rich Manipulation

Eunju Kwon, Seungwon Oh, In-Chang Baek, Yucheon Park, Gyungbo Kim, JaeYoung Moon, Yunho Choi, Kyung-Joong Kim

人形机器人机器人学习操作数据集/基准感知

针对现有操作数据集多聚焦刚体、触觉压力条件不足的问题,论文构建了人形机器人视觉-触觉-动作数据集,用灵巧手在毛巾、海绵等软物体上采集101.9K帧强/弱压力交互,并比较密集与稀疏触觉表示。分析显示软物体接触分布随时间显著变化,密集触觉更能区分任务条件;但模仿学习中测试增益有限,作者认为受高维噪声与优化困难制约。

Towards Proprioception-Aware Embodied Planning for Dual-Arm Humanoid Robots Figure 1
arXiv preprint2025-10

Towards Proprioception-Aware Embodied Planning for Dual-Arm Humanoid Robots

Boyu Li, Siyuan He, Hang Xu, Haoqi Yuan, Xinrun Xu, Yu Zang, Liwei Hu, Junpeng Yue, Zhenxiong Jiang, Pengbo Hu, Börje F. Karlsson, Yehui Tang, Zongqing Lu

Institute of Automation, Chinese Academy of Sciences, University of Chinese Academy of Sciences, Beijing Academy of Artificial Intelligence, AgiBot, School of Computer Science, Peking University, BeingBeyond

人形机器人机器人学习操作规划

面向双臂人形机器人长程操作,现有 MLLM 规划器缺少合适仿真数据与本体感知,难以处理左右臂选择、身体姿态和可达性约束。论文构建 DualTHOR 双臂人形仿真与任务基准,并提出 Proprio-MLLM,将本体信息通过运动位置嵌入和跨空间编码器融入多模态规划。实验显示在该环境中现有模型表现受限,Proprio-MLLM 平均规划性能提升 19.75%。

Residual Off-Policy RL for Finetuning Behavior Cloning Policies Figure 1
arXiv preprint2025-09

Residual Off-Policy RL for Finetuning Behavior Cloning Policies

Lars Ankile, Zhenyu Jiang, Rocky Duan, Guanya Shi, Pieter Abbeel, Anusha Nagabandi

Amazon FAR (Frontier AI & Robotics), Stanford University, Carnegie Mellon University, UC Berkeley

人形机器人机器人学习操作强化学习

论文针对行为克隆依赖高质量示范、数据采集成本高且性能易饱和,以及真实机器人强化学习样本效率和安全性不足的问题,提出 ResFiT:将任意 BC 策略作为黑盒基座,用离策略 RL 学习逐步残差修正。方法仅需稀疏二值奖励,在仿真视觉操作任务中达到领先表现,并展示了在人形双手机器人上真实在线 RL 微调的成功案例。

MimicDroid: In-Context Learning for Humanoid Robot Manipulation from Human Play Videos Figure 1
arXiv preprint2025-09

MimicDroid: In-Context Learning for Humanoid Robot Manipulation from Human Play Videos

Rutav Shah, Shuijing Liu, Qi Wang, Zhenyu Jiang, Sateesh Kumar, Mingyo Seo, Roberto Martín-Martín, Yuke Zhu

The University of Texas at Austin Amazon Consumer Robotics NVIDIA

人形机器人机器人学习操作模仿学习

面向家庭人形机器人在新物体、新环境中仅凭少量示范快速学会操作的问题,MimicDroid用无标注人类 play 视频替代昂贵遥操作数据,通过检索相似操作片段构造上下文-目标对进行Meta-ICL训练,并以RGB估计手腕姿态重定向到机器人、随机遮挡缓解具身视觉差异。论文还提出少样本人形操作仿真基准;实验显示其优于任务条件化和微调基线,真实场景成功率接近翻倍,且随训练视频规模扩大继续提升。

Masquerade: Learning from In-the-wild Human Videos using Data-Editing Figure 1
arXiv preprint2025-08

Masquerade: Learning from In-the-wild Human Videos using Data-Editing

Marion Lepert, Jiaying Fang, Jeannette Bohg

Stanford University

人形机器人机器人学习操作模仿学习

针对机器人操作数据稀缺且人类视频与机器人存在视觉 embodiment gap 的问题,Masquerade 将野外第一视角人类视频经手姿估计、人体修复去除与双臂机器人渲染覆盖,转成“机器人化”示范,并在预训练未来2D关键点预测后与少量真实示范共同训练扩散策略。仅每任务50条机器人数据时,在三类长程双臂厨房任务和未见场景中较基线提升约5–6倍,消融表明机器人覆盖与共训练缺一不可。

TOP: Time Optimization Policy for Stable and Accurate Standing Manipulation with Humanoid Robots Figure 1
arXiv preprint2025-08

TOP: Time Optimization Policy for Stable and Accurate Standing Manipulation with Humanoid Robots

Haodong Zhang, Liang Zhang, He Li, Dongqi Wang, Jiyu Yu, Yifei Yang, Zhongxiang Zhou, Rong Xiong

The State Key Laboratory of Industrial Control and Technology of Zhejiang University, Department of Engineering Mechanics of Zhejiang University, Zhejiang Humanoid Robot Innovation Center

人形机器人机器人学习操作

该文针对人形机器人站立操作中上肢快速运动会引入动量扰动、导致下肢难以稳住且影响末端精度的问题,提出 TOP 时间优化策略:不只增强下肢抗扰,而是结合上肢运动先验 VAE、上肢 PD 精确跟踪与下肢 RL 平衡控制,学习调整上肢轨迹时间戳以在速度、稳定性和精度间折中。仿真与实机实验显示,该方法能更稳定、准确地完成站立操作任务。

H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation Figure 1
arXiv preprint2025-07

H-RDT: Human Manipulation Enhanced Bimanual Robotic Manipulation

Hongzhe Bi, Lingxuan Wu, Tianwei Lin, Hengkai Tan, Zhizhong Su, Hang Su, Jun Zhu

人形机器人机器人学习操作

针对高质量机器人示教稀缺、跨机器人形态训练困难的问题,H-RDT把大规模第一视角人类操作视频及3D手姿态作为操作先验,先在人类数据上预训练,再用模块化动作编码/解码器适配不同机器人,并以2B扩散Transformer和flow matching建模动作分布。仿真和真实双臂任务中优于从零训练及π0、RDT,相比从零训练分别提升13.9%和40.5%。

Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos, / Figure 1
arXiv preprint2025-07

Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos, /

Hao Luo, Yicheng Feng, Wanpeng Zhang, Sipeng Zheng, Ye Wang, Haoqi Yuan, Jiazheng Liu, Chaoyi Xu, Qin Jin, Zongqing Lu

Peking University, Renmin University of China

人形机器人机器人学习操作模仿学习视觉语言动作

针对灵巧操作 VLA 受限于遥操作数据规模小、仿真到现实差距大的问题,Being-H0 将人手视为“基础操作器”,用 UniHand 大规模人类视频进行物理指令调优,并通过物理空间对齐与部件级运动离散化显式建模精细手部轨迹。实验显示其在手部运动生成、指令跟随和真实机器人灵巧操作中均有提升,但部分收益可能主要来自数据与模型规模扩展。

EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos Figure 1
arXiv preprint2025-07

EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos

Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Xuxin Cheng, Ri-Zhao Qiu, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, Xiaolong Wang

UC San Diego, MIT, NVIDIA

人形机器人机器人学习操作模仿学习视觉语言动作

EgoVLA针对机器人模仿学习受真实机器人采集成本限制、任务与场景规模不足的问题,提出先在第一视角人类操作视频上训练VLA预测手腕与手部动作,再通过逆运动学和手部重定向映射到人形机器人,并用少量机器人示范微调。作者还构建IsaacSim双手操作基准,结果显示其在短程和长程任务上优于专用与通用基线,并具备更好的视觉和空间泛化。

Robot Drummer: Learning Rhythmic Skills for Humanoid Drumming Figure 1
arXiv preprint2025-07

Robot Drummer: Learning Rhythmic Skills for Humanoid Drumming

Asad Ali Shahid, Francesco Braghin, Loris Roveda

人形机器人机器人学习操作

这篇工作针对人形机器人在音乐表演中需长时间保持精确节拍、多肢体快速接触与空间协调的难题,将鼓谱从 MIDI 转为“节奏接触链”,并把整首歌切成固定片段,用统一强化学习策略和密集接触奖励并行训练。实验覆盖 30 多首摇滚、金属和爵士曲目,单曲专家策略常取得 0.9 以上 F1,并自发形成交叉击打、鼓槌动态分配等类人策略;但多曲通用策略明显退化,实机迁移仍文中未充分验证。

Hierarchical Vision-Language Planning for Multi-Step Humanoid Manipulation Figure 1
arXiv preprint2025-06

Hierarchical Vision-Language Planning for Multi-Step Humanoid Manipulation

André Schakkal, Ben Zandonati, Zhutian Yang, Navid Azizan

Massachusetts Institute of Technology

人形机器人机器人学习操作视觉语言动作感知

针对人形机器人从单一技能走向长程多步操作时难以自主排序、切换并确认执行结果的问题,本文在RL全身跟踪控制和IL技能策略之上加入VLM规划器与执行监视器,用视觉语言模型选择技能并实时判定完成状态。在Unitree G1非抓取式搬运任务40次实机实验中,完整序列成功率为73%,说明该分层方案具备可行性,但泛化到更复杂任务的证据仍有限。

Vision in Action: Learning Active Perception from Human Demonstrations Figure 1
arXiv preprint2025-06

Vision in Action: Learning Active Perception from Human Demonstrations

Haoyu Xiong, Xiaomeng Xu, Jimmy Wu, Yifan Hou, Jeannette Bohg, Shuran Song

Stanford University

人形机器人机器人学习操作模仿学习感知

针对双臂操作中腕部或固定相机易受遮挡、且难以记录人类主动观察策略的问题,ViA 用现成 6-DoF 机械臂充当“机器人脖子”,并通过带中间 3D 场景表示的 VR 共享观察遥操作,低延迟采集搜索、跟踪、聚焦等视角行为用于模仿学习。在三个多阶段遮挡任务中,相比腕相机和胸前固定相机等基线成功率提升约 45%。

DreamGen: Unlocking Generalization in Robot Learning through Neural Trajectories Figure 1
arXiv preprint2025-05

DreamGen: Unlocking Generalization in Robot Learning through Neural Trajectories

Joel Jang, Seonghyeon Ye, Zongyu Lin, Jiannan Xiang, Johan Bjorck, Yu Fang, Fengyuan Hu, Spencer Huang, Kaushil Kundalia, Yen-Chen Lin, Loic Magne, Ajay Mandlekar, Avnish Narayan, You Liang Tan, Guanzhi Wang, Jing Wang, Qi Wang, Yinzhen Xu, Xiaohui Zeng, Kaiyuan Zheng, Ruijie Zheng, Ming-Yu Liu, Luke Zettlemoyer, Dieter Fox, Jan Kautz, Scott Reed, Yuke Zhu, Linxi Fan

NVIDIA University of Washington KAIST UCLA UCSD, CalTech NTU University of Maryland UT Austin

人形机器人机器人学习操作

DreamGen针对机器人学习依赖大量人工遥操作、仿真又有工程成本和sim2real差距的问题,把视频世界模型从在线规划器转为合成数据生成器:先适配目标机器人,再按初始帧和语言生成视频,并用IDM或潜动作模型补伪动作形成“神经轨迹”。实验中少量真实数据即可提升多机器人任务成功率,并让GR1仅凭单一环境的抓放数据学习22种新行为,在已见/未见环境达43.2%/28.5%成功率;但算力开销很高。

EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video Figure 1
ICLR 20262025-05

EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video

Ryan Hoque, Peide Huang, David J. Yoon, Mouli Sivapurapu, Jian Zhang

人形机器人机器人学习操作灵巧操作感知

针对机器人灵巧操作模仿学习缺少可规模化数据的问题,EgoDex选择用Apple Vision Pro采集第一视角人类操作视频,并同步获得头、手腕和手指关节3D轨迹,形成829小时、约9000万帧、33.8万段示范、194类桌面任务的数据集与手轨迹预测基准。实验显示编码器-解码器通常优于decoder-only,扩散/flow matching在best-of-K下更好,视觉目标条件显著降低误差;整体增益可能主要来自scaling/data。

Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation Figure 1
arXiv preprint2025-03

Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation

Abhiram Maddukuri, Zhenyu Jiang, Lawrence Yunliang Chen, Soroush Nasiriany, Yuqi Xie, Yu Fang, Wenqi Huang, Zu Wang, Zhenjia Xu, Nikita Chernyadev, Scott Reed, Ken Goldberg, Ajay Mandlekar, Linxi Fan, Yuke Zhu

UT Austin NVIDIA UC Berkeley New York University

人形机器人机器人学习操作感知

针对真实机器人示教数据昂贵、纯仿真迁移又需填补现实差距的问题,本文系统研究将仿真与真实数据混合共训练视觉操作策略,并给出实践配方:仿真不必精确复现实物,任务相关或多样化的既有仿真数据都可补充真实数据、提升泛化。在机械臂与人形机器人多类操作任务上,共训练相较仅用真实数据平均提升约38%,但复杂液体、柔性物体等场景仍受仿真准确性限制。

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots Figure 1
arXiv preprint2025-03

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li, Zongyu Lin, Kevin Lin, Guilin Liu, Edith Llontop, Loic Magne, Ajay Mandlekar, Avnish Narayan, Soroush Nasiriany, Scott Reed, You Liang Tan, Guanzhi Wang, Zu Wang, Jing Wang, Qi Wang, Jiannan Xiang

NVIDIA

人形机器人机器人学习操作

面向人形机器人缺少大规模统一数据、难以在开放任务中泛化的问题,GR00T N1 将预训练 VLM 推理与 DiT/flow-matching 动作生成端到端耦合,并用人类视频、合成数据和真机轨迹构成“数据金字塔”缓解数据孤岛。实验显示其在多具身仿真基准优于模仿学习基线,并在 GR-1 上完成语言条件双臂操作且具较高数据效率。

Humanoid Policy ~ Human Policy Figure 1
arXiv preprint2025-03

Humanoid Policy ~ Human Policy

Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David Yoon, Ryan Hoque, Lars Paulsen, Ge Yang, Jian Zhang, Sha Yi, Guanya Shi, Xiaolong Wang

UC San Diego, CMU, University of Washington, MIT

人形机器人机器人学习操作

针对人形机器人操作数据依赖昂贵遥操作、难以规模化的问题,论文将第一视角人类示范作为跨具身训练来源,构建任务导向 PH2D 数据集,并用 HAT 在统一的人类中心状态—动作空间中联合建模人和人形机器人,再通过 IK 与手部重定向部署。实机实验表明,少量机器人数据与多样人类数据共训练可提升空间变化、背景扰动下的泛化与鲁棒性,收益可能主要来自更高效的数据 scaling。

Humanoids in Hospitals: A Technical Study of Humanoid Surrogates for Dexterous Medical Interventions Figure 1
arXiv preprint2025-03

Humanoids in Hospitals: A Technical Study of Humanoid Surrogates for Dexterous Medical Interventions

Soofiyan Atar, Xiao Liang, Calvin Joyce, Florian Richter, Wood Ricardo, Charles Goldberg, Preetham Suresh, Michael Yip

University of California San Diego, La Jolla, CA USA, Electrical and Computer Engineering Department, University of California San Diego, La Jolla, CA USA

人形机器人机器人学习操作灵巧操作

面向医院老龄化与医护短缺带来的临床人力压力,本文不再只讨论人形机器人搬运等非临床任务,而是用 Unitree G1 构建双臂遥操作医疗替身,结合高精度姿态/手势跟踪、定制抓取与阻抗控制来操作医疗工具。在七类模拟检查、急救和针类任务中,机器人能复现部分关键操作,通气和超声引导任务表现较有希望,但高力量操作与传感灵敏度仍限制临床准确性。

Unified Video Action Model Figure 1
arXiv preprint2025-03

Unified Video Action Model

Shuang Li, Yihuai Gao, Dorsa Sadigh, Shuran Song

Stanford University

人形机器人机器人学习操作

UVA针对机器人中视频生成有助于理解动力学、但直接生成视频会拖慢动作推理且误差传播的问题,将视频与动作联合编码到统一潜空间,并用解耦的轻量扩散头分别预测视频和动作,使推理时可跳过视频生成;再通过掩码训练兼容策略学习、正/逆动力学和视频生成。实验在7个基准上达到或超过专用方法,多任务PushT成功率提升20%、Libero10提升5%,速度接近Diffusion Policy。

Dexterous Safe Control for Humanoids in Cluttered Environments via Projected Safe Set Algorithm Figure 1
arXiv preprint2025-02

Dexterous Safe Control for Humanoids in Cluttered Environments via Projected Safe Set Algorithm

Rui Chen, Yifan Sun, Changliu Liu

Robotics Institute, Carnegie Mellon University

人形机器人机器人学习操作安全恢复灵巧操作

针对人形机器人在拥挤环境中用粗包围体避障过于保守、而肢体级外碰/自碰约束又易使安全控制 QP 不可行的问题,论文将灵巧安全视为多约束安全控制,并提出 p-SSA 以投影方式有原则地放松冲突约束、最小化安全违背以保持可解。仿真和 Unitree G1 实机复杂避障表明,该方法在无需重新调参下可迁移到多任务,并在困难场景中维持较小碰撞风险/安全违背。

MobileH2R: Learning Generalizable Human to Mobile Robot Handover Exclusively from Scalable and Diverse Synthetic Data Figure 1
arXiv preprint2025-01

MobileH2R: Learning Generalizable Human to Mobile Robot Handover Exclusively from Scalable and Diverse Synthetic Data

Zifan Wang, Ziqing Chen, Junyu Chen, Jilong Wang, Yuxin Yang, Yunze Liu, Xueyi Liu, He Wang, Li Yi

Tsinghua University, Peking University, Shanghai Artificial Intelligence Laboratory, Shanghai Qi Zhi Institute

人形机器人机器人学习操作灵巧操作

MobileH2R面向移动机器人在大工作空间中接收人类递物的问题,动机是实机采集人机交互示教成本高且有安全风险。论文的核心洞察是仅用高质量合成数据也可学习可泛化交接技能,并提出全身人类动作合成、安全且易模仿的自动示教生成,以及融合人体/物体4D视觉输入的基座-机械臂协同模仿学习。仿真和真实实验均优于基线,成功率至少提升15%,碰撞约降三分之一,增益可能主要来自scaling/data与更安全的示教设计。

ARMADA: Augmented Reality for Robot Manipulation and Robot-Free Data Acquisition Figure 1
arXiv preprint2024-12

ARMADA: Augmented Reality for Robot Manipulation and Robot-Free Data Acquisition

Nataliya Nechyporenko, Ryan Hoque, Christopher Webb, Mouli Sivapurapu, Jian Zhang

人形机器人机器人学习操作

ARMADA针对模仿学习数据采集受实体机器人数量限制的问题,用 Apple Vision Pro 在真实场景中叠加机器人数字孪生,让用户裸手演示时实时看到动作会如何映射到机器人运动,从而减少人机 embodiment gap。15名用户在3个任务中采集675条无机器人演示,带实时AR反馈的轨迹可直接在实体机器人回放,平均成功率由无反馈的1.3%提升到71.1%。

Object-Centric Dexterous Manipulation from Human Motion Data Figure 1
arXiv preprint2024-11

Object-Centric Dexterous Manipulation from Human Motion Data

Yuanpei Chen, Chen Wang, Yaodong Yang, C. Karen Liu

Stanford University, Peking University

人形机器人机器人学习操作模仿学习灵巧操作

面向双臂多指手的物体中心操作,论文针对纯强化学习动作维度高、直接重定向人手又受形态差异影响的问题,提出“腕部可模仿、手指需适配”的分层框架:用人类动捕学习高层腕部轨迹生成器,再以强化学习训练低层手指与残差腕部控制。实验覆盖10类家用物体,显示优于基线,并能泛化到新几何和目标轨迹,且完成仿真到真实双手机器人的迁移。

DexHub and DART: Towards Internet-Scale Robot Data Collection Figure 1
arXiv preprint2024-11

DexHub and DART: Towards Internet-Scale Robot Data Collection

Younghyo Park, Jagdeep Singh Bhatia, Lars Ankile, Pulkit Agrawal

Improbable AI Lab at MIT

人形机器人机器人学习操作

论文针对机器人操作数据稀缺、真实采集依赖硬件/场景搭建且重置疲劳、难以互联网规模扩展的问题,提出基于云端仿真与 AR 交互的 DART 众包遥操作平台,并将数据自动汇入 DexHub。用户研究显示其在精细操作任务上数据采集吞吐约提升 2.1×、身心负担更低;用 DART 数据训练的策略可迁移到真实机器人,并对未见视觉扰动更鲁棒。

Learning to Look Around: Enhancing Teleoperation and Learning with a Human-like Actuated Neck Figure 1
arXiv preprint2024-11

Learning to Look Around: Enhancing Teleoperation and Learning with a Human-like Actuated Neck

Bipasha Sen, Michelle Wang, Nandini Thakur, Aditya Agarwal, Pulkit Agrawal

MIT Computer Science and Artificial Intelligence Laboratory

人形机器人机器人学习操作

针对遥操作采集示教时视野受限、遮挡导致操作者负担高且数据分布不佳的问题,论文在类人移动操作平台上加入可随头部控制的 5 自由度主动“脖子”,让相机能倾斜、转动并探出遮挡获得动态第一视角。实验显示其在 7 个遥操作任务中提升情境感知与效率,并在 3 个模仿学习任务中相比固定广角相机带来更好的空间理解、泛化和鲁棒性。

EgoMimic: Scaling Imitation Learning via Egocentric Video Figure 1
arXiv preprint2024-10

EgoMimic: Scaling Imitation Learning via Egocentric Video

Simar Kareer, Dhruv Patel, Ryan Punamiya, Pranay Mathur, Shuo Cheng, Chen Wang, Judy Hoffman, Danfei Xu

Georgia Institute of Technology, GA, USA. Stanford University, CA, USA, Georgia Institute of Technology, GA, USA, Stanford University, CA, USA

人形机器人机器人学习操作模仿学习感知

针对机器人模仿学习难以获得大规模、多样示教且纯遥操作数据成本高的问题,EgoMimic将第一视角人类视频与3D手部轨迹视为可与机器人示教同等使用的具身数据,通过Aria眼镜、低成本双臂平台、坐标/动作/视觉域对齐和统一策略联合训练来缩小人机差异。真实长时程单臂与双臂任务中,其相对提升最高约200%,并能泛化到仅在人类数据中出现的物体和场景;结果也显示新增手部数据比等时长机器人数据更有价值,增益可能主要来自scaling/data。

Learning to Look: Seeking Information for Decision Making via Policy Factorization Figure 1
arXiv preprint2024-10

Learning to Look: Seeking Information for Decision Making via Policy Factorization

Shivin Dass, Jiaheng Hu, Ben Abbatematteo, Peter Stone, Roberto Martín-Martín

The University of Texas at Austin, Sony AI

人形机器人机器人学习操作

这篇论文针对机器人操作中关键信息并非总在视野内的问题,强调机器人需要先主动“看”或交互探索,再决定如何操作。核心做法是将任务建模为因子化 CMDP,并用 DISaM 分离信息搜寻策略与信息接收/操作策略,前者由后者的不确定性和内在奖励驱动。实验覆盖 3 个仿真和 2 个真实操作任务,显示其在长时程、多阶段需切换观察与操作的场景中显著优于联合 RL、随机观察等基线。

OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation Figure 1
arXiv preprint2024-10

OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation

Jinhan Li, Yifeng Zhu, Yuqi Xie, Zhenyu Jiang, Mingyo Seo, Georgios Pavlakos, Yuke Zhu

UT Austin NVIDIA Research

人形机器人机器人学习操作模仿学习

OKAMI 面向人形机器人学习操作技能时依赖大量全身遥操作示范、成本高的问题,尝试让机器人仅从单段 RGB-D 人类视频中学会任务。其核心是对象感知的运动重定向:用开放世界视觉模型识别/定位任务物体,将身体轨迹与手部姿态分解重定向,并在部署时按物体位置调整。实验显示其平均成功率达 71.7%,较 ORION 高 58.3%,用生成轨迹训练闭环视觉运动策略后成功率为 79.2%。

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies Figure 1
arXiv preprint2024-10

Generalizable Humanoid Manipulation with Improved 3D Diffusion Policies

Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

Stanford University Simon Fraser University UPenn UIUC, CMU

人形机器人机器人学习操作运动生成

针对人形机器人操作常被限制在训练场景、跨场景采数昂贵的问题,本文构建了带升降小车和头部 LiDAR 的 25DoF 上半身平台,并用全上身遥操作采集类人数据,将 DP3 改为自我中心的 iDP3 以减少标定和分割依赖、适应噪声人类示教。实机 2000 余次评测显示,仅用单一场景数据和板载计算,机器人可在厨房、会议室、办公室等未见场景零样本执行抓放、倒水、擦拭等任务。

ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation Figure 1
arXiv preprint2024-08

ACE: A Cross-Platform Visual-Exoskeletons System for Low-Cost Dexterous Teleoperation

Shiqi Yang, Minghuan Liu, Yuzhe Qin, Runyu Ding, Jialong Li, Xuxin Cheng, Ruihan Yang, Sha Yi, Xiaolong Wang

UC San Diego

人形机器人机器人学习操作灵巧操作感知遥操作

面向机器人学习中跨平台示教数据采集成本高、硬件绑定强的问题,ACE将低成本手部朝向相机与3D打印外骨骼结合:视觉估计手指姿态,外骨骼用运动学提供更稳的腕/末端位姿,再通过IK与手部重定向适配人形手、机械臂夹爪、四足夹爪等平台。实验表明用户可较快适应并完成不同精度和工作空间任务,也能采集有效模仿学习数据;局限是相机支架影响双手靠近和部分旋转操作直觉性。

Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning Figure 1
arXiv preprint2024-07

Bunny-VisionPro: Real-Time Bimanual Dexterous Teleoperation for Imitation Learning

Runyu Ding, Yuzhe Qin, Jiyue Zhu, Chengzhe Jia, Shiqi Yang, Ruihan Yang, Xiaojuan Qi, Xiaolong Wang

The University of Hong Kong, University of California, San Diego

人形机器人机器人学习操作模仿学习灵巧操作遥操作

针对双臂高自由度灵巧手遥操作中协调复杂、延迟与安全约束难兼顾的问题,Bunny-VisionPro利用Vision Pro手/腕追踪,结合实时避碰与奇异规避、可处理闭链手指机构的重定向,以及低成本ERM触觉反馈来采集示教。在Telekinesis任务上成功率提升11%、完成时间减少45%,其示教训练的模仿学习在新姿态和未见物体上泛化提升20%。

Open-TeleVision: Teleoperation with Immersive Active Visual Feedback Figure 1
arXiv preprint2024-07

Open-TeleVision: Teleoperation with Immersive Active Visual Feedback

Xuxin Cheng, Jialong Li, Shiqi Yang, Ge Yang, Xiaolong Wang

UC San Diego MIT

人形机器人机器人学习操作感知遥操作

面向模仿学习中高质量真机示教难采集的问题,Open-TeleVision将VR遥操作与机器人头部主动双目视觉结合,让操作者以第一人称立体视角移动“机器人头”并同步映射手臂/手部动作。其关键洞察是主动凝视可减少遮挡并聚焦任务相关区域,双目输入提供精细操作所需深度线索。论文在H1和GR-1两类人形机器人上完成分拣、插罐、折叠、卸载等长程任务,显示双目与主动视觉提升遥操作效率、策略成功率和实时推理速度。

Learning Visuotactile Skills with Two Multifingered Hands Figure 1
arXiv preprint2024-04

Learning Visuotactile Skills with Two Multifingered Hands

Toru Lin, Yu Zhang, Qiyang Li, Haozhi Qi, Brent Yi, Sergey Levine, Jitendra Malik

University of California, Berkeley

人形机器人机器人学习操作灵巧操作触觉

为突破双臂操作中平行夹爪难以实现类人灵巧性、触觉硬件和遥操作数据采集不足的问题,论文构建了低成本 HATO 双手双臂遥操作系统,并改造带触觉的假肢手采集视觉-触觉示教数据。实验显示,数百次示教即可端到端学会长时程高精度任务;消融表明触觉、视觉和腕部相机显著提升成功率与鲁棒性。

DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation Figure 1
arXiv preprint2024-03

DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation

Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, C. Karen Liu

Stanford University

人形机器人机器人学习操作灵巧操作

针对灵巧手模仿学习中遥操作采集昂贵、视觉手部跟踪易遮挡且难提供精确3D位姿的问题,DexCap将EMF手套、腕部SLAM相机和胸前RGB-D LiDAR整合为便携采集系统,并用DexIL通过IK重定向与点云扩散式行为克隆把人手动作转为机器人策略,可选人工纠偏。六个灵巧操作任务显示其优于对比方法,并能利用野外动捕数据学习。

No Figure
Science Robotics 2026.012026-01

Visual-tactile pretraining and online multitask learning for humanlike manipulation dexterity

Qi Ye, Qingtao Liu, Siyun Wang, Jiaying Chen, Yu Cui, Ke Jin, Huajin Chen, Xuan Cai, Gaofeng Li, Jiming Chen

College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China, Zhejiang University, School of Automation, Hangzhou Dianzi University, Hangzhou 310018, China, Hangzhou Dianzi University

人形机器人机器人学习操作灵巧操作感知

全文短总结尚未生成。

Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation Figure 1
arXiv preprint2025-10

Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation

Zhenyu Zhao, Hongyi Jing, Xiawei Liu, Jiageng Mao, Abha Jha, Hanwen Yang, Rong Xue, Sergey Zakharov, Vitor Guizilini, Yue Wang

University of Southern California Toyota Research Institute

人形机器人机器人学习仿真基准数据集/基准操作

针对现有人形机器人数据多局限于固定场景、任务单一且缺少统一评测的问题,Humanoid Everyday 构建了覆盖灵巧操作、人机交互与结合行走动作的多模态数据集,并用人工监督遥操作保证数据同步与质量。数据包含 7 类 260 个任务、1.03 万条轨迹和超 300 万帧,同时提供代表性策略分析与云端标准评测平台;性能增益更可能主要来自数据规模、任务多样性和评测规范化。

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation Figure 1
arXiv preprint2025-05

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song

Stanford University, Columbia University, Carnegie Mellon University, NVIDIA, Morgan AI Research

人形机器人机器人学习操作灵巧操作

DexUMI针对人手示教到多种灵巧手时的运动学、触觉和视觉具身差异,提出把人手本身作为通用操作接口:为目标机器人手优化可穿戴外骨骼以约束并记录可执行关节/触觉数据,同时用视频分割与机器人手补全缩小视觉域差。在Inspire Hand和XHand的真实任务中,数据采集效率较遥操作提升3.2倍,四类任务平均成功率达86%。

Bimanual Dexterity for Complex Tasks Figure 1
arXiv preprint2024-09

Bimanual Dexterity for Complex Tasks

Mohan Kumar

Carnegie Mellon University

人形机器人机器人学习操作灵巧操作

面向通用机器人学习,双臂灵巧手需要大量高质量遥操作示范,但现有 VR/外部动捕在手指精度、延迟、成本和移动场景上受限。BiDex 的核心是将 Manus 动捕手套的手指跟踪与 GELLO 式低成本教师臂关节跟踪结合,实现 50+ DoF 双臂灵巧遥操作。实验显示其比 Vision Pro 和 SteamVR 更快采集更高质量数据,可训练行为克隆策略完成倒水、舀取、敲击等复杂任务,并支持移动双臂机器人户外操作。

No Figure
Trends in Cognitive Sciences1999

Is imitation learning the route to humanoid robots?

Stefan Schaal

Department of Computer Science and Neuroscience, HNB-103, University of Southern California, Los Angeles, CA 90089-2520, USA, University of Southern California, Kyoto Seika University

人形机器人机器人学习操作模仿学习

全文短总结尚未生成。

CLOT: Closed-Loop Global Motion Tracking for Whole-Body Humanoid Teleoperation Figure 1
arXiv preprint2026-02

CLOT: Closed-Loop Global Motion Tracking for Whole-Body Humanoid Teleoperation

Tengjie Zhu, Guanyu Cai, Yang Zhaohui, Guanzhu Ren, Haohui Xie, ZiRui Wang, Junsong Wu, Jingbo Wang, Xiaokang Yang, Yao Mu, Yichao Yan

MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai AI Laboratory

人形机器人机器人学习遥操作模仿学习

CLOT针对全尺寸人形机器人长时全身遥操作中局部坐标跟踪易累积全局位姿漂移的问题,引入高频定位反馈形成操作者—机器人全局闭环,并用Observation Pre-shift将观测目标与奖励时刻解耦,配合20小时筛选动作数据、Transformer策略和AMP先验来避免生硬纠偏。实验在31自由度Adam Pro上验证了30分钟长时任务、动态动作和接触操作中的高精度、抗扰与无漂移跟踪。

ExtremControl: Low-Latency Humanoid Teleoperation with Direct Extremity Control Figure 1
arXiv preprint2026-02

ExtremControl: Low-Latency Humanoid Teleoperation with Direct Extremity Control

Ziyan Xiong, Lixing Fang, Junyun Huang, Kashu Yamazaki, Hao Zhang, Chuang Gan

Carnegie Mellon University, MIT-IBM Watson AI Lab

人形机器人机器人学习遥操作

面向人形机器人遥操作中约 200ms 延迟导致快速反馈任务难以完成的问题,ExtremControl 不再在控制环内做全身重定向,而是直接以手、脚、躯干等选定刚体链接的 SE(3) 位姿作为策略接口,并用笛卡尔映射与低层速度前馈降低响应滞后。仿真和真实平台实验显示,系统兼容光学动捕与 VR 跟踪,端到端延迟最低约 50ms,可完成乒乓球平衡、杂耍和实时回击等动态遥操作任务。

TeleGate: Whole-Body Humanoid Teleoperation via Gated Expert Selection with Motion Prior Figure 1
arXiv preprint2026-02

TeleGate: Whole-Body Humanoid Teleoperation via Gated Expert Selection with Motion Prior

Jie Li, Bing Tang, Feng Wu

University of Science and Technology of China, AnyWit Robotics Co., Ltd, Wuhu Hit Robot Technology Research Institute

人形机器人机器人学习遥操作

面向人形机器人实时全身遥操作,论文针对单一控制器难以覆盖跑跳、起身等多样高动态动作且专家蒸馏会损失性能的问题,提出保留多个按动力学相似性训练的专家策略,并用轻量门控网络在线选择,同时引入 VAE 运动先验从历史轨迹推断未来意图。方法用 2.5 小时动捕数据训练,在仿真和 Unitree G1 实机上较基线获得更好的跟踪精度与成功率。

A Closed-Form Geometric Retargeting Solver for Upper Body Humanoid Robot Teleoperation Figure 1
arXiv preprint2026-02

A Closed-Form Geometric Retargeting Solver for Upper Body Humanoid Robot Teleoperation

Chuizheng Kong, Yunho Cho, Wonsuhk Jung, Idris Wibowo, Parth Shinde, Sundhar Vinodh-Sangeetha, Long Kiu Chung, Zhenyang Chen, Andrew Mattei, Advaith Nidumukkala, Alexander Elias, Danfei Xu, Taylor Higgins, Shreyas Kousik

人形机器人机器人学习遥操作模仿学习

针对人形双臂遥操作中仅跟踪手部易产生奇异、冗余肘部漂移和优化延迟的问题,论文提出 SEW-Mimic,将重定向改写为肩-肘-腕定义的上下臂方向对齐,并给出闭式几何最优解,避免 Jacobian 和迭代优化。实验显示其在普通 CPU 上约 3 kHz 推理,姿态相似度和耗时优于对比方法,并可接入自碰撞安全过滤、提升试点遥操作成功率和数据平滑性。

Learning Adaptive Neural Teleoperation for Humanoid Robots Figure 1
arXiv preprint2025-11

Learning Adaptive Neural Teleoperation for Humanoid Robots

Sanjar Atamuradov

Georgia Institute of Technology, Atlanta, GA

人形机器人机器人学习遥操作

论文针对人形机器人 VR 遥操作中传统 IK+PD 管线对外力“失明”、动作不平滑且难适应用户的问题,提出用神经策略端到端将 VR 控制器姿态和本体感知映射为关节命令;先用 IK 遥操作示范初始化,再通过强化学习加入力随机化和平滑奖励微调。在 Unitree G1 上,相比 IK 基线跟踪误差降低 34%、动作平滑性提升 45%,并在取放、开门和双臂协同任务中保持 50Hz 实时控制。

Development of an Intuitive GUI for Non-Expert Teleoperation of Humanoid Robots Figure 1
arXiv preprint2025-10

Development of an Intuitive GUI for Non-Expert Teleoperation of Humanoid Robots

Austin Barret, Meng Cheng Lau

School of Engineering and Computer Science, Laurentian University

人形机器人机器人学习遥操作

面向 FIRA HuroCup 人形机器人障碍遥操作中非专家难以上手、旧界面杂乱且缺少关键动作的问题,论文重做了基于 ROS/Web 的 GUI:突出实时摄像头、分组/折叠菜单、键盘快捷键、步长与转角在线调参,并加入爬行和自站等动作。结果显示新界面相较旧版在布局清晰度、任务流程和比赛可用性上有明显改进,但正式非专家用户测试和量化增益文中未充分说明。

Stability-Aware Retargeting for Humanoid Multi-Contact Teleoperation Figure 1
IEEE RA-L 20252025-10

Stability-Aware Retargeting for Humanoid Multi-Contact Teleoperation

Stephen McCrory, Romeo Orsolino, Dhruv Thanki, Luigi Penco, Robert Griffin

Florida Institute for Human and Machine Cognition, Pensacola, FL, USA, Florida Institute for Human and Machine Cognition, Ocado Technology, London, U.K, Ocado Technology, International Game Technology (United Kingdom)

人形机器人机器人学习遥操作模仿学习

面向人形机器人在手部接触、非共面支撑等遥操作场景中易打滑或力矩饱和的问题,论文将含驱动约束的质心稳定区域引入共享控制重定向,并用线性规划敏感性实时计算稳定裕度梯度,以只在稳定性敏感时调整手接触点和姿态。仿真与硬件操作显示该方法提高稳定裕度,并与更强冲击恢复能力和关节力矩余量相关。

LapSurgie: Humanoid Robots Performing Surgery via Teleoperated Handheld Laparoscopy Figure 1
arXiv preprint2025-10

LapSurgie: Humanoid Robots Performing Surgery via Teleoperated Handheld Laparoscopy

Zekai Liang, Xiao Liang, Soofiyan Atar, Sreyan Das, Zoe Chiu, Peihan Zhang, Calvin Joyce, Florian Richter, Shanglei Liu, Michael C. Yip

School of Electrical and Computer Engineering, Cornell University, Ithaca, NY USA, UC San Diego Health, La Jolla, CA USA

人形机器人机器人学习遥操作灵巧操作

针对达芬奇等专用腹腔镜机器人价格高、部署复杂、难进入基层医院的问题,LapSurgie探索让通用人形机器人直接在现有手术环境中操作商用腕式腹腔镜器械。其核心是带RCM约束的逆映射控制、双目内窥反馈和紧凑主控台,实现从手部/手指到器械腕部与夹爪的遥操作。与手动腹腔镜和dVRK的用户研究表明,该方案具备初步可行性,但仍偏概念验证而非临床验证。

Whole-Body Bilateral Teleoperation with Multi-Stage Object Parameter Estimation for Wheeled Humanoid Locomanipulation Figure 1
arXiv preprint2025-08

Whole-Body Bilateral Teleoperation with Multi-Stage Object Parameter Estimation for Wheeled Humanoid Locomanipulation

Donghoon Baek, Amartya Purushottam, Jason J. Choi, Joao Ramos

人形机器人机器人学习遥操作

面向轮式人形机器人搬运重物时需同时处理全身运动、柔顺受力与未知物体动力学的问题,论文将双边全身遥操作与在线多阶段惯性参数估计结合:先用视觉估尺寸、VLM 给先验,再以分层采样在仿真和硬件并行细化质量、质心和惯量,用于更新平衡点与触觉反馈。实机在定制轮式人形上完成约自重三分之一载荷的抓取、搬运和释放,显示可实时提升跟踪与操作稳定性。

CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks Figure 1
arXiv preprint2025-06

CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks

Yixuan Li, Yutang Lin, Jieming Cui, Tengyu Liu, Wei Liang, Yixin Zhu, Siyuan Huang

School of Computer Science and Technology, Beijing Institute of Technology, State Key Laboratory of General Artificial Intelligence, BIGAI, School of Psychological and Cognitive Sciences, Peking University, Institute for Artificial Intelligence, Peking University, Yuanpei College, Peking University, Beijing Key Laboratory of Behavior and Mental Health, Peking University, Joint Laboratory of Embodied AI and Humanoid Robots, BIGAI & UniTree Robotics, Embodied Intelligence Lab, PKU-Wuhan Institute for Artificial Intelligence

人形机器人机器人学习遥操作

针对人形机器人长时程遥操作中上下身解耦导致动作不协调、开环控制累积位置漂移的问题,CLONE用MoE策略统一学习多类全身运动,并结合LiDAR里程计与MR头手追踪做闭环位姿纠偏。实验显示其仅依赖头和手输入即可在长距离轨迹中保持较小漂移,完成如弯腰从地面拾物等需要行走、姿态调整与操作协同的任务。

Heavy lifting tasks via haptic teleoperation of a wheeled humanoid Figure 1
arXiv preprint2025-05

Heavy lifting tasks via haptic teleoperation of a wheeled humanoid

Amartya Purushottam, Jack Yan, Christopher Yu, Joao Ramos

人形机器人机器人学习遥操作

面向仓储等场景中需要弯腰、搬运并保持平衡的重物操作,论文提出用于可变高度轮式人形机器人的触觉遥操作框架,将人体姿态、手臂、身高和压力中心重定向到机器人,并比较手动/自动后仰补偿与速度/DCM 映射。实验中机器人可搬起 2.5kg、约自身质量 21% 的杠铃和箱子;自动平衡补偿更受操作者偏好,混合映射更适合在精确定位与动态响应间切换。

TeleOpBench: A Simulator-Centric Benchmark for Dual-Arm Dexterous Teleoperation Figure 1
arXiv preprint2025-05

TeleOpBench: A Simulator-Centric Benchmark for Dual-Arm Dexterous Teleoperation

Hangyu Li, Qin Zhao, Haoran Xu, Xinyu Jiang, Qingwei Ben, Feiyu Jia, Haoyu Zhao, Liang Xu, Jia Zeng, Hanqing Wang, Bo Dai, Junting Dong, Jiangmiao Pang

Shanghai AI Laboratory Zhejiang University The Chinese University of Hong Kong, The Hong Kong University of Science and Technology (Guangzhou), The University of Hong Kong Feeling AI Tsinghua Shenzhen International Graduate School

人形机器人机器人学习遥操作灵巧操作数据集/基准

针对双臂灵巧遥操作缺少统一、可复现实验标准的问题,TeleOpBench以仿真固定机器人形态与任务环境,提供30个高保真任务,并在同一模块化框架下接入动捕、VR、外骨骼和单目视觉四类接口。作者还在真实双臂平台复现实验,10个保留任务上仿真与实机表现强相关,说明该基准具备一定外部有效性。

Human-Robot Collaboration for the Remote Control of Mobile Humanoid Robots Figure 1
arXiv preprint2025-05

Human-Robot Collaboration for the Remote Control of Mobile Humanoid Robots

Nikita Boguslavskii, Lorena Maria Genua, Zhi Li

Robotics Engineering Department, Worcester Polytechnic Institute (WPI), Worcester, MA 01609, USA

人形机器人机器人学习遥操作

面向护理等场景中移动人形机器人遥操作,论文关注躯干—手臂冗余虽提升可达性却增加操作者协调负担的问题。作者提出一组人机协同控制模式,覆盖人工连续/离散调躯干,以及按可达性、任务状态或意图触发的机器人自主协调。17人用户研究将其与RelaxedIK比较,分析任务表现、可操作性、能耗和偏好;结论不是单一最优,而是不同模式更适合不同经验水平与任务权衡,具体增益幅度文中片段未充分说明。

NuExo: A Wearable Exoskeleton Covering all Upper Limb ROM for Outdoor Data Collection and Teleoperation of Humanoid Robots Figure 1
arXiv preprint2025-03

NuExo: A Wearable Exoskeleton Covering all Upper Limb ROM for Outdoor Data Collection and Teleoperation of Humanoid Robots

Rui Zhong, Chuang Cheng, Junpeng Xu, Yantong Wei, Ce Guo, Daoxun Zhang, Wei Dai, Huimin Lu

National University of Defense Technology

人形机器人机器人学习遥操作

面向人形机器人遥操作与模仿学习的数据采集,NuExo针对现有设备难以同时兼顾全上肢精确跟踪、舒适佩戴、多模态数据和户外便携的问题,设计了5.2kg背负式上肢外骨骼,以同步连杆和同步带肩部机构实现自然上肢ROM全覆盖,并结合力/关节/第一视角感知与免标定控制框架。跨平台、跨操作者实验显示其运动范围、长期数据稳定性和动态遥操作精度优于对比方案。

Generalizable Humanoid Manipulation with 3D Diffusion Policies Figure 1
arXiv preprint2024-10

Generalizable Humanoid Manipulation with 3D Diffusion Policies

Yanjie Ze, Zixuan Chen, Wenhao Wang, Tianyi Chen, Xialin He, Ying Yuan, Xue Bin Peng, Jiajun Wu

Stanford University Simon Fraser University UPenn UIUC, CMU

人形机器人机器人学习遥操作运动生成

针对人形机器人操作技能常被限制在训练场景、跨场景数据采集昂贵的问题,论文构建了包含上半身遥操作、带升降车与头部 3D LiDAR 的 25DoF 平台,并将 DP3 改为自我视角的 iDP3 以利用带噪人类示教。实机 2000 多次评测显示,仅用单一场景数据和机载计算,机器人可在厨房、会议室、办公室等未见场景零样本完成抓放、倒水、擦拭等任务。

High-Speed and Impact Resilient Teleoperation of Humanoid Robots Figure 1
arXiv preprint2024-09

High-Speed and Impact Resilient Teleoperation of Humanoid Robots

Sylvain Bertrand, Luigi Penco, Dexton Anderson, Duncan Calvert, Valentine Roy, Stephen McCrory, Khizar Mohammed, Sebastian Sanchez, Will Griffith, Steve Morfey, Alexis Maslyczyk, Achintya Mohan, Cody Castello, Bingyin Ma, Kartik Suryavanshi, Patrick Dills, Jerry Pratt, Victor Ragusila, Brandon Shrewsbury, Robert Griffin

Florida Institute for Human and Machine Cognition, University of West Florida, University Pkwy, Pensacola, FL, United States, University of West Florida, Boardwalk Robotics

人形机器人机器人学习遥操作

面向人形机器人遥操作中高速动作易受延迟、同步和碰撞鲁棒性限制的问题,论文将免标定7个IMU动捕重定向、含滤波/估计/预测的1kHz全身运动学流式工具,以及高带宽摆线执行器集成到Nadia平台。实验展示该系统能在低速采集输入下实现更实时的全身跟随,并承受高速运动与环境冲击。

Deep Imitation Learning for Humanoid Loco-manipulation through Human Teleoperation Figure 1
Humanoids 20232023-09

Deep Imitation Learning for Humanoid Loco-manipulation through Human Teleoperation

Mingyo Seo, Steve Han, Kyutae Sim, Seung Hyeon Bang, Carlos Gonzalez, Luis Sentis, Yuke Zhu

The University of Texas,Austin, The University of Texas, Austin, The University of Texas at Austin

人形机器人机器人学习遥操作模仿学习

本文针对人形机器人在接触丰富的移动操作中难以采集示教、动作空间高维且需保持平衡的问题,提出 TRILL:用 VR 遥操作收集任务空间示教,并将高层视觉运动策略与低层全身控制结合,把手部目标和步态命令转为稳定的关节力矩。仿真中自由行走、操作、移动操作成功率分别达 96%、80%、92%,较模仿学习基线高 28%;在 DRACO 3 实机两项操作任务平均成功率为 85%。

Teleoperation of Humanoid Robots: A Survey Figure 1
T-RO 20232023-01

Teleoperation of Humanoid Robots: A Survey

Kourosh Darvish, Luigi Penco, Joao Ramos, Rafael Cisneros, Jerry Pratt, Eiichi Yoshida, Serena Ivaldi, Daniele Pucci

Italian Institute of Technology, Florida Institute for Human and Machine Cognition, Pensacola, FL, USA, Florida Institute for Human and Machine Cognition, University of Illinois Urbana-Champaign, National Institute of Advanced Industrial Science and Technology (AIST), Tsukuba, Japan, National Institute of Advanced Industrial Science and Technology, Department of Applied Electronics, Faculty of Advanced Engineering, Tokyo University of Science, Tokyo, Japan, Tokyo University of Science, Centre National de la Recherche Scientifique

人形机器人机器人学习遥操作综述

本文针对全自主机器人在灾害、空间、护理等复杂场景中仍难可靠替代人的动机,系统综述人形机器人遥操作。核心洞察是将问题拆成接口与传感、运动重定向、控制/规划、共享自主、通信延迟补偿和评估指标等模块,并区分单向/双向遥操作。主要结果是给出较完整的体系结构、技术脉络、应用版图与未解挑战,而非提出新的实验性能增益。

iCub3 Avatar System: Enabling Remote Fully-Immersive Embodiment of Humanoid Robots Figure 1
Science Robotics2022-03

iCub3 Avatar System: Enabling Remote Fully-Immersive Embodiment of Humanoid Robots

Stefano Dafarra, Ugo Pattacini, Giulio Romualdi, Lorenzo Rapetti, Riccardo Grieco, Kourosh Darvish, Gianluca Milani, Enrico Valli, Ines Sorrentino, Paolo Maria Viceconte, Alessandro Scalzo, Silvio Traversaro, Carlotta Sartore, Mohamed Elobaid, Nuno Guedelha, Connor Herron, Alexander Leonessa, Francesco Draicchio, Giorgio Metta, Marco Maggiali, Daniele Pucci

Italian Institute of Technology, School of Computer Science, University of Manchester, Manchester, UK, University of Manchester, Department of Computer, Control, and Management Engineering, Sapienza Università di Roma, Rome, Italy, Sapienza University of Rome, Department of Mechanical Engineering, Virginia Tech, Blacksburg, VA, USA, Department of Medicine, Epidemiology, Occupational and Environmental Hygiene, Istituto Nazionale Assicurazione Infortuni sul Lavoro (INAIL), Rome, Italy

人形机器人机器人学习遥操作

面对疫情和虚拟生态推动的远程在场需求,论文提出以 iCub3 人形机器人为载体的全沉浸式化身系统,将操作者的行走、操作、语音和表情映射到机器人,并回传视觉、听觉、触觉、重量与皮肤接触反馈。系统在相距约290–300公里的威尼斯展览和Rimini舞台演示中实现低于25ms网络时延下的语言、非语言和物理互动,包括远程参观、触摸感知与搬运任务,并用于ANA Avatar XPrize架构验证。

CHILD: Controller for Humanoid Imitation and Live Demonstration a Whole-Body Humanoid Teleoperation System Figure 1
arXiv preprint2025-08

CHILD: Controller for Humanoid Imitation and Live Demonstration a Whole-Body Humanoid Teleoperation System

Noboru Myers, Obin Kwon, Sankalp Yamsani, Joohyung Kim

the KIMLAB (Kinetic Intelligent Machine LAB), University of Illinois Urbana-Champaign, IL 61801, USA

人形机器人机器人学习遥操作模仿学习

针对现有人形遥操作多停留在上肢或末端位姿映射、难以进行全身关节级控制的问题,CHILD 将可重构缩比 leader 机构装入婴儿背带,通过直接关节映射和自适应力反馈控制四肢,并可切换到不同双臂/人形配置。实验在 Unitree G1、Spot 双臂平台和厨房双臂系统上展示了搬运、足部接球、爬行仿真及取放等任务,但全身自由站立控制仍需外部支撑。

Biomechanical Comparisons Reveal Divergence of Human and Humanoid Gaits Figure 1
arXiv preprint2026-02

Biomechanical Comparisons Reveal Divergence of Human and Humanoid Gaits

Luying Feng, Yaochu Jin, Hanze Hu, Wei Chen

Zhejiang University, Hangzhou, China, School of Engineering, Westlake University, Hangzhou, China, Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences, Ningbo, China, Ningbo Institute of Materials Technology and Engineering, Chinese Academy of Sciences, Ningbo, C

人形机器人机器人学习运动控制

针对人形机器人“看起来像人”但缺乏生物力学一致性的问题,论文提出 GDAF,用多速度下的运动学、动力学、对称性与能量指标量化人—机器人步态差异,并发布 Unitree G1 连续速度数据与工具。结果显示现有 RL/IL 控制器在低速、远端关节、踝部推蹬和左右功分配上偏离明显,提示改进需同时关注控制目标、对称约束与足踝硬件设计。

APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots Figure 1
arXiv preprint2026-02

APEX: Learning Adaptive High-Platform Traversal for Humanoid Robots

Yikai Wang, Tingxuan Leng, Changyi Lin, Shiqi Liu, Shir Simon, Bingqing Chen, Jonathan Francis, Ding Zhao

Carnegie Mellon University Bosch Center for Artificial Intelligence

人形机器人机器人学习运动控制

APEX针对人形机器人难以安全越过超过腿长高台的问题,避开高冲击跳跃,改用全身多接触攀爬。其关键是“棘轮式”进度奖励,为爬上、爬下、起身、趴下等目标型动作提供无速度依赖的密集监督,并结合LiDAR高度图、感知伪影建模与技能蒸馏形成统一策略。在Unitree G1上实现0.8米、约114%腿长高台的零样本实机穿越,能随高度和初始姿态变化自主切换技能。

ECO: Energy-Constrained Optimization with Reinforcement Learning for Humanoid Walking Figure 1
IEEE Transactions on Automation Science and Engineering2026-02

ECO: Energy-Constrained Optimization with Reinforcement Learning for Humanoid Walking

Weidong Huang, Jingwen Zhang, Jiongye Li, Shibowen Zhang, Jiayang Wu, Jiayi Wang, Hangxin Liu, Yaodong Yang, Yao Su

State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence (BIGAI), Beijing, China, Beijing Academy of Artificial Intelligence, Beijing Institute for General Artificial Intelligence

人形机器人机器人学习运动控制强化学习

针对人形机器人稳定行走中能耗高、传统 MPC/奖励塑形 RL 需反复调权且易在稳定性与节能间折中的问题,ECO 将能耗和参考运动从奖励中剥离为显式不等式约束,并用拉格朗日约束 RL 训练策略。仿真、跨仿真和 BRUCE 实机结果显示,其在保持鲁棒行走的同时显著降耗,实机累计能耗约为 MPC 的 1/6、PPO 的 1/2.3,并产生更轻步态和更小机身晃动。

Now You See That: Learning End-to-End Humanoid Locomotion from Raw Pixels Figure 1
arXiv preprint2026-02

Now You See That: Learning End-to-End Humanoid Locomotion from Raw Pixels

Wandong Sun, Yongbo Su, Leoric Huang, Alex Zhang, Dwyane Wei, Mu San, Daniel Tian, Ellie Cao, Baoshi Cao, Yang Liu, Finn Yan, Ethan Xie, Zongwu Xie

人形机器人机器人学习运动控制

针对人形机器人视觉运动中深度噪声导致落脚误差、单一策略难兼顾多地形的问题,论文用更贴近真实双目相机缺陷的深度仿真与视觉感知蒸馏,将特权高度图策略迁移到原始深度图;同时用地形特定奖励、多 critic/判别器学习统一控制。实机在两种人形平台和不同深度相机上验证,可跨越高台、宽沟并完成长距离上下楼梯。

A Hybrid Autoencoder for Robust Heightmap Generation from Fused Lidar and Depth Data for Humanoid Robot Locomotion Figure 1
arXiv preprint2026-02

A Hybrid Autoencoder for Robust Heightmap Generation from Fused Lidar and Depth Data for Humanoid Robot Locomotion

Dennis Bank, Joost Cordes, Thomas Seel, Simon F. G. Ehlers

Institute of Mechatronic Systems, Leibniz University Hannover, Garbsen, Deutschland

人形机器人机器人学习运动控制

面向人形机器人在非结构化环境中稳定行走所需的可靠地形感知,论文以机器人中心高度图作为感知到控制的中间表示,提出融合 RealSense 深度、MID-360 激光雷达和 IMU 的混合编码器—解码器,用 CNN 提取空间特征、GRU 引入 3.2 秒时序一致性,并优化高度图网格到约 7 cm。实验显示,多模态融合较仅深度和仅雷达重建精度分别提升 7.2% 与 9.9%,时序上下文可减小地图漂移。

Scalable and General Whole-Body Control for Cross-Humanoid Locomotion Figure 1
arXiv preprint2026-02

Scalable and General Whole-Body Control for Cross-Humanoid Locomotion

Yufei Xue, Yunfeng Lin, Wentao Dong, Yang Tang, Jingbo Wang, Jiangmiao Pang, Ming Zhou, Minghuan Liu, Weinan Zhang

人形机器人机器人学习运动控制

针对人形机器人全身控制通常需为每个平台单独训练、难以跨形态迁移的问题,XHugWBC通过物理一致的形态随机化、语义对齐的观测/动作空间,以及建模拓扑与动力学的策略结构来学习通用运动先验。单一策略在12个仿真人形上达到约85%专家性能,微调后最高超过专家10%,并在7台真实机器人上实现零样本稳定控制。

HoRD: Robust Humanoid Control via History-Conditioned Reinforcement Learning and Online Distillation Figure 1
arXiv preprint2026-02

HoRD: Robust Humanoid Control via History-Conditioned Reinforcement Learning and Online Distillation

Puyue Wang, Jiawei Hu, Yan Gao, Junyan Wang, Yu Zhang, Gillian Dobbie, Tao Gu, Wafa Johal, Ting Dang, Hong Jia

人形机器人机器人学习运动控制强化学习

针对人形机器人控制在动力学、接触条件或仿真器变化下易失稳的问题,HoRD 将历史状态—动作序列用于在线推断隐含动力学,并通过教师强化学习到 Transformer 学生的在线蒸馏,使策略能从稀疏根相对 3D 关键点直接输出力矩控制。实验显示其在未见域、外部扰动和 IsaacLab 到 Genesis 的零样本迁移中优于强基线,域偏移下成功率最高提升 14.2%。

CMR: Contractive Mapping Embeddings for Robust Humanoid Locomotion on Unstructured Terrains Figure 1
arXiv preprint2026-02

CMR: Contractive Mapping Embeddings for Robust Humanoid Locomotion on Unstructured Terrains

Qixin Zeng, Hongyin Zhang, Shangke Lyu, Junxi Jin, Donglin Wang, Chao Huang

University of Southampton, Westlake University, Nanjing University

人形机器人机器人学习运动控制

面向非结构地形上的人形机器人行走,论文关注高度图、相机/雷达等外感知在噪声和仿真到现实偏差下会放大扰动、导致策略失稳的问题。CMR 的核心是把高维观测映射到具收缩性的潜空间,并用对比学习保留任务几何、用 Lipschitz 正则限制敏感度,同时给出观测噪声下回报差距的理论界。实验显示,在更强观测噪声和多类复杂地形中,CMR 相比基线更稳健,消融也支持各组件有效。

RPL: Learning Robust Humanoid Perceptive Locomotion on Challenging Terrains Figure 1
arXiv preprint2026-02

RPL: Learning Robust Humanoid Perceptive Locomotion on Challenging Terrains

Yuanhang Zhang, Younggyo Seo, Juyue Chen, Yifu Yuan, Koushil Sreenath, Pieter Abbeel, Carmelo Sferrazza, Karen Liu, Rocky Duan, Guanya Shi

人形机器人机器人学习运动控制感知

针对现有人形感知行走多依赖单前向相机、在多方向运动和上肢遮挡/负载下易失效的问题,RPL先训练带特权高度图的地形专家,再蒸馏为多深度相机Transformer策略,并用速度条件深度特征缩放与随机侧向遮挡提升非对称观测泛化。系统还实现动态机器人与地形网格的并行深度渲染,速度提升约5倍;实机可在2kg负载下通过20°斜坡、多规格楼梯和60cm间隔踏石。

Toward Reliable Sim-to-Real Predictability for MoE-based Robust Quadrupedal Locomotion Figure 1
arXiv preprint2026-02

Toward Reliable Sim-to-Real Predictability for MoE-based Robust Quadrupedal Locomotion

Tianyang Wu, Hanwei Guo, Yuhang Wang, Junshu Yang, Xinyang Sui, Jiayi Xie, Xingyu Chen, Zeyang Liu, Xuguang Lan

National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University

人形机器人机器人学习运动控制

针对四足强化学习中训练奖励难以预测真机表现、直接实测风险高的问题,论文将仅依赖本体感知的 MoE 地形/指令表征策略与 RoboGauge sim-to-sim 可迁移性评估结合,用多地形、多难度和域随机化指标筛选策略。Unitree Go2 实验显示其可通过雪地、沙地、楼梯、斜坡和 30 cm 障碍,平地速度约 4 m/s,并在户外测试中保持较高稳定性。

FastStair: Learning to Run Up Stairs with Humanoid Robots Figure 1
arXiv preprint2026-01

FastStair: Learning to Run Up Stairs with Humanoid Robots

Yan Liu, Tao Yu, Haolin Song, Hongbo Zhu, Nianzong Hu, Yuzhi Hao, Xiuyong Yao, Hua Chen, Jie Zhao

LimX Dynamics, Shenzhen, China. Zhejiang University-University of Illinois Urbana-Champaign Institute (ZJUI), Haining, China, Department of Electronic Engineering and Information Science, Hong Kong University of Science and Technology, Hong Kong SAR, China, Department of Mechanical Engineering, National University of Singapore, Singapore, Zhejiang University-University of Illinois Urbana-Champaign Institute (ZJUI), Haining, China, EEIS), University of Science and Technology of China, Hefei

人形机器人机器人学习运动控制

FastStair针对人形机器人上楼梯中“速度越高越难稳定”的矛盾,将DCM落脚规划器以GPU并行离散搜索形式嵌入强化学习,用显式可行落脚引导安全基策略,再通过低/高速专家微调与LoRA融合缓解规划保守性和专家切换抖动。实机Oli最高实现1.65 m/s稳定上楼,并在12秒完成33级螺旋楼梯。

AME-2: Agile and Generalized Legged Locomotion via Attention-Based Neural Map Encoding Figure 1
arXiv preprint2026-01

AME-2: Agile and Generalized Legged Locomotion via Attention-Based Neural Map Encoding

Chong Zhang, Victor Klemm, Fan Yang, Marco Hutter

Robotic Systems Lab, ETH Zurich, Switzerland, Secure, Reliable, and Intelligent Systems Lab, ETH Zurich, Switzerland, ETH AI Center, Switzerland, com/leggedrobotics

人形机器人机器人学习运动控制

针对腿足机器人在遮挡、噪声和稀疏落足点下难以同时兼顾敏捷性、泛化与可解释性的问题,AME-2将注意力地图编码器嵌入强化学习控制策略,结合局部/全局地形特征与本体状态选择关键区域,并配套轻量不确定性感知的学习式高程建图与在线仿真训练。论文在四足和双足平台的仿真及真实实验中展示了对未见地形的较强通过能力和敏捷运动表现。

Walk the PLANC: Physics-Guided RL for Agile Humanoid Locomotion on Constrained Footholds Figure 1
arXiv preprint2026-01

Walk the PLANC: Physics-Guided RL for Agile Humanoid Locomotion on Constrained Footholds

Min Dai, William D. Compton, Junheng Li, Lizhi Yang, Aaron D. Ames

the Department, of Mechanical and Civil Engineering, California Institute of Technology, of Computing and Mathematical Sciences, California Institute of Technology

人形机器人机器人学习运动控制强化学习

针对人形机器人在踏脚石、窄梁等离散落脚点上纯模型控制依赖精确地形、纯强化学习又难以学到精确步序的问题,PLANC用降阶踏步规划器生成满足动力学的一致参考,并通过CLF奖励引导PPO训练。该物理先验减少对人工动作数据和复杂奖励搜索的依赖,在Unitree G1仿真与硬件随机踏脚石实验中提升落脚精度、稳定性和泛化,困难平面踏脚石成功率达100%,显著优于端到端RL基线。

SKATER: Synthesized Kinematics for Advanced Traversing Efficiency on a Humanoid Robot via Roller Skate Swizzles Figure 1
arXiv preprint2026-01

SKATER: Synthesized Kinematics for Advanced Traversing Efficiency on a Humanoid Robot via Roller Skate Swizzles

Junchi Gu, Feiyang Yuan, Weize Shi, Tianchen Huang, Haopeng Zhang, Xiaohu Zhang, Yu Wang, Wei Gao, Shiwu Zhang

人形机器人机器人学习运动控制

针对人形机器人行走/跑步落足冲击大、能耗高且磨损关节的问题,SKATER在双脚加入四个被动直排轮,并用深度强化学习结合隐式swizzle步态奖励、课程学习和域随机化来处理滑行接触与非完整约束。策略经仿真到实机部署,相比同速双足行走,冲击强度降低75.86%,运输成本降低63.34%,显示轮滑可提升效率与关节寿命。

Do You Have Freestyle? Expressive Humanoid Locomotion via Audio Control Figure 1
arXiv preprint2025-12

Do You Have Freestyle? Expressive Humanoid Locomotion via Audio Control

Zhe Li, Cheng Chi, Yangyang Wei, Boan Zhu, Tao Huang, Zhenguo Sun, Yibo Peng, Pengwei Wang, Zhongyuan Wang, Fangzhou Liu, Chang Xu, Shanghang Zhang

University of Sydney, Harbin Institute of Technology, Hong Kong University of Science and Technology, Shanghai Jiao Tong University, Peking University

人形机器人机器人学习运动控制

这篇论文针对人形机器人只能回放预设动作或响应稀疏指令、难以随音乐/语音即兴表达的问题,提出 RoboPerform,将运动拆为“内容+风格”,用文本/运动潜变量给出任务内容,把音频作为隐式风格信号直接调制控制策略,避免先生成真人动作再重定向。其 ResMoE 教师与扩散学生策略在舞蹈和伴随语音手势中实现更低延迟、更好的物理合理性与音频对齐。

RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion Figure 1
arXiv preprint2025-12

RoboMirror: Understand Before You Imitate for Video to Humanoid Locomotion

Zhe Li, Cheng Chi, Boan Zhu, Yangyang Wei, Shuanghao Bai, Yuheng Ji, Yibo Peng, Tao Huang, Pengwei Wang, Zhongyuan Wang, S. -H. Gary Chan, Chang Xu, Shanghang Zhang

BAAI, University of Sydney, Hong Kong University of Science and Technology, Harbin Institute of Technology, Xian Jiao Tong University, Chinese Academy of Sciences, Shanghai Jiao Tong University, Peking University

人形机器人机器人学习运动控制

针对人形机器人从视频学习仍依赖“姿态估计-重定向-跟踪”、易累积误差且缺乏语义理解的问题,RoboMirror将第一/第三人称视频先经VLM提炼为视觉运动意图,再重构运动潜变量并条件化扩散控制策略,推理时绕开显式姿态与重定向。实验显示其可支持自我中心视频遥在控制,将第三人称链路延迟由9.22秒降至1.84秒,任务成功率较基线提升3.7%。

E-SDS: Environment-aware See it, Do it, Sorted - Automated Environment-Aware Reinforcement Learning for Humanoid Locomotion Figure 1
arXiv preprint2025-12

E-SDS: Environment-aware See it, Do it, Sorted - Automated Environment-Aware Reinforcement Learning for Humanoid Locomotion

Enis Yalcin, Joshua O'Hara, Maria Stamatopoulou, Chengxu Zhou, Dimitrios Kanoulas

University College London, Department of Computer Science, London, UK

人形机器人机器人学习运动控制强化学习

针对人形机器人强化学习中奖励手工设计耗时、且现有 VLM 自动奖励缺少地形感知的问题,E-SDS 将示例视频分析与高度扫描/LiDAR 提取的地形统计量结合,让 VLM 生成并迭代修正环境感知奖励。Unitree G1 仿真中,在平地、沟壑、障碍和楼梯场景均优于手工奖励与无感知自动基线,速度跟踪误差降低 51.9–82.6%,并唯一学会下楼梯;但实验仍限于仿真和单地形专用策略。

Learning to Get Up Across Morphologies: Zero-Shot Recovery with a Unified Humanoid Policy Figure 1
arXiv preprint2025-12

Learning to Get Up Across Morphologies: Zero-Shot Recovery with a Unified Humanoid Policy

Jonathan Spraggett

University of Toronto, St

人形机器人机器人学习运动控制安全恢复

针对人形机器人跌倒后通常需要为每种形态单独设计或训练起身策略的问题,本文在 MuJoCo 中构建共享观测/动作空间,用 CrossQ 训练一个不显式输入形态参数的统一 DRL 策略。七种 Kid-size 人形上的留一、缩放和多样性消融显示,形态覆盖越充分零样本恢复越好,未见形态成功率最高约 86%,部分情况下还能超过单机专用策略。

Symphony: A Heuristic Normalized Calibrated Advantage Actor and Critic Algorithm in application for Humanoid Robots Figure 1
arXiv preprint2025-12

Symphony: A Heuristic Normalized Calibrated Advantage Actor and Critic Algorithm in application for Humanoid Robots

Timur Ishuov, Michele Folgheraiter, Madi Nurmanov, Goncalo Gordo, Richárd Farkas, József Dombi

Department of Computer Algorithms and Artificial Intelligence, University of Szeged, Szeged, Hungary, Department of Robotics and Mechatronics, Nazarbayev University, Astana, Kazakhstan

人形机器人机器人学习运动控制

论文面向真实人形机器人从零强化学习中样本效率、动作平滑与机械安全难以兼顾的问题,提出 Symphony 确定性 Actor-Critic:用“襁褓”正则抑制动作强度、受限噪声替代持续增噪,并结合 Fading Replay Buffer 与 Temporal Advantage 提高近邻样本利用。实验称可减少抖动和极端控制、训练更安全,但不追求单项 SOTA,组件增益仍待消融验证。

A Hierarchical Figure 1
arXiv preprint2025-12

A Hierarchical

Quanyou Wang, Mingzhang Zhu, Ruochen Hou, Kay Gillespie, Alvin Zhu, Shiqi Wang, Yicheng Wang, Gaberiel I. Fernandez, Yeting Liu, Colin Togashi, Hyunwoo Nam, Aditya Navghare, Alex Xu, Taoyuanmin Zhu, Min Sung Ahn, Arturo Flores Alvarez, Justin Quan, Ethan Hong, Dennis W. Hong

人形机器人机器人学习运动控制

面向成人尺寸人形机器人足球中感知受扰、碰撞频繁且需高速踢球的难题,本文提出 ARTEMIS 的分层模型化系统:以轻量结构、QDD 驱动和专用足端支持行走中强力踢球,并融合双目视觉、近距感知、CLAP 定位、碰撞感知 MPC 与集中式行为管理。系统在 RoboCup 2024 成人组及受控实验中实现稳定、敏捷的战术执行,并支撑夺冠表现。

Gait-Adaptive Perceptive Humanoid Locomotion with Real-Time Under-Base Terrain Reconstruction Figure 1
IEEE RA-L 20262025-12

Gait-Adaptive Perceptive Humanoid Locomotion with Real-Time Under-Base Terrain Reconstruction

Haolin Song, Hongbo Zhu, Tao Yu, Yan Liu, Mingqi Yuan, Hua Chen, Houqiang Li

LimX Dynamics, Shenzhen, China. Hong Kong University of Science and Technology, Hong Kong SAR, China, School of Mechanics Engineering, Harbin Institute of Technology (HIT), Harbin Heilongjiang 150001, China, Department of Computing, The Hong Kong Polytechnic University, Hong, Zhejiang University-University of Illinois Urbana-Champaign Institute (ZJUI), Haining, China, EEIS), University of Science and Technology of China, Hefei, Hong Kong University of Science and Technology, Hong Kong SAR, China

人形机器人机器人学习运动控制感知

针对全尺寸人形机器人在长楼梯、沟壑等复杂地形上因足端附近感知不足和步态时序不匹配而易失稳的问题,论文将基座下视深度相机、轻量 U-Net 实时足下高度图重建、步频/相位自适应与全身控制统一到强化学习策略中,并用单阶段师生训练做知识迁移。31 自由度、1.65 m 实机在仿真和真实环境中完成前后向上下楼梯及跨越 46 cm 间隙。

Learning Sim-to-Real Humanoid Locomotion in 15 Minutes Figure 1
arXiv preprint2025-12

Learning Sim-to-Real Humanoid Locomotion in 15 Minutes

Younggyo Seo Carmelo Sferrazza Juyue Chen, Guanya Shi, Rocky Duan, Pieter Abbeel

Amazon FAR (Frontier AI & Robotics)

人形机器人机器人学习运动控制

针对人形机器人 sim-to-real 强化学习在高维控制、强随机化下迭代仍需数小时的问题,论文将可大规模并行的离策略 FastSAC/FastTD3 扩展到全身控制,并用关节限幅动作、归一化、Q 值与更新超参及极简奖励稳定训练。结果显示在单张 RTX 4090 上约 15 分钟即可训练 Unitree G1/Booster T1 行走策略,并可在粗糙地形、推扰和动力学随机化下迁移,还支持全身人体动作跟踪。

H-Zero: Cross-Humanoid Locomotion Pretraining Enables Few-shot Novel Embodiment Transfer Figure 1
arXiv preprint2025-12

H-Zero: Cross-Humanoid Locomotion Pretraining Enables Few-shot Novel Embodiment Transfer

Yunfeng Lin, Minghuan Liu, Yufei Xue, Ming Zhou, Yong Yu, Jiangmiao Pang, Weinan Zhang

人形机器人机器人学习运动控制

针对人形机器人控制器高度绑定具体构型、换平台需重调奖励和超参的问题,H-Zero通过输入/输出状态变换统一不同人形机器人的控制语义,并结合物理参数随机化、观测与动作掩码等跨 embodiment 预训练,学习可复用的基础行走策略。实验显示其在未见机器人上具备一定零样本稳定性,仿真可维持最高81% episode 时长,并能在约30分钟微调内迁移到新人形及直立四足平台。

A Hierarchical Framework for Humanoid Locomotion with Supernumerary Limbs Figure 1
arXiv preprint2025-12

A Hierarchical Framework for Humanoid Locomotion with Supernumerary Limbs

Bowen Zhi

Imperial College London

人形机器人机器人学习运动控制

针对人形机器人加装重型额外肢体后因自身运动和载荷引入的稳定性问题,本文采用解耦分层框架:底层用模仿学习与课程学习训练 Unitree H1 步态,高层用基于模型的 CoM/CoS 反馈驱动额外肢体主动配平。MuJoCo 仿真中,相比静态载荷,动态配平使质心轨迹 DTW 距离降低 47%,步态更接近无载基线;但力矩未按真实硬件饱和,实机可迁移性仍需验证。

Reference-Free Sampling-Based Model Predictive Control Figure 1
arXiv preprint2025-11

Reference-Free Sampling-Based Model Predictive Control

Fabian Schramm, Pierre Fabre, Nicolas Perrin-Gilbert, Justin Carpentier

人形机器人机器人学习运动控制

针对强化学习需离线训练、传统轨迹优化依赖接触序列或梯度、现有 MPPI 常需步态先验和 GPU 大量采样的问题,本文提出无参考采样式 MPC,用三次 Hermite 样条同时采样关节位置与速度控制点,并结合退火噪声与高层目标让接触策略自行涌现。实验显示其在普通 CPU、少至约 30 条 rollout 下可实时控制 Go2 产生多种步态和跳跃,并在仿真中扩展到人形机器人的后空翻、手倒立等行为。

Learning a Vision-Based Footstep Planner for Hierarchical Walking Control Figure 1
arXiv preprint2025-10

Learning a Vision-Based Footstep Planner for Hierarchical Walking Control

Chanwoo Kim, Jihwan Yoon, Hyeonseong Kim, Taemoon Jeong, Changwoo Yoo, Seungbeen Lee, Soohwan Byeon, Hoon Chung, Matthew Pan, Jean Oh, Kyungjae Lee, Sungjoon Choi

University of Pennsylvania,General Robotics, Automation, Sensing and Perception (GRASP) Laboratory,Philadelphia,PA,USA,19104, University of Pennsylvania

人形机器人机器人学习运动控制感知规划

全文短总结尚未生成。

PHUMA: Physically-Grounded Humanoid Locomotion Dataset Figure 1
arXiv preprint2025-10

PHUMA: Physically-Grounded Humanoid Locomotion Dataset

Kyungmin Lee, Sibeen Kim, Minho Park, Hyunseung Kim, Dongyoon Hwang, Hojoon Lee, Jaegul Choo

KAIST

人形机器人机器人学习运动控制数据集/基准

针对人形机器人运动模仿中 mocap 数据规模小、公开视频重建又常有悬空、穿地、脚滑和关节越界的问题,PHUMA通过筛除不可行动作并提出带关节限位、接触与防滑约束的 PhySINK 重定向,构建更物理可靠的数据集。在Unitree G1/H1-2上,PHUMA训练策略在未见视频模仿和仅骨盆引导路径跟随中均优于AMASS与Humanoid-X,显示收益主要来自数据质量与规模的结合。

GaussGym: An open-source real-to-sim framework for learning locomotion from pixels Figure 1
arXiv preprint2025-10

GaussGym: An open-source real-to-sim framework for learning locomotion from pixels

Alejandro Escontrela, Justin Kerr, Arthur Allshire, Jonas Frey, Rocky Duan, Carmelo Sferrazza, Pieter Abbeel

UC Berkeley, ETH Zurich, Amazon FAR (Frontier AI & Robotics)

人形机器人机器人学习运动控制

针对腿式机器人视觉 sim-to-real 中渲染慢、逼真度不足导致策略难以利用语义线索的问题,GaussGym 将 3D Gaussian Splatting 作为 IsaacGym 等向量化物理仿真的即插即用渲染器,并支持手机扫描、数据集和视频生成模型构建场景。实验显示其在 RTX4090 上可达 10 万步/秒以上、覆盖 2500 个场景,RGB 策略能进行语义避障,辅以几何重建损失可提升楼梯任务并实现初步真实迁移。

Architecture Is All You Need: Diversity-Enabled Sweet Spots for Robust Humanoid Locomotion Figure 1
arXiv preprint2025-10

Architecture Is All You Need: Diversity-Enabled Sweet Spots for Robust Humanoid Locomotion

Blake Werner, Lizhi Yang, Aaron D. Ames

人形机器人机器人学习运动控制

面向非结构地形中感知慢、接触突变而稳定控制需高速响应的人形行走问题,论文主张鲁棒性主要来自分层多速率架构而非更大网络:用高频本体感知稳定器配合低频局部高度图导航策略,并先盲行预训练再感知微调。仿真和 Unitree G1 实机楼梯、台阶任务显示,该简洁 LCA 明显优于单阶段端到端策略,消融也表明去掉分层结构会造成主要性能下降。

PolygMap: A Perceptive Locomotion Framework for Humanoid Robot Stair Climbing Figure 1
arXiv preprint2025-10

PolygMap: A Perceptive Locomotion Framework for Humanoid Robot Stair Climbing

Bingquan Li, Ning Wang, Tianwei Zhang, Zhicheng He, Yucong Wu

The Shenzhen Institute of Artificial Intelligence and Robotics for Society, Shenzhen, China, Leju robotics, Shenzhen, China

人形机器人机器人学习运动控制感知

针对人形机器人上楼梯时仅靠平衡控制难以可靠处理踏面狭窄、感知噪声和定位漂移的问题,PolygMap将LiDAR、RGB-D与IMU/本体运动学融合,实时构建多边形楼梯平面语义地图,并在腐蚀后的安全区域内规划落脚点和摆脚轨迹。系统部署在NVIDIA Orin上输出20–30 Hz全身运动规划,并在室内外实机与仿真中实现连续稳定爬楼。

Preference-Conditioned Multi-Objective RL for Integrated Command Tracking and Force Compliance in Humanoid Locomotion Figure 1
arXiv preprint2025-10

Preference-Conditioned Multi-Objective RL for Integrated Command Tracking and Force Compliance in Humanoid Locomotion

Tingxuan Leng, Yushi Wang, Tinglong Zheng, Changsheng Luo, Mingguo Zhao

Tsinghua University, Beijing 100084, China, Beijing Jiaotong University, Beijing 100044, China

人形机器人机器人学习运动控制强化学习

本文针对人形机器人在导航速度跟踪与人机接触柔顺性之间的固有冲突:传统强化学习常把外力当扰动来抵抗,导致交互不自然。作者将行走建模为多目标强化学习问题,用速度–阻力因子统一外力与指令奖励,并通过偏好条件输入让单一全向步态策略在刚性跟踪和柔顺让步间连续切换;编码器–解码器从可部署观测中估计相关隐变量。仿真与 Booster T1 实机实验表明该策略可稳定训练并实现不同偏好下的可部署柔顺行走。

DPL: Depth-only Perceptive Humanoid Locomotion via Realistic Depth Synthesis and Cross-Attention Terrain Reconstruction Figure 1
arXiv preprint2025-10

DPL: Depth-only Perceptive Humanoid Locomotion via Realistic Depth Synthesis and Cross-Attention Terrain Reconstruction

Jingkai Sun, Gang Han, Pihai Sun, Wen Zhao, Jiahang Cao, Jiaxu Wang, Yijie Guo, Qiang Zhang

人形机器人机器人学习运动控制运动生成感知

DPL针对人形机器人感知行走中端到端深度策略训练低效、仿真到真实差距大,以及高程图方法依赖多传感器和定位的问题,提出只用单深度相机的框架:用预训练地形先验引导盲主干策略,结合跨注意力Transformer从噪声深度与本体历史重建局部地形,并用考虑自遮挡和噪声的深度合成支持端到端微调。实验在全尺寸人形机器人上验证了楼梯、坡面、沟壑和户外不平地形的通过能力,地形重建误差降低超过30%。

Stabilizing Humanoid Robot Trajectory Generation via Physics-Informed Learning Figure 1
arXiv preprint2025-09

Stabilizing Humanoid Robot Trajectory Generation via Physics-Informed Learning

Paolo Maria Viceconte, Lorenzo Rapetti, Diego Ferigo, Giulio Romualdi, Raffaello Camoriano, Daniele Pucci

Artificial and Mechanical Intelligence, Italian Institute of Technology, Genoa, Italy, Machine Learning and Optimisation, University of Manchester, M13 PL Manchester, U.K, Rehab Technologies Lab, Italian Institute of Technology, Genoa, Italy, Machine Learning and Optimisation, University of Manchester, M13 PL Manchester, U

人形机器人机器人学习运动控制

针对行为克隆生成的人形机器人轨迹易受示范数据不足影响、出现物理约束违背、接触脚滑动和长期漂移的问题,论文将可微物理先验加入监督模仿损失,并在推理端用 PI 控制对输出状态进行校正。基于 ergoCub 多种步态和两类控制架构的实机实验显示,该方法提高了轨迹精度与接触约束一致性,且具备一定模块化兼容性。

RuN: Residual Policy for Natural Humanoid Locomotion Figure 1
arXiv preprint2025-09

RuN: Residual Policy for Natural Humanoid Locomotion

Qingpeng Li, Chengrui Zhu, Yanming Wu, Xin Yuan, Zhen Zhang, Jian Yang, Yong Liu

Zhejiang University, China Research and Development Academy of Machinery Equipment, Beijing, China

人形机器人机器人学习运动控制

针对人形机器人在宽速度范围内兼顾自然步态、速度跟踪与稳定性困难的问题,RuN将控制拆成离线条件运动生成器与在线残差强化学习策略:前者提供人类运动先验,后者只学习动力学修正,降低策略搜索负担。Unitree G1仿真与实机结果显示其可在0–2.5 m/s实现自然行走到奔跑的平滑过渡,并优于现有方法的训练效率和跟踪表现。

Chasing Stability: Humanoid Running via Control Lyapunov Function Guided RL Figure 1
arXiv preprint2025-09

Chasing Stability: Humanoid Running via Control Lyapunov Function Guided RL

Zachary Olkin, Kejun Li, William D. Compton, Aaron D. Ames

人形机器人机器人学习运动控制强化学习

面向人形机器人跑步中接触切换、飞行相和扰动导致的稳定控制难题,论文将多域轨迹优化得到的动态可行参考与控制 Lyapunov 函数稳定条件嵌入强化学习奖励,减少手工调参并用稳定性信号引导策略学习。训练后的策略运行时不依赖 CLF 或轨迹,在 Unitree G1 上实现含飞行相的跑步,可在跑步机和户外跟踪位置/速度,并能抵抗躯干和足端扰动。

Reduced-Order Model-Guided RL for Demonstration-Free Humanoid Locomotion Figure 1
arXiv preprint2025-09

Reduced-Order Model-Guided RL for Demonstration-Free Humanoid Locomotion

Shuai Liu, Meng Cheng Lau

Laurentian University

人形机器人机器人学习运动控制强化学习模仿学习

针对无动捕人形行走中纯奖励法难调、模仿法依赖数据的问题,论文提出ROM-GRL:先用4自由度降阶模型学习能效步态模板,再以5维步态特征的对抗判别器蒸馏到全身SAC策略。仿真中在1 m/s与4 m/s均生成更稳定对称的步态,相比纯奖励基线显著降低相位滞后与跟踪MSE,但尚未验证硬件和复杂地形。

HuMam: Humanoid Motion Control via End-to-End Deep RL with Mamba Figure 1
arXiv preprint2025-09

HuMam: Humanoid Motion Control via End-to-End Deep RL with Mamba

Yinuo Wang, Yuanyang Qi, Jinzhao Zhou, Pengxiang Meng, Xiaowen Tao

人形机器人机器人学习运动控制强化学习

针对端到端人形机器人强化学习中状态融合低效、训练不稳和执行能耗高的问题,HuMam 将机器人本体状态、定向落脚点和连续步态相位编码为状态序列,用单层 Mamba 作为轻量融合骨干,并结合位置目标输出、低增益 PD 跟踪与六项奖励塑形。在 JVRC-1/mc-mujoco 的多种行走与站立任务中,相比前馈基线提升学习效率和最终回报,降低跨种子方差、功耗及关节扭矩峰值。

Learning to Walk in Costume: Adversarial Motion Priors for Aesthetically Constrained Humanoids Figure 1
arXiv preprint2025-09

Learning to Walk in Costume: Adversarial Motion Priors for Aesthetically Constrained Humanoids

Arturo Flores Alvarez, Fatemeh Zargarbashi, Havel Liu, Shiqi Wang, Liam Edwards, Jessica Anz, Alex Xu, Fan Shi, Stelian Coros, Dennis W. Hong

Robotics and Mechanisms Laboratory (RoMeLa), Dept, Computational Robotics Lab (CRL), Dept, Human‑Centered Robotics Lab, Dept, of Electrical and Computer Engineering, National University of Singapore, Singapore

人形机器人机器人学习运动控制

面向娱乐人形机器人“外形优先”带来的头重、传感受限和外壳限位问题,论文将人类动捕重定向到 Cosmo,并用 AMP 将模仿先验融入强化学习,再配合面向硬件安全的域随机化和奖励设计完成 sim-to-real。实验显示,即使头部占总质量 16%、无视觉输入,该方法仍能在实机上实现较自然且稳定的站立与行走。

Traversing Narrow Paths: A Two-Stage RL Framework for Robust and Safe Humanoid Walking Figure 1
arXiv preprint2025-08

Traversing Narrow Paths: A Two-Stage RL Framework for Robust and Safe Humanoid Walking

Tianchen Huang, Runchen Xu, Yu Wang, Wei Gao, Shiwu Zhang

人形机器人机器人学习运动控制强化学习安全恢复

针对人形机器人在窄梁等稀疏、安全关键落脚场景中易因模型误差或端到端策略不可解释而失败的问题,论文将 LIPM 落脚规划与两阶段强化学习结合:先在平地训练低层落脚跟踪器,再在窄路径上用轻量感知残差修正摆动脚目标。该方法在成功率、中心线保持和安全裕度上优于纯模板或纯 RL 基线,并在 Unitree G1 上完成 0.2 m 宽、3 m 长窄梁 20 次无失败穿越。

No More Marching: Learning Humanoid Locomotion for Short-Range SE(2) Targets Figure 1
arXiv preprint2025-08

No More Marching: Learning Humanoid Locomotion for Short-Range SE(2) Targets

Pranay Dugar, Mohitvishnu S. Gadde, Jonah Siekmann, Yesh Godse, Aayam Shrestha, Alan Fern

Collaborative Robotics and Intelligent Systems Institute, Oregon State University, Corvallis, OR, Agility Robotics, Salem, OR

人形机器人机器人学习运动控制

这篇论文针对人形机器人在近距离任务中直接到达 SE(2) 位姿时,传统速度跟踪控制容易产生原地踏步式低效动作的问题,提出端到端强化学习 GoTo 控制器,并用点星座奖励把平移与朝向误差统一为几何对齐目标。实验以能耗、到达时间和步数等指标评测,显示其较速度型和规则基线更自然高效,并在 Digit V3 上实现仿真到实机迁移。

Geometry-Aware Predictive Safety Filters on Humanoids Figure 1
arXiv preprint2025-08

Geometry-Aware Predictive Safety Filters on Humanoids

Ryan M. Bena, Gilbert Bahati, Blake Werner, Ryan K. Cosner, Lizhi Yang, Aaron D. Ames

人形机器人机器人学习运动控制安全恢复

面向人形/足式机器人在动态非结构环境中的碰撞风险,论文提出几何感知预测安全滤波器:将感知数据通过泊松安全函数生成 CBF 约束,并用移动边界与 Minkowski 运算同时建模障碍演化和机器人占据几何,再嵌入非线性 MPC 在线生成安全轨迹。实验在四足和人形机器人多种安全关键场景中验证了实时可用性与避障恢复效果,但具体量化增益幅度文中未充分说明。

MASH: Cooperative-Heterogeneous Multi-Agent RL for Single Humanoid Robot Locomotion Figure 1
arXiv preprint2025-08

MASH: Cooperative-Heterogeneous Multi-Agent RL for Single Humanoid Robot Locomotion

Qi Liu, Xiaopeng Zhang, Mingshan Tan, Shuaikang Ma, Jinliang Ding, Yanjie Li

Faculty of Robot Science and Engineering, Northeastern University, Shenyang, 110819, China

人形机器人机器人学习运动控制强化学习

针对单一人形机器人全身运动中上下肢协同难、单智能体 RL 易把高维控制耦合成黑箱的问题,MASH 将双臂双腿拆成异构协作智能体,并用共享全局 critic 进行联合优化,把多智能体协作引入单机器人步态学习。实验显示该方法相较传统单智能体 RL 收敛更快、样本效率更高,步态执行、全身协同与动态环境鲁棒性均有提升。

End-to-End Humanoid Robot Safe and Comfortable Locomotion Policy Figure 1
arXiv preprint2025-08

End-to-End Humanoid Robot Safe and Comfortable Locomotion Policy

Zifan Wang, Xun Yang, Jianzhuang Zhao, Jiaming Zhou, Teli Ma, Ziyao Gao, Arash Ajoudani, Junwei Liang

The Hong Kong University of Science and Technology (Guangzhou), The Hong Kong University of Science and Technology, Human-Robot Interfaces and Interaction Lab., Istituto Italiano di Tecnologia, Italy

人形机器人机器人学习运动控制安全恢复

面向人形机器人在人类环境中绕开复杂三维障碍且动作不突兀的问题,本文将时序 LiDAR 点云到电机指令做端到端学习,并把 CBF 安全思想转成 CMDP 代价,用 P3O 训练,同时加入舒适性奖励。仿真消融显示相比奖励塑形与普通 P3O,unsafe 区域停留时间最多降 53%,并在 Unitree G1 上完成静动态障碍避让的 sim-to-real 验证。

Optimizing Bipedal Locomotion for The 100m Dash With Comparison to Human Running Figure 1
arXiv preprint2025-08

Optimizing Bipedal Locomotion for The 100m Dash With Comparison to Human Running

Devin Crowley, Jeremy Dao, Helei Duan, Kevin Green, Jonathan Hurst, Alan Fern

Collaborative Robotics and Intelligent Systems Institute, Oregon State University, Corvallis, Oregon, 97331, USA

人形机器人机器人学习运动控制

这篇论文针对Cassie等双足机器人高速跑步仍依赖手调步态、硬件速度有限的问题,系统搜索速度到摆动占比和步频的映射,并用sim-to-real强化学习集成100米起停控制。核心洞察是高效高速步态偏向更长、更低频的步幅,与人类跑步力学在步长、腾空和地面反力趋势上相似。实机速度超过4 m/s,并创造双足机器人100米吉尼斯纪录。

Coordinated Humanoid Robot Locomotion with Symmetry Equivariant Reinforcement Learning Policy Figure 1
Proceedings of the AAAI Conference on Artificial Intelligence2025-08

Coordinated Humanoid Robot Locomotion with Symmetry Equivariant Reinforcement Learning Policy

Buqing Nie, Yang Zhang, Rongjun Jin, Zhanxiang Cao, Huangxuan Lin, Xiaokang Yang, Yue Gao

MoE Key Lab of Artifcial Intelligence and AI Institute, Shanghai Jiao Tong University, Shanghai Jiao Tong University, MoE Key Lab of Artifcial Intelligence and AI Institute, Shanghai Jiao Tong University Shanghai Innovation Institute

人形机器人机器人学习运动控制强化学习

针对人形机器人强化学习策略常忽略左右形态对称、导致步态不协调和性能受限的问题,论文提出 SE-Policy,在 actor 中硬编码对称等变性、在 critic 中引入对称不变性,避免额外正则超参。仿真与 Unitree G1 实机速度跟踪实验显示,相比现有方法跟踪精度最高提升约 40%,并改善时空协调性。

Success in Humanoid Reinforcement Learning under Partial Observation Figure 1
arXiv preprint2025-07

Success in Humanoid Reinforcement Learning under Partial Observation

Wuhao Wang, Zhiyong Chen

School of Engineering, The University of Newcastle, Callaghan, NSW 2308, Australia

人形机器人机器人学习运动控制强化学习

面向真实机器人常见的传感缺失与带宽限制,本文研究高维人形行走在部分可观测下的强化学习稳定性。核心做法不是用LSTM等递归记忆,而是并行编码固定长度历史观测,以从短期上下文重构潜在状态。Gymnasium Humanoid-v4实验显示,在仅保留约1/3到2/3状态维度时,性能可接近甚至部分超过全观测TD3,并优于RMF、ODERMF;策略还对身体质量变化表现出一定适应性。

Learning Humanoid Arm Motion via Centroidal Momentum Regularized Multi-Agent Reinforcement Learning Figure 1
arXiv preprint2025-07

Learning Humanoid Arm Motion via Centroidal Momentum Regularized Multi-Agent Reinforcement Learning

Ho Jae Lee, Se Hwan Jeon, Sangbae Kim

Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA

人形机器人机器人学习运动控制强化学习

针对人形机器人行走中手臂如何参与平衡而非仅作风格化摆动的问题,本文将手臂与腿部分成多智能体强化学习策略,采用集中式 critic、分散式 actor,并用质心角动量跟踪与阻尼奖励约束手臂。结果显示该设计能让手臂抵消身体角动量、降低垂直地面反作用力矩,提升扰动恢复,并在实机上完成平地、崎岖地形和楼梯行走。

Mechanical Intelligence-Aware Curriculum RL for Humanoids with Parallel Actuation Figure 1
arXiv preprint2025-07

Mechanical Intelligence-Aware Curriculum RL for Humanoids with Parallel Actuation

Yusuke Tanaka, Alvin Zhu, Quanyou Wang, Yeting Liu, Dennis Hong

人形机器人机器人学习运动控制强化学习

针对人形机器人并联驱动在常见强化学习仿真中被串联近似、导致闭链动力学和奇异性失真的问题,本文在 MJX 中用软等式约束原生建模差动滑轮、五杆与四杆机构,并将执行器空间直接纳入课程强化学习。该策略在 BRUCE 上零样机部署,相比 MPC 表现出更好的地面泛化与实机运动性能。

Booster Gym: An End-to-End RL Framework for Humanoid Robot Locomotion Figure 1
arXiv preprint2025-06

Booster Gym: An End-to-End RL Framework for Humanoid Robot Locomotion

Yushi Wang, Penghui Chen, Xinyu Han, Feng Wu, Mingguo Zhao

Department of Automation, Tsinghua University, Beijing, China, Booster Robotics Technology Co., Ltd, Beijing, China, Booster Robotics Technology Co

人形机器人机器人学习运动控制强化学习

针对人形机器人强化学习策略从仿真到真机部署细节繁杂、sim-to-real 难以复现的问题,Booster Gym提供从Isaac Gym训练到实机部署的端到端开源框架,集成可改奖励/算法接口、域随机化及并联结构处理。作者在Booster T1上验证零样迁移,实现全向行走、抗扰和地形适应,但相对既有框架的性能增益来源文中未充分说明。

DoublyAware: Dual Planning and Policy Awareness for Temporal Difference Learning in Humanoid Locomotion Figure 1
arXiv preprint2025-06

DoublyAware: Dual Planning and Policy Awareness for Temporal Difference Learning in Humanoid Locomotion

Khang Nguyen, An T. Le, Jan Peters, Minh Nhat Vu

University of Texas at Arlington, Texas, USA, Intelligent Autonomous Systems Lab, TU Darmstadt, Germany, German Research Center for AI (DFKI), SAIROL, Darmstadt, Germany, Automation & Control Institute (ACIN), TU Wien, Vienna, Austria, Austrian Institute of Technology (AIT) GmbH, Vienna, AustriaE-mails, Austrian Institute of Technology (AIT) GmbH, Vienna, AustriaE-mails: khang

人形机器人机器人学习运动控制规划

针对人形机器人 TD-MPC 学习中接触随机性与策略认知不足相互叠加、导致探索低效和更新不稳的问题,DoublyAware 将不确定性拆为规划与策略两类:用 conformal quantile 过滤候选轨迹控制规划风险,并以策略 rollout 作为先验,结合 GRPC 自适应信任域约束潜在动作更新。在 HumanoidBench 的 Unitree H1-2 仿真中,相比强化学习基线表现出更快收敛、更高样本效率和更可行动作。

MoRE: Mixture of Residual Experts for Humanoid Lifelike Gaits Learning on Complex Terrains Figure 1
arXiv preprint2025-06

MoRE: Mixture of Residual Experts for Humanoid Lifelike Gaits Learning on Complex Terrains

Dewei Wang, Xinmiao Wang, Xinzhe Liu, Jiyuan Shi, Yingnan Zhao, Chenjia Bai, Xuelong Li

University of Science and Technology of China, Institute of Artificial Intelligence (TeleAI), China Telecom, Harbin Engineering University, ShanghaiTech University

人形机器人机器人学习运动控制

针对现有人形步态学习多依赖平地动捕或本体感知、难以兼顾复杂地形与多样拟人步态的问题,MoRE先用深度相机训练越障基础策略,再以潜空间残差专家混合和多判别器注入不同人类步态先验,并用步态奖励细调行为。仿真和Unitree G1实机显示其在台阶、楼梯、沟壑等地形上优于盲走与基础策略,并可按指令平滑切换多种拟人步态。

Learning Aerodynamics for the Control of Flying Humanoid Robots Figure 1
Communications Engineering2025-06

Learning Aerodynamics for the Control of Flying Humanoid Robots

Antonello Paolino, Gabriele Nava, Fabio Di Natale, Fabio Bergonti, Punith Reddy Vanteddu, Donato Grassi, Luca Riccobene, Alex Zanotti, Renato Tognaccini, Gianluca Iaccarino, Daniele Pucci

Artificial and Mechanical Intelligence Laboratory, Istituto Italiano di Tecnologia, Via San Quirico 19d, Genova, 16163, Italy, Italian Institute of Technology, University of Naples Federico II, School of Computer Science, University of Manchester, Kilburn Building Oxford Road, Manchester, M13 PL, UK, University of Manchester, Department of Mechanical Engineering, Stanford University, Escondido Mall, Stanford, CA, 94305, USA, Stanford University

人形机器人机器人学习运动控制

针对喷气式人形机器人在户外飞行中会受到显著气动力、而传统控制常忽略或仅作扰动处理的问题,论文以 iRonCub-Mk1 为平台,结合机械改造、风洞测量、CFD 自动生成数据,并训练深度网络与线性模型来显式预测气动力并嵌入仿真控制器。结果显示模型经风洞验证后可支持气动感知控制,在飞行仿真和实体平衡实验中提升了控制设计的可用性。

FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control Figure 1
arXiv preprint2025-05

FastTD3: Simple, Fast, and Capable Reinforcement Learning for Humanoid Control

Younggyo Seo, Carmelo Sferrazza, Haoran Geng, Michal Nauman, Zhao-Heng Yin, Pieter Abbeel

University of California, Berkeley University of Warsaw

人形机器人机器人学习运动控制强化学习

针对人形机器人强化学习训练慢、奖励迭代成本高的问题,FastTD3将TD3与大规模并行仿真、超大批量更新、分布式critic和调参配方结合,强调无需异步框架即可获得实用加速;其贡献更像是对既有scaling洞察的工程化提炼。实验显示其可在单张A100上约3小时内解决多项HumanoidBench任务,并在IsaacLab、MuJoCo Playground中较PPO更快训练复杂地形行走策略。

Gait-Conditioned RL with Multi-Phase Curriculum for Humanoid Locomotion Figure 1
arXiv preprint2025-05

Gait-Conditioned RL with Multi-Phase Curriculum for Humanoid Locomotion

Tianhu Peng, Lingfan Bao, Chengxu Zhou

the Department of Computer Science, University College London, UK

人形机器人机器人学习运动控制强化学习

针对人形机器人多步态控制中依赖动捕、单技能策略难切换且奖励相互干扰的问题,论文提出以步态 ID 条件化的单一循环 RL 策略,并用奖励路由与多阶段课程逐步学习站立、行走、奔跑和过渡;同时加入直膝支撑、手脚反相摆动等生物力学奖励。仿真中可稳定跟踪速度并平滑切换,消融显示课程和路由很关键;真实 Unitree G1 上验证了站立、行走及行走到站立迁移。

Omni-Perception: Omnidirectional Collision Avoidance for Legged Locomotion in Dynamic Environments Figure 1
arXiv preprint2025-05

Omni-Perception: Omnidirectional Collision Avoidance for Legged Locomotion in Dynamic Environments

Zifan Wang, Teli Ma, Yufei Jia, Xun Yang, Jiaming Zhou, Wenlong Ouyang, Qiang Zhang, Junwei Liang

The Hong Kong University of Science and Technology (Guangzhou), The Hong Kong University of Science and Technology, Department of Eletronic Engineering, Tsinghua University, Beijing Innovation Center of Humanoid Robotics Co., Ltd, Beijing Innovation Center of Humanoid Robotics Co

人形机器人机器人学习运动控制安全恢复感知

面向腿式机器人在动态三维环境中同时应对地面杂物、悬空障碍和移动体的安全运动需求,Omni-Perception 将原始时序 LiDAR 点云直接接入端到端强化学习控制,并用 PD-RiskNet 分层评估近远场风险,避免依赖高度图或分离规划;配套高保真 LiDAR 仿真支持跨平台训练与 sim-to-real。仿真和实机结果显示其具备更强的全向避障、速度跟踪和动态场景通行能力。

TD-GRPC: Temporal Difference Learning with Group Relative Policy Constraint for Humanoid Locomotion Figure 1
arXiv preprint2025-05

TD-GRPC: Temporal Difference Learning with Group Relative Policy Constraint for Humanoid Locomotion

Khang Nguyen, Khai Nguyen, An T. Le, Jan Peters, Manfred Huber, Vien Ngo, Minh Nhat Vu

University of Texas at Arlington, Texas, USA, VinRobotics, Hanoi, Vietnam, Intelligent Autonomous Systems Lab, TU Darmstadt, Germany, German Research Center for AI (DFKI), SAIROL, Darmstadt, Germany, Automation & Control Institute (ACIN), TU Wien, Vienna, AustriaE-mails, Automation & Control Institute (ACIN), TU Wien, Vienna, AustriaE-mails: khang

人形机器人机器人学习运动控制

面向人形机器人高维接触运动中 TD-MPC 类方法易受离策略更新导致的策略错配和分布漂移影响,TD-GRPC在潜在策略空间加入信赖域约束,并用组相对排序筛选物理可行轨迹,且不改动底层规划器。在26自由度 Unitree H1-2 的 HumanoidBench 运动任务中,仿真显示其相较基线提升了训练稳定性、样本效率与策略鲁棒性。

Dribble Master: Learning Agile Humanoid Dribbling Through Legged Locomotion Figure 1
arXiv preprint2025-05

Dribble Master: Learning Agile Humanoid Dribbling Through Legged Locomotion

Zhuoheng Wang, Jinyin Zhou, Qi Wu

Tsinghua University, Cornell University

人形机器人机器人学习运动控制

本文针对人形机器人足球带球中足-球接触难建模、动态平衡与视觉遮挡并存的问题,提出两阶段课程强化学习:先学基础双足运动,再微调带球策略,并在仿真中加入虚拟相机和主动感知奖励以贴近真实视野约束。策略可从仿真迁移到 Booster T1,在多地形和障碍场景中实现连续、灵活的带球控制,较传统步态式方法表现出更高成功率与机动性。

SHIELD: Safety on Humanoids via CBFs In Expectation on Learned Dynamics Figure 1
IROS 20252025-05

SHIELD: Safety on Humanoids via CBFs In Expectation on Learned Dynamics

Lizhi Yang, Blake Werner, Ryan K. Cosner, David Fridovich-Keil, Preston Culbertson, Aaron D. Ames

Mechanical and Civil Engineering, California Institute of Technology, Aerospace Engineering and Engineering Mechanics, UT Austin, Computer Science, Cornell University

人形机器人机器人学习运动控制安全恢复

针对人形机器人中黑箱 RL 步态控制器难以在线修改约束、又缺少可用精确动力学模型的问题,SHIELD 在低层策略之上调制参考指令:用硬件数据训练 CVAE 随机残差动力学,并结合随机离散时间 CBF 给出概率安全约束。Unitree G1 实验显示其在室内外避障中优于传统 DTCBF,能在保持行走性能的同时降低碰撞风险。

Let Humanoids Hike! Integrative Skill Development on Complex Trails Figure 1
arXiv preprint2025-05

Let Humanoids Hike! Integrative Skill Development on Complex Trails

Kwan-Yee Lin, Stella X. Yu

University of Michigan

人形机器人机器人学习运动控制

论文把复杂山径徒步作为人形机器人视觉、决策与运动控制一体化的测试场景,针对现有步态学习缺少长期目标、语义导航又缺少具身可执行性的断裂,提出 LEGO-H:用面向层级强化学习的时序视觉 Transformer 预测局部未来目标,并以关节运动潜表示和层级度量改进特权学习蒸馏。仿真中在多类山径和不同人形形态上表现出较好的鲁棒性与迁移性,但真实机器人验证文中未充分说明。

VideoMimic: Visual imitation enables contextual humanoid control Figure 1
arXiv preprint2025-05

VideoMimic: Visual imitation enables contextual humanoid control

Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa

UC Berkeley

人形机器人机器人学习运动控制模仿学习感知

VideoMimic面向人形机器人在楼梯、椅子等真实场景中按环境上下文行动的问题,核心是把随手拍的单目人类视频转成可训练数据:联合重建人体与场景几何,重定向到机器人,并通过仿真RL与蒸馏得到仅依赖本体感知、局部高度图和根方向命令的统一策略。作者在123段视频上训练,并在Unitree G1实机展示上下楼梯、坐下/起立等可重复迁移能力。

SoccerDiffusion: Toward Learning End-to-End Humanoid Robot Soccer from Gameplay Recordings Figure 1
arXiv preprint2025-04

SoccerDiffusion: Toward Learning End-to-End Humanoid Robot Soccer from Gameplay Recordings

Florian Vahl, Jörn Griepenburg, Jan Gutsche, Jasper Güldenstein, Jianwei Zhang

University of Hamburg, Vogt-Kölln-Straße 30, Hamburg, Germany

人形机器人机器人学习运动控制运动生成

论文针对人形机器人足球中手工模块化控制难以覆盖复杂动态与边界情况的问题,尝试直接从 RoboCup 真实比赛记录学习端到端策略。核心做法是用 Transformer 扩散模型从视觉、本体感知和比赛状态生成关节指令,并通过蒸馏将多步采样压缩为单步以适配嵌入式实时推理。实验显示模型可在仿真和实体机器人上复现行走、踢球、跌倒恢复等技能,但高层战术能力仍有限,更像是后续 RL 或偏好优化的基础模型。

Robust Humanoid Walking on Compliant and Uneven Terrain with Deep RL Figure 1
arXiv preprint2025-04

Robust Humanoid Walking on Compliant and Uneven Terrain with Deep RL

Rohan P. Singh, Mitsuharu Morisawa, Mehdi Benallegue, Zhaoming Xie, Fumio Kanehiro

CNRS-AIST JRL (Joint Robotics Laboratory) IRL, National Institute of Advanced Industrial Science and Technology (AIST), University of Tsukuba, Department of Computer Science, Stanford University

人形机器人机器人学习运动控制强化学习

针对人形机器人在柔软、起伏地面上因接触时序不确定而易失稳的问题,论文用模型自由深度强化学习训练仅依赖本体感知的端到端步行策略,并通过仿真中的随机地形课程实现迁移;进一步提出可调观测时钟的策略,让步频、摆动和支撑时长随地形自适应。HRP-5P在室内外多类困难地形上完成实机行走且户外试验未摔倒;可变时钟的增益主要在仿真验证,实机部署尚未完成。

PPF: Pre-training and Preservative Fine-tuning of Humanoid Locomotion Figure 1
arXiv preprint2025-04

PPF: Pre-training and Preservative Fine-tuning of Humanoid Locomotion

Locomotion via Model-Assumption-based Regularization, Hyunyoung Jung, Zhaoyuan Gu, Ye Zhao, Hae-Won Park, Sehoon Ha

人形机器人机器人学习运动控制

面向人形机器人在复杂地形中易因纯强化学习微调而遗忘模型控制器步态的问题,PPF先模仿模型控制器预训练,再用强化学习微调,并引入基于模型假设是否成立的自适应正则:状态符合假设时保持原控制行为,违背假设时放松约束以突破模型限制。仿真中在不平与斜坡地形取得更好跟踪,Digit实机达到1.5 m/s,并通过湿滑、斜坡、崎岖和沙地等场景。

Spectral Normalization for Lipschitz-Constrained Policies on Learning Humanoid Locomotion Figure 1
arXiv preprint2025-04

Spectral Normalization for Lipschitz-Constrained Policies on Learning Humanoid Locomotion

Jaeyong Shin, Woohyun Cha, Donghyeon Kim, Junhyeok Cha, Jaeheung Park

Republic of Korea, and Advanced Institute of Convergence Technology

人形机器人机器人学习运动控制

针对仿真训练的人形机器人策略常利用理想执行器产生高频力矩、导致实机振动和迁移失败的问题,本文用谱归一化直接约束策略网络权重谱范数,以低成本近似实现 Lipschitz 连续性,替代需额外梯度计算的 LCP。仿真与实机实验显示,其稳定性接近梯度惩罚方法,同时显著降低 GPU 显存占用并支持更多并行环境训练。

Learning Bipedal Locomotion on Gear-Driven Humanoid Robot Using Foot-Mounted IMUs Figure 1
arXiv preprint2025-04

Learning Bipedal Locomotion on Gear-Driven Humanoid Robot Using Foot-Mounted IMUs

Sotaro Katayama, Yuta Koda, Norio Nagatsuka, Masaya Kinoshita

Sony Group Corporation, Minato-ku, Tokyo, Japan, 108-0075, Sony Interactive Entertainment Inc., Sony City 1-7-1, Konan, Minato-ku, Tokyo, 108-Japan

人形机器人机器人学习运动控制

针对高减速比、无力矩传感器的小型人形机器人难以做精确执行器建模、仿真到现实迁移不稳的问题,论文把足端 IMU 的线加速度与角速度直接纳入盲式强化学习观测,并配合对称数据增强和随机网络蒸馏。EVAL-03 实机实验显示,该方法在软垫、非刚性地面和下台阶等突变接触中恢复稳定更快,但上台阶等地形理解仍不足。

StyleLoco: Generative Adversarial Distillation for Natural Humanoid Robot Locomotion Figure 1
arXiv preprint2025-03

StyleLoco: Generative Adversarial Distillation for Natural Humanoid Robot Locomotion

Le Ma, Ziyu Meng, Tengyu Liu, Yuhan Li, Ran Song, Wei Zhang, Siyuan Huang

National Key Laboratory of General Artificial Intelligence, BIGAI, School of Control Science and Engineering, Shandong University, Huazhong University of Science and Technology

人形机器人机器人学习运动控制运动生成

StyleLoco针对人形机器人步态中“强化学习敏捷但机械、动作捕捉模仿自然但不稳且受数据限制”的矛盾,提出两阶段生成对抗蒸馏框架:先用RL训练敏捷教师策略,再用多判别器同时从教师策略和人体动捕中蒸馏任务能力与运动风格。仿真和Unitree H1实机实验显示,其能在多速度、多运动任务下保持稳定控制,并生成更接近人类的自然步态。

Natural Humanoid Robot Locomotion with Generative Motion Prior Figure 1
arXiv preprint2025-03

Natural Humanoid Robot Locomotion with Generative Motion Prior

Haodong Zhang, Liang Zhang, Zhenghan Chen, Lu Chen, Yue Wang, Rong Xiong

Zhejiang University

人形机器人机器人学习运动控制运动生成

面向人形机器人行走常见的弯腿、机械感和对抗式风格奖励不稳定问题,论文提出 Generative Motion Prior:先将人类全身运动重定向到机器人,再离线训练 CVAE 生成未来参考轨迹,并在强化学习中冻结为在线专家,用关节角与关键点奖励提供细粒度监督。仿真和实机结果显示其运动自然性优于现有方法。

Distillation-PPO: A Novel Two-Stage RL Framework for Humanoid Robot Perceptive Locomotion Figure 1
arXiv preprint2025-03

Distillation-PPO: A Novel Two-Stage RL Framework for Humanoid Robot Perceptive Locomotion

Qiang Zhang, Gang Han, Jingkai Sun, Wen Zhao, Chenghao Sun, Jiahang Cao, Jiaxu Wang, Yijie Guo, Renjing Xu

人形机器人机器人学习运动控制强化学习感知

针对人形机器人在复杂、非规则地形中感知行走训练不稳定、传统蒸馏受教师策略上限约束的问题,论文提出 Distillation-PPO:先在全观测 MDP 中训练教师并蒸馏特权信息,再让学生在 POMDP 中结合教师监督与 PPO 奖励继续优化。实验显示该框架在仿真中提升训练效率和稳定性,并在 Tien Kung 实机多地形行走中表现出更好的鲁棒性与泛化能力。

HWC-Loco: A Hierarchical Whole-Body Control Approach to Robust Humanoid Locomotion Figure 1
arXiv preprint2025-03

HWC-Loco: A Hierarchical Whole-Body Control Approach to Robust Humanoid Locomotion

Sixu Lin, Guanren Qiao, Yunxin Tai, Ang Li, Kui Jia, Guiliang Liu

The Chinese University of Hong Kong (Shenzhen), Harbin Institute of Technology, DexForce Technology Southeast University

人形机器人机器人学习运动控制

针对人形机器人学习控制在仿真到真实部署中易受动力学偏差和安全临界扰动影响的问题,HWC-Loco将策略学习重构为鲁棒优化,并用层级全身控制在目标跟踪策略与安全恢复策略间动态切换,结合人类运动分布约束和ZMP稳定性约束。实验显示其在多地形、不同扰动、不同机器人形态和运动任务中优于现有方法,并完成仿真与真实环境验证。

Learning Perceptive Humanoid Locomotion over Challenging Terrain Figure 1
arXiv preprint2025-03

Learning Perceptive Humanoid Locomotion over Challenging Terrain

Wandong Sun, Baoshi Cao, Long Chen, Yongbo Su, Yang Liu, Zongwu Xie, Hong Liu

Harbin Institute of Technology Tongji University

人形机器人机器人学习运动控制感知

针对人形机器人在台阶、坡面和越野等复杂地形中仅依赖本体感知易失足、而外部高度图又常含噪的问题,论文提出 Humanoid Perception Controller:先用无噪特权信息训练 oracle 策略,再通过教师-学生蒸馏让学生策略同时模仿动作,并用带变分信息瓶颈的世界模型完成感知去噪和状态估计。实验显示其在地形估计不可靠时更稳健,并在城市与野外场景中无人工干预行走约 2 km。

Humanoid Whole-Body Locomotion on Narrow Terrain via Dynamic Balance and Reinforcement Learning Figure 1
arXiv preprint2025-02

Humanoid Whole-Body Locomotion on Narrow Terrain via Dynamic Balance and Reinforcement Learning

Weiji Xie, Chenjia Bai, Jiyuan Shi, Junkai Yang, Yunfei Ge, Weinan Zhang, Xuelong Li

Shanghai Jiao Tong University

人形机器人机器人学习运动控制强化学习

针对人形机器人在窄路、绊脚和外力扰动中仅靠周期步态或感知奖励难以及时恢复平衡的问题,本文提出 DBHL,将 ZMP 与支撑多边形关系作为强化学习奖励,并用非对称 actor-critic、奖励向量化、角动量正则和全身动作学习上肢辅助平衡。仿真和 Unitree H1-2 实机显示其在窄坡、台阶和推搡/绊倒场景下稳定性优于主流基线。

Learning Humanoid Locomotion with World Model Reconstruction Figure 1
arXiv preprint2025-02

Learning Humanoid Locomotion with World Model Reconstruction

Wandong Sun, Long Chen, Yongbo Su, Baoshi Cao, Yang Liu, Zongwu Xie

Harbin Institute of Technology Tongji University

人形机器人机器人学习运动控制世界模型

针对人形机器人在真实复杂地形中受传感噪声和观测不足限制、难以稳定盲行的问题,论文提出 WMR:用传感历史显式重建世界状态,并让运动策略完全基于重建结果决策,同时切断估计器与策略间梯度以保持估计目标纯粹。实机在粗糙、可变形、坡面和冰雪湿滑地形上表现稳健,并完成无人辅助 3.2 km 徒步。

VB-Com: Learning Vision-Blind Composite Humanoid Locomotion Against Deficient Perception Figure 1
arXiv preprint2025-02

VB-Com: Learning Vision-Blind Composite Humanoid Locomotion Against Deficient Perception

Junli Ren, Tao Huang, Huayi Wang, Zirui Wang, Qingwei Ben, Junfeng Long, Yanchao Yang, Jiangmiao Pang, Ping Luo

Shanghai AI Laboratory The University of Hong Kong Shanghai Jiao Tong University, Zhejiang University The Chinese University of Hong Kong

人形机器人机器人学习运动控制感知

人形机器人在动态地形或传感噪声下容易被错误外感知误导而摔倒,单纯盲走又牺牲速度与预判能力。VB-Com 将视觉策略和仅依赖本体感知的盲策略并联,并用可上机的回报估计器按当前状态选择信任视觉或切换盲策略。实验表明,该组合能在感知缺失、动态障碍、沟壑和跨栏等场景中维持通过与快速恢复能力。

BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds Figure 1
arXiv preprint2025-02

BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds

Huayi Wang, Zirui Wang, Junli Ren, Qingwei Ben, Tao Huang, Weinan Zhang, Jiangmiao Pang

Shanghai AI Laboratory Shanghai Jiao Tong University Zhejiang University, The University of Hong Kong The Chinese University of Hong Kong

人形机器人机器人学习运动控制

针对人形机器人在踏石、窄梁等稀疏落脚点上因多边形足、稀疏奖励和早停导致学习低效的问题,BeamDojo设计了面向多边形足的采样式落脚奖励、双critic分离密集运动与稀疏落脚学习,并用“平地感知目标地形预训练+真实地形微调”的两阶段RL提升探索效率;结合机载LiDAR高度图后,在仿真和Unitree G1实机上实现较精确落脚与抗扰行走,报告零样本sim-to-real成功率为80%。

Learning Humanoid Locomotion with Perceptive Internal Model Figure 1
arXiv preprint2024-11

Learning Humanoid Locomotion with Perceptive Internal Model

Junfeng Long, Junli Ren, Moji Shi, Zirui Wang, Tao Huang, Ping Luo, Jiangmiao Pang

Shanghai AI Laboratory. denotes, Zirui Wang is with Zhejiang University, Tao Huang is with Shanghai Jiao Tong University, Shanghai AI Laboratory

人形机器人机器人学习运动控制感知

针对人形机器人在复杂地形上仅靠本体感知易失稳、而直接引入视觉又带来噪声和训练成本的问题,论文提出 PIM:在 HIM 基础上用机器人中心的在线高程图作为感知输入,仿真中直接查询真实地形高度、实机由 LiDAR/RGB-D 构图采样,从而减少深度渲染和感知域差。方法可在 RTX 4090 上约 3 小时训练,并在 H1、GR-1 等平台及楼梯、沟壑、高台等场景验证,连续爬楼成功率超过 90%。

Real-Time Polygonal Semantic Mapping for Humanoid Robot Stair Climbing Figure 1
arXiv preprint2024-11

Real-Time Polygonal Semantic Mapping for Humanoid Robot Stair Climbing

Teng Bin, Jianming Yao, Tin Lun Lam, Tianwei Zhang

The Shenzhen Institute of Artificial Intelligence and Robotics for Society, Shenzhen, China, College of Intelligent Systems Science and Engineering, Harbin Engineering University, Harbin, China, The Chinese University of Hong Kong - Shenzhen, Shenzhen, China, the Guangdong Basic and Applied Basic Research Foundation (Grant No

人形机器人机器人学习运动控制

面向人形机器人爬楼梯时对大而稳定落脚平面的需求,论文提出实时多边形语义建图流程:在深度图上用各向异性扩散抑噪并保边,结合GPU并行的法向/边缘提取与RANSAC平面拟合,增量融合里程计并补偿竖直漂移。实验显示单帧处理超过30Hz,可生成全局一致的楼梯平面地图,并接入步态规划提升复杂地形通行能力。

Learning Smooth Humanoid Locomotion through Lipschitz-Constrained Policies Figure 1
arXiv preprint2024-10

Learning Smooth Humanoid Locomotion through Lipschitz-Constrained Policies

Zixuan Chen, Xialin He, Yen-Jen Wang, Qiayuan Liao, Yanjie Ze, Zhongyu Li, S. Shankar Sastry, Jiajun Wu, Koushil Sreenath, Saurabh Gupta, Xue Bin Peng

Simon Fraser University UIUC UC Berkeley Stanford University NVIDIA

人形机器人机器人学习运动控制

针对仿真中强化学习步态常出现抖动、依赖平滑奖励或低通滤波且难以跨平台调参的问题,本文提出在策略输入输出间加入 Lipschitz 约束,并以可微梯度惩罚实现。该方法可嵌入现有训练流程,替代传统平滑技巧;在多种人形机器人仿真与真实部署中得到更平滑、鲁棒的运动控制,并展示一定零样本跨形态泛化能力。

Learning Humanoid Locomotion over Challenging Terrain Figure 1
arXiv preprint2024-10

Learning Humanoid Locomotion over Challenging Terrain

Ilija Radosavovic, Sarthak Kamat, Trevor Darrell, Jitendra Malik

University of California, Berkeley

人形机器人机器人学习运动控制

针对人形机器人在崎岖、松软和大坡度地形上难以泛化的问题,论文提出 HT-2:用 Transformer 基于本体感知历史预测动作,先在平地轨迹上做序列建模预训练,再用强化学习在不平地形微调。Digit 实机用单一盲控制器穿越泥沙、岩石、陡坡等地形,在伯克利完成 4 英里徒步,并爬上旧金山 31% 坡度街道;实验显示预训练提升样本效率,且出现地形表征与上下文适应。

Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning Figure 1
arXiv preprint2024-08

Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu

RobotEra TECHNOLOGY CO., LTD, Tsinghua University, Shanghai Qi Zhi Institute

人形机器人机器人学习运动控制世界模型

针对人形机器人高重心、腿部惯量和传感不完备导致传统模型控制或普通无模型 RL 难以适应复杂地形的问题,论文提出 Denoising World Model Learning:在仿真中显式注入环境、动力学、传感和遮蔽噪声,用编码器-解码器从历史观测恢复潜在完整状态并配合策略梯度训练。结果显示同一神经网络可零样本迁移到真实 XBot,在雪地斜坡、楼梯和极不平地面稳定行走,并受益于主动 2-DoF 踝关节设计。

Humanoid Parkour Learning Figure 1
arXiv preprint2024-06

Humanoid Parkour Learning

Ziwen Zhuang, Shenzhe Yao, Hang Zhao

Shanghai Qi Zhi Institute, ShanghaiTech University, Tsinghua University

人形机器人机器人学习运动控制

针对人形机器人越障多依赖单轨迹规划、动作先验或只会平地行走的问题,本文用强化学习训练统一的端到端视觉全身控制策略:先在分形噪声地形上学会抬脚行走,再通过自动课程学习多类跑酷技能,并用 DAgger 蒸馏到机载深度视觉策略。实机 Unitree H1 可零样本完成跳上 0.42m 平台、跨越 0.8m 间隙和栏架,并在室内外自主选择动作、最高以 1.8m/s 野外奔跑。

Deep Reinforcement Learning for Bipedal Locomotion: A Brief Survey Figure 1
arXiv preprint2024-04

Deep Reinforcement Learning for Bipedal Locomotion: A Brief Survey

Lingfan Bao, Joseph Humphreys, Tianhu Peng, Chengxu Zhou

Department of Computer Science, University College London, UK, School of Mechanical Engineering, University of Leeds, UK

人形机器人机器人学习运动控制综述强化学习

这篇综述针对双足/人形机器人深度强化学习步态研究碎片化、难以跨形态和任务泛化的问题,按端到端与分层控制两条主线梳理现有框架,并进一步区分参考驱动、无参考学习及学习-模型混合方案。其主要结论是,DRL已显著提升复杂地形和仿真到现实迁移能力,但统一训练接口、奖励/观测设计和评测基准仍缺失,通用鲁棒的双足运动框架尚未形成。

Humanoid Locomotion as Next Token Prediction Figure 1
arXiv preprint2024-02

Humanoid Locomotion as Next Token Prediction

Ilija Radosavovic, Bike Zhang, Baifeng Shi, Jathushan Rajasegaran, Sarthak Kamat, Trevor Darrell, Koushil Sreenath, Jitendra Malik

人形机器人机器人学习运动控制

针对人形机器人运动控制难以利用大规模异构数据的问题,论文将传感—动作轨迹类比为“物理世界的句子”,用因果 Transformer 做按模态对齐的自回归预测,并用 mask 统一处理缺失动作的视频、动捕和控制器数据。结果显示,模型仅用离线数据即可在 Digit 上零样本迁移到旧金山实地行走,27 小时步行数据也能迁移,并能泛化到倒退等未见指令;具体增益可能主要来自 data 与 scaling 的共同作用。

Whole-body Humanoid Robot Locomotion with Human Reference Figure 1
arXiv preprint2024-02

Whole-body Humanoid Robot Locomotion with Human Reference

Qiang Zhang, Peter Cui, David Yan, Jingkai Sun, Yiqun Duan, Gang Han, Wen Zhao, Weining Zhang, Yijie Guo, Arthur Zhang, Renjing Xu

The Hong Kong University of Science and Technology (Guangzhou),China, University of Technology Sydney,Human Centric AI Centre, Australia Artificial Intelligence Institute,Ultimo,Australia,2007, University of Technology Sydney

人形机器人机器人学习运动控制

针对人形机器人强化学习中奖励设计复杂、系统训练困难和 Sim2Real 迁移风险高的问题,论文以全尺寸电机驱动人形机器人 Adam 为平台,结合接近人体活动范围的结构设计与基于对抗运动先验的人体参考模仿学习框架,减少手工奖励依赖。实验显示 Adam 能完成复杂步态,并呈现脚跟到脚尖过渡、直膝等更接近人类的行走特征,性能被报告为接近人类水平。

Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control Figure 1
The International Journal of Robotics Research2024-01

Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control

Zhongyu Li, Xue Bin Peng, Pieter Abbeel, Sergey Levine, Glen Berseth, Koushil Sreenath

Department of Mechanical Engineering, University of California Berkeley, Berkeley, CA, USA, University of California, Berkeley, School of Computing Science, Simon Fraser University, Burnaby, BC, Canada, Simon Fraser University, Department of Electrical Engineering and Computer Sciences, University of California Berkeley, Berkeley, CA, USA, Mila – Quebec AI Institute, Canada, Mila - Quebec Artificial Intelligence Institute

人形机器人机器人学习运动控制强化学习

面向人形/双足机器人在真实环境中同时实现行走、奔跑、跳跃等多类动态技能的控制难题,论文用模型无关强化学习直接学习全阶动力学,并提出结合长短期输入/输出历史的双历史策略架构,强调历史信息带来的动力学自适应与任务随机化带来的鲁棒性。方法在 Cassie 上可从仿真零微调迁移到实机,展示稳健站立、变速变高行走、快速跑步含 400 米,以及多种定点跳跃。

Learning to Walk and Fly with Adversarial Motion Priors Figure 1
arXiv preprint2023-09

Learning to Walk and Fly with Adversarial Motion Priors

Drew Hanover, Ángel Romero, Yunlong Song, Gabriele Nava, Paolo Maria Viceconte, Daniele Pucci, Davide Scaramuzza

Robotics and Perception Group, University of Zurich, Switzerland, University of Manchester, Manchester, UK

人形机器人机器人学习运动控制

针对空中人形机器人在复杂环境中何时走、何时飞及如何平滑切换的问题,本文将对抗运动先验与强化学习结合:用类人步态数据约束行走风格,用轨迹优化生成的飞行动作作为空中先验,并通过能耗代理项诱导模式选择。仿真中 iRonCub 可在复杂地形和航路上自动在行走与飞行间切换,无需显式状态机或跟踪预规划轨迹;但真实硬件可靠性仍文中未充分说明。

Benchmarking Potential Based Rewards for Learning Humanoid Locomotion Figure 1
2023 IEEE International Conference on Robotics and Automation (ICRA), London, United Kingdom, 2023, pp. 9204-92102023-07

Benchmarking Potential Based Rewards for Learning Humanoid Locomotion

Se Hwan Jeon, Steve Heim, Charles Khazoom, Sangbae Kim

MIT,Biomimetic Robotics Lab, Biomimetic Robotics Lab, MIT

人形机器人机器人学习运动控制数据集/基准

论文针对人形机器人强化学习中奖励塑形难调且易改变目标行为的问题,在MIT Humanoid三维奔跑任务上系统比较直接奖励塑形与势函数奖励塑形(PBRS)。核心洞察是,PBRS在高维连续控制中并未像低维基准那样显著加速收敛,但对奖励权重缩放更不敏感,因而更易调参;训练得到的策略可实现约3.5 m/s前进和1.5 rad/s转向。

Real-World Humanoid Locomotion with Reinforcement Learning Figure 1
Science Robotics2023-03

Real-World Humanoid Locomotion with Reinforcement Learning

Ilija Radosavovic, Tete Xiao, Bike Zhang, Trevor Darrell, Jitendra Malik, Koushil Sreenath

University of California, Berkeley

人形机器人机器人学习运动控制强化学习

面向人形机器人在真实非结构化环境中难以依赖手工控制器泛化的问题,论文提出用因果 Transformer 读取本体感知与动作历史,并在大规模随机化仿真中以无模型强化学习训练,零样本部署到 Digit。核心洞察是历史轨迹可隐式提供地形、负载和扰动信息,使策略在不更新权重的情况下进行上下文适应。实验证明其能在多种户外地面稳定行走、抗推拉和粗糙地形、携带不同负载,并在仿真中优于厂商模型控制器。

Robust and Versatile Bipedal Jumping Control through Reinforcement Learning Figure 1
arXiv preprint2023-02

Robust and Versatile Bipedal Jumping Control through Reinforcement Learning

Zhongyu Li, Xue Peng, Pieter Abbeel, Sergey Levine, Koushil Sreenath

University of California, Berkeley, Simon Fraser University

人形机器人机器人学习运动控制强化学习

针对双足机器人跳跃中起跳、飞行、落地接触切换快且难以精确落点的问题,本文用目标条件强化学习训练 Cassie,并引入结合长期输入/输出历史编码与短期历史直连的策略结构,以及单目标、多目标、动力学随机化的多阶段训练。策略可从仿真零调参迁移到实机,实现1.4米前跳、0.44米上台、侧向/转向跳,并能借助多样化动作在扰动和落地不稳时恢复。

Adapting Humanoid Locomotion over Challenging Terrain via Two-Phase Training Figure 1
OpenReview preprint2024-10

Adapting Humanoid Locomotion over Challenging Terrain via Two-Phase Training

作者信息待提取

Noetix Robotics, Beijing

人形机器人机器人学习运动控制

针对人形机器人在高速、崎岖地形上速度跟踪不准且实机易关节振荡的问题,论文提出两阶段强化学习训练:先在较简单地形用手工正弦参考步态快速获得稳定行走,再去除参考约束以适应复杂地形;同时引入速度指令课程学习,并将 DreamWaQ 改为基于 20 帧历史观测的状态估计与策略输入。实验显示该方法在仿真和实机多种地形上优于基线,最高速度约 1 m/s,命令跟踪、成功率和鲁棒性均更好。

Bi-Level Motion Imitation for Humanoid Robots Figure 1
arXiv preprint2024-10

Bi-Level Motion Imitation for Humanoid Robots

Wenshuai Zhao, Yi Zhao, Joni Pajarinen, Michael Muehlebach

Aalto University, Finland, Max Planck Institute for Intelligent Systems, Germany, Aalto University, Finland Max Planck Institute for Intelligent Systems, Germany

人形机器人机器人学习运动控制模仿学习

本文针对人形机器人直接模仿人类 MoCap 时常遇到的形态、关节自由度和力矩限制不匹配,导致参考动作物理不可行并拖累策略学习的问题。核心思路是 BMI:先用自一致自编码器学习稀疏结构化潜空间,再在双层优化中交替更新动作生成解码器与机器人策略,并用潜空间约束避免偏离原始动作模式。仿真中的 MIT Humanoid 可用单策略模仿最多 13 类动作,预训练和微调均优于基线,并生成更物理一致、稳定的参考动作。

EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models Figure 1
arXiv preprint2026-02

EgoActor: Grounding Task Planning into Spatial-aware Egocentric Actions for Humanoid Robots via Visual-Language Models

Yu Bai, MingMing Yu, Chaojie Li, Ziyi Bai, Xinlong Wang, Börje F. Karlsson

Beijing Academy of Artificial Intelligence

人形机器人机器人学习导航感知规划

面向人形机器人在真实环境中需同时处理感知、行走、操作与人机交互且易受局部观测和动态障碍影响的问题,论文提出 EgoActing 任务,并用 EgoActor 将高层指令直接落到带空间参数的第一视角动作序列。其核心是以通用 VLM 统一预测移动、转向、头部朝向、姿态调整和操作/交互命令,并用真实演示、空间推理问答和仿真数据混合监督。仿真与实机实验显示模型可在 1 秒内推理,并在移动操作、可通行性和交互任务上具备一定未见环境泛化能力。

FocusNav: Spatial Selective Attention with Waypoint Guidance for Humanoid Local Navigation Figure 1
arXiv preprint2026-01

FocusNav: Spatial Selective Attention with Waypoint Guidance for Humanoid Local Navigation

Yang Zhang, Jianming Ma, Liyun Yan, Zhanxiang Cao, Yazhou Zhang, Haoyang Li, Yue Gao

人形机器人机器人学习导航

针对人形机器人在非结构化、动态环境中需同时兼顾远距导航意图与近身步态稳定的问题,FocusNav提出以预测无碰撞路标引导的空间交叉注意力,并用稳定性感知门控在失稳时收缩感知范围、优先关注落脚安全。Unitree G1实机实验显示,其在复杂场景中较基线提升导航成功率、避障效率和运动稳定性。

STATE-NAV: Stability-Aware Traversability Estimation for Bipedal Navigation on Rough Terrain Figure 1
IEEE RA-L 20252025-12

STATE-NAV: Stability-Aware Traversability Estimation for Bipedal Navigation on Rough Terrain

Ziwon Yoon, Lawrence Y. Zhu, Jingxi Lu, Lu Gan, Ye Zhao

Institute for Robotics and Intelligent Machines, Georgia Institute of Technology, Atlanta, GA 30332, USA, Electrical and Computer Engineering, University of Southern California, Los Angeles, CA 90089, USA

人形机器人机器人学习导航

针对双足/人形机器人在崎岖地形中易失稳、传统可通行性多依赖几何规则且难反映跌倒风险的问题,STATE-NAV 以与跌倒更相关的 body-to-stance-foot angle 作为自监督信号,训练 TravFormer 预测不稳定性及不确定性,并将可通行性定义为满足风险阈值的最大安全指令速度,嵌入 TravRRT* 与 MPC 分层规划。MuJoCo 与 Digit 实机实验显示其在稳定性、通行时间和鲁棒性上优于对比方法。

Thinking in 360: Humanoid Visual Search in the Wild Figure 1
arXiv preprint2025-11

Thinking in 360: Humanoid Visual Search in the Wild

Heyang Yu, Yinan Han

NVIDIA, UC Berkeley, Stanford University

人形机器人机器人学习导航感知

针对传统视觉搜索停留在静态图像、缺少具身交互的问题,论文提出人形机器人在360°全景中通过主动转头完成目标与路径搜索,并构建覆盖交通枢纽、商场等野外复杂场景的 H*Bench。实验显示强闭源模型成功率也仅约30%,对 Qwen2.5-VL 进行 SFT/RL 后目标搜索由14.83%升至47.38%,路径搜索由6.44%升至24.94%,但空间常识仍是主要瓶颈。

Gallant: Voxel Grid-based Humanoid Locomotion and Local-navigation across 3D Constrained Terrains Figure 1
arXiv preprint2025-11

Gallant: Voxel Grid-based Humanoid Locomotion and Local-navigation across 3D Constrained Terrains

Qingwei Ben, Botian Xu, Kailin Li, Feiyu Jia, Wentao Zhang, Jingping Wang, Jingbo Wang, Dahua Lin, Jiangmiao Pang

Shanghai Artificial Intelligence Laboratory, The Chinese University of Hong Kong, University of Science and Technology of China, University of Tokyo, Shanghai Jiaotong University

人形机器人机器人学习导航

针对深度图和高程图难以表达侧向、头顶及多层三维约束的问题,Gallant 将激光雷达点云体素化为机器人中心的轻量网格,并用 z 分组 2D CNN 端到端连接感知与全身控制,配合高保真 LiDAR 仿真缩小 sim-to-real 差距。实验显示单一策略可处理窄通道、平台、楼梯和头顶障碍等复杂场景,楼梯攀爬与登台任务接近 100% 成功率,且较 3D CNN 推理更低延迟。

Quantum deep reinforcement learning for humanoid robot navigation task Figure 1
arXiv preprint2025-09

Quantum deep reinforcement learning for humanoid robot navigation task

Romerik Lokossou, Birhanu Shimelis Girma, Ozan K. Tonguz, Ahmed Biyabani

Carnegie Mellon University Africa, Carnegie Mellon University

人形机器人机器人学习导航强化学习

论文针对高维、随机的人形机器人导航中经典强化学习参数量大、收敛慢的问题,将参数化量子线路嵌入 SAC,构建量子-经典混合策略以直接从 MuJoCo Humanoid-v4/Walker2d-v4 状态空间学习行走与速度控制。实验称量子 SAC 在训练步数减少 92% 后平均回报达 246.40,比经典 SAC 的 228.36 高约 8%;但量子优势的具体来源与真实硬件可迁移性仍文中未充分说明。

LookOut: Real-World Humanoid Egocentric Navigation Figure 1
arXiv preprint2025-08

LookOut: Real-World Humanoid Egocentric Navigation

Boxiao Pan, Adam W. Harley, C. Karen Liu, Leonidas J. Guibas

Stanford University

人形机器人机器人学习导航感知

面向人形机器人在真实动态环境中的第一视角导航,本文指出仅预测平移轨迹不足以刻画人类通过转头主动取信息的行为。LookOut 将逐帧 DINO 特征反投影到 3D 并时序聚合,同时预测未来 6D 头部位姿;还用 Aria 眼镜构建 4 小时 AND 数据集。实验显示其在未见环境中较基线提升位姿预测与静/动态避障,并学到等待、绕行、观察车流等行为。

INTENTION: Inferring Tendencies of Humanoid Robot Motion Through Interactive Intuition and Grounded VLM Figure 1
arXiv preprint2025-08

INTENTION: Inferring Tendencies of Humanoid Robot Motion Through Interactive Intuition and Grounded VLM

Jin Wang, Weijie Wang, Boyuan Deng, Heng Zhang, Rui Dai, Nikos Tsagarakis

Humanoids and Human-Centered Mechatronics (HHCM), Istituto Italiano di Tecnologia,Genoa,Italy, Italian Institute of Technology

人形机器人机器人学习导航视觉语言动作

针对传统人形机器人依赖精确模型、固定动作或大规模VLA数据而难以适应非结构化交互场景的问题,INTENTION用VLM构建直觉感知器提取语义、空间关系与可供性,并以MemoGraph积累历史交互经验来匹配新场景和选择行为。真实37自由度人形机器人实验显示,其在常规操作任务成功率达92%,在无显式指令的交互直觉任务中达72%,显著优于LLM-BT的15%,但复杂任务中的增益来源仍部分依赖记忆图规模。

Hand-Eye Autonomous Delivery: Learning Humanoid Navigation, Locomotion and Reaching Figure 1
arXiv preprint2025-08

Hand-Eye Autonomous Delivery: Learning Humanoid Navigation, Locomotion and Reaching

Sirui Chen, Yufei Ye, Zi-Ang Cao, Jennifer Lew, Pei Xu, C. Karen Liu

Stanford University

人形机器人机器人学习导航灵巧操作

论文针对人形机器人在真实室内任务中难以将导航、行走与伸手触达连续协调的问题,提出 HEAD:用高层策略预测头部/双手的目标位姿,将视觉导航意图与低层全身控制解耦;低层以三点跟踪接口从大规模人类动捕中学习,并用分离的上下身判别器提升组合性。实验表明,人类与少量机器人数据结合可改善新场景导航泛化,Unitree G1 实机在含障碍的两类环境中触达成功率达 71%。

Humanoid Occupancy: Enabling A Generalized Multimodal Occupancy Perception System on Humanoid Robots Figure 1
arXiv preprint2025-07

Humanoid Occupancy: Enabling A Generalized Multimodal Occupancy Perception System on Humanoid Robots

Wei Cui, Haoyu Wang, Wenkang Qin, Yijie Guo, Gang Han, Wen Zhao, Jiahang Cao, Zhang Zhang, Jiaru Zhong, Jingkai Sun, Pihai Sun, Shuai Shi, Botuo Jiang, Jiahao Ma, Jiaxu Wang, Hao Cheng, Zhichao Liu, Yang Wang, Zheng Zhu, Guan Huang, Jian Tang, Qiang Zhang, Technical Leader

人形机器人机器人学习导航感知

面向人形机器人导航中视野遮挡、运动结构干扰和数据稀缺的问题,本文提出 Humanoid Occupancy,将6路RGB相机与360° LiDAR、可穿戴采集装置、占据标注流水线和时序多模态融合网络整合为统一感知系统,并构建首个人形机器人全景占据数据集。系统已部署在天工机器人上,文中称在复杂环境感知与导航中表现更好,但具体量化增益和消融来源未充分说明。

RL with Data Bootstrapping for Dynamic Subgoal Pursuit in Humanoid Robot Navigation Figure 1
arXiv preprint2025-06

RL with Data Bootstrapping for Dynamic Subgoal Pursuit in Humanoid Robot Navigation

Chengyang Peng, Zhihao Zhang, Shiting Gong, Sankalp Agrawal, Keith A. Redmill, Ayonga Hereid

Computer Science and Engineering, The Ohio State University, Columbus, OH, USA, Mechanical and Aerospace Engineering, The Ohio State University, Columbus, OH, USA, Electrical and Computer Engineering, The Ohio State University, Columbus, OH, USA

人形机器人机器人学习导航强化学习

针对人形机器人在拥挤环境中难以同时满足实时规划与稳定步行的问题,本文将导航拆成高层强化学习子目标选择与低层线性 MPC 步态跟踪,并用模型式导航生成的示范数据填充回放缓冲区以缓解从零训练的低效和不稳定。仿真中在 Digit 随机障碍场景验证,成功率和适应性优于原模型方法及若干学习式高层规划器,但结果仍主要限于仿真。

NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance Figure 1
arXiv preprint2025-05

NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance

Wenzhe Cai, Jiaqi Peng, Yuqiang Yang, Yujian Zhang, Meng Wei, Hanqing Wang, Yilun Chen, Tai Wang, Jiangmiao Pang

Shanghai AI Lab, Tsinghua University, Zhejiang University, The University of Hong Kong

人形机器人机器人学习导航运动生成

NavDP针对开放动态环境中模块化导航调参繁琐、真实示范难规模化的问题,提出仅用仿真训练的端到端RGB-D扩散导航策略;其关键在于用Transformer同时生成轨迹并评估轨迹,借助仿真中的全局规划和ESDF等特权信息训练对比critic以区分安全/危险动作。作者构建3000场景、百万米级数据,仿真和真实机器人实验显示其零样本sim-to-real与跨形态导航优于既有方法,消融表明RGB-D融合、critic选择和跨高度随机化是主要增益来源。

HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots Figure 1
arXiv preprint2025-03

HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots

Qiang Zhang, Zhang Zhang, Wei Cui, Jingkai Sun, Jiahang Cao, Yijie Guo, Gang Han, Wen Zhao, Jiaxu Wang, Chenghao Sun, Lingfeng Zhang, Hao Cheng, Yujie Chen, Lin Wang, Jian Tang, Renjing Xu

Beijing Innovation Center of Humanoid Robotics, Hong Kong University of Science and Technology (Guangzhou), Hong Kong University of Science and Technology, Beijing Institute of Technology, ETH Zurich, Nanyang Technological University

人形机器人机器人学习导航感知

针对人形机器人肢体自遮挡、视场受限且传感器几何易随姿态变化失配的问题,HumanoidPano将全景视觉与LiDAR结合,用球面几何约束、空间可变形注意力和跨视角增强实现360°到BEV的几何一致融合。论文在360BEV-Matterport上取得SOTA,并在真实人形平台生成BEV语义图以支持导航。

NaVILA: Legged Robot Vision-Language-Action Model for Navigation Figure 1
arXiv preprint2024-12

NaVILA: Legged Robot Vision-Language-Action Model for Navigation

An-Chieh Cheng, Yandong Ji, Zhaojing Yang, Zaitian Gongye, Xueyan Zou, Jan Kautz, Hongxu Yin, Sifei Liu, Xiaolong Wang

UC San Diego USC NVIDIA

人形机器人机器人学习导航视觉语言动作

NaVILA面向足式机器人在无地图、杂乱环境中的视觉语言导航,避免让VLA直接生成低层关节动作,而是先由VLM输出带距离和方向的语言化中层动作,再交给实时视觉强化学习运动策略执行。该解耦设计便于跨机器人迁移,并可利用人类漫游视频等数据增强泛化。实验中其在经典VLN成功率提升超过17%,在VLN-CE-Isaac和真实Go2、H1、T1等平台上也优于盲策略并取得较高实机成功率。

ARMOR: Egocentric Perception for Humanoid Robot Collision Avoidance and Motion Planning Figure 1
arXiv preprint2024-12

ARMOR: Egocentric Perception for Humanoid Robot Collision Avoidance and Motion Planning

Daehwa Kim, Mario Srouji, Chen Chen, Jian Zhang

Carnegie Mellon University, Apple, Carnegie Mellon University

人形机器人机器人学习导航安全恢复感知

针对人形机器人仅依赖头部/外部深度相机时手臂遮挡严重、密集环境中难以安全规划的问题,ARMOR在手臂和手部布置低成本ToF深度传感器,形成近似“皮肤式”的自中心分布感知,并用AMASS人类动作训练Transformer模仿学习避障策略。实验显示相对外部/头戴相机碰撞降低63.7%、成功率提升78.7%,相对cuRobo碰撞更少且延迟约降至1/26,并在GR1实机部署。

NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration Figure 1
arXiv preprint2023-10

NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration

Ajay Sridhar, Dhruv Shah, Catherine Glossop, Sergey Levine

UC Berkeley

人形机器人机器人学习导航运动生成

NoMaD针对未知环境中机器人既要无目标探索、又要在发现视觉目标后定向导航的问题,避免为探索和到达分别训练模型。其核心是用Transformer编码视觉历史,并以目标掩码的动作扩散策略统一建模有目标与无目标行为,结合图搜索和frontier探索用于长程导航。真实机器人室内外实验显示,相比5种方法在未见环境中成功率提升、碰撞更少,并以约15倍更低计算量超过既有方案。

LOVON: Legged Open-Vocabulary Object Navigator Figure 1
arXiv preprint2025-07

LOVON: Legged Open-Vocabulary Object Navigator

Daojie Peng, Jiahang Cao, Qiang Zhang, Jun Ma

The Hong Kong University of Science and Technology (Guangzhou), Beijing Innovation Center of Humanoid Robotics, The Hong Kong University of Science and Technology

人形机器人机器人学习导航视觉语言动作

面向开放环境中的长时程目标导航,LOVON试图弥合腿式机器人机动性与开放词汇感知、任务规划之间的断层。其核心是用 LLM 做层级任务分解,结合开放词汇检测与语言到运动模型,并用拉普拉斯方差过滤和执行状态逻辑缓解运动抖动、盲区和目标丢失。实验显示其能在 Gym-Unreal 及 Unitree Go2、B2、H1-2 实机上完成动态目标搜索与导航,但具体量化增益来源文中片段未充分说明。

AutoOdom: Learning Auto-regressive Proprioceptive Odometry for Legged Locomotion Figure 1
arXiv preprint2025-11

AutoOdom: Learning Auto-regressive Proprioceptive Odometry for Legged Locomotion

Changsheng Luo, Yushi Wang, Wenhan Cai, Mingguo Zhao

Department of Automation, Tsinghua University, Beijing, China Wenhan Cai is with Booster Robotics, Department of Automation, Tsinghua University, Beijing, China, cn Wenhan Cai is with Booster Robotics

人形机器人机器人学习状态估计

面向视觉/GPS失效且接触状态快速变化的腿式机器人里程计,AutoOdom用大规模仿真先学习非线性本体动态,再用少量真实数据进行自回归训练,让模型在自身预测分布上适应噪声与 sim-to-real 偏差。在 Booster T1 人形机器人实验中,相比 Legolas,ATE、Umeyama 对齐误差和相对位姿误差分别降低 57.2%、59.2% 和 36.2%。

InEKFormer: A Hybrid State Estimator for Humanoid Robots Figure 1
arXiv preprint2025-11

InEKFormer: A Hybrid State Estimator for Humanoid Robots

Lasse Hohmeyer, Mihaela Popescu, Ivan Bergonzani, Dennis Mronga, Frank Kirchner

University of Bremen, Bremen, Germany, Robotics Innovation Center, German Research Center for

人形机器人机器人学习状态估计

面向人形机器人在复杂地形中稳定行走所需的快速浮动基状态反馈,论文提出 InEKFormer,将 InEKF 的几何滤波结构与 Transformer 内部耦合,由网络预测 Kalman 增益以补偿模型失配和噪声调参依赖。作者基于 RH5 的动捕与本体感知数据构建五类运动数据集,并与 InEKF、KalmanNet 比较;结果显示 Transformer 用于人形状态估计有潜力,但在高维自回归训练下鲁棒性仍不足,实际增益边界仍需进一步验证。

Physics-Informed Neural Networks with Unscented Kalman Filter for Sensorless Joint Torque Estimation Figure 1
arXiv preprint2025-07

Physics-Informed Neural Networks with Unscented Kalman Filter for Sensorless Joint Torque Estimation

Ines Sorrentino, Giulio Romualdi, Lorenzo Moretti, Silvio Traversaro, Daniele Pucci

人形机器人机器人学习状态估计

针对人形机器人关节力矩传感器成本高、谐波减速器摩擦和弹性导致无传感估计不准的问题,论文将基于电机/关节速度缓冲的 PINN 摩擦模型作为 UKF 的直接观测,扩展到浮动基全身实时力矩控制。在 ergoCub 动态平衡实验中,相比 RNEA 降低力矩跟踪误差、提升能效和抗扰,并显示跨相近硬件免重标定的可迁移性。

An Empirical Evaluation of Four Off-the-Shelf Proprietary Visual-Inertial Odometry Systems Figure 1
arXiv preprint2022-07

An Empirical Evaluation of Four Off-the-Shelf Proprietary Visual-Inertial Odometry Systems

Jungha Kim, Minkyeong Song, Yeoeun Lee, Moonkyeong Jung, Pyojin Kim

人形机器人机器人学习状态估计感知

本文针对商用闭源 VIO 在机器人室内外状态估计中缺乏真实场景横向评测的问题,搭建统一采集平台,对 ARKit、ARCore、RealSense T265 与 ZED 2 在六类挑战环境中比较稳定性、一致性和精度。核心洞察是现成产品差异显著:ARKit 在多楼层、光照变化和车辆运动中最稳健,ARCore 次之但高速/弱光易退化,T265 存在尺度不一致,ZED 2 旋转漂移最明显。

Contact-Aided Invariant Extended Kalman Filtering for Robot State Estimation Figure 1
The International Journal of Robotics Research2019-04

Contact-Aided Invariant Extended Kalman Filtering for Robot State Estimation

Ross Hartley, Maani Ghaffari, Ryan M Eustice, Jessy W Grizzle

Robotics Institute and College of Engineering, University of Michigan, Ann Arbor, MI, USA, University of Michigan

人形机器人机器人学习状态估计

针对腿式/人形机器人在光照和环境变化下不宜依赖视觉、而仅靠 IMU 与接触/运动学融合又易受传统 EKF 线性化一致性影响的问题,本文将接触辅助惯性导航表述在李群上,推导 InEKF,使误差动力学近似具备 log-linear、自主形式,并支持 IMU 偏置、接触增删及世界/机器人中心两种表达。仿真与 Cassie 双足实验、动捕评估和 LiDAR 建图表明,其收敛性与一致性优于常用四元数 EKF。

Legged Robot State-Estimation Through Combined Forward Kinematic and Preintegrated Contact Factors Figure 1
arXiv preprint2017-05

Legged Robot State-Estimation Through Combined Forward Kinematic and Preintegrated Contact Factors

Ross Hartley, Josh Mangelson, Lu Gan, Maani Ghaffari Jadidi, Jeffrey M. Walls, Ryan M. Eustice, Jessy W. Grizzle

College of Engineering, University of Michigan, Ann Arbor, MI, USA, University of Michigan, College of Engineering, Ann Arbor, MI, 48109, USA, University of Michigan, Toyota Research Institute, Toyota Motor Corporation (Switzerland)

人形机器人机器人学习状态估计

针对腿式机器人在视觉跟踪因光照或纹理不足失效时状态估计易漂移的问题,论文将多连杆正运动学因子与预积分接触因子加入因子图:前者用带噪编码器约束机体到接触足的相对位姿,后者建模接触帧随时间的里程计并允许足端打滑。Cassie 仿真与实机初步结果表明,相比仅用 IMU,融合这些腿部约束可降低漂移、提高定位精度,但实验规模仍偏初步。

The invariant extended Kalman filter as a stable observer Figure 1
IEEE Transactions on Automatic Control2014-10

The invariant extended Kalman filter as a stable observer

Axel Barrau, Silvere Bonnabel

Safran Tech, Groupe Safran, Rue des Jeunes Bois—Châteaufort, France, MINES ParisTech, PSL Research University, Centre for Robotics, Paris, France, Centre de Robotique

人形机器人机器人学习状态估计

针对传统 EKF 在非线性李群状态估计中线性化依赖未知真实轨迹、可能失稳甚至发散的问题,本文刻画了一类比左不变系统更广的系统,使其不变估计误差具有自治性,并揭示经合适非线性变换后误差传播满足线性方程。基于此,作者证明 IEKF 在连续动力学、离散观测下满足线性情形标准条件即可沿任意轨迹局部渐近稳定;移动机器人和惯性导航仿真显示,同等调参下 IEKF 比 EKF 更稳健,挑战场景中 EKF 会发散而 IEKF 仍收敛。

RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Robots Figure 1
arXiv preprint2026-02

RAPT: Model-Predictive Out-of-Distribution Detection and Failure Diagnosis for Sim-to-Real Humanoid Robots

Humphrey Munn, Brendan Tidd, Peter Böhm, Marcus Gallagher, David Howard

School of Electrical Engineering and Computer Science, University of Queensland, QLD 4072, Australia, CSIRO Robotics, Data61, Australia

人形机器人机器人学习仿真到现实

针对人形机器人策略仿真中表现正常、实机遇到分布外状态却高置信失效的问题,RAPT将仿真正常轨迹学习为概率时空流形,用逐维校准预测偏差在线度量 sim-to-real 漂移,并结合梯度时序显著性与LLM做事后故障归因。在Unitree G1仿真和实机任务中,其在0.5%低误报约束下显著提升OOD检出率,实机TPR提升12.5%,16例故障根因分类准确率达75%。

Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control Figure 1
arXiv preprint2026-01

Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control

Weidong Huang, Zhehan Li, Hangxin Liu, Biao Hou, Yao Su, Jingwen Zhang

State Key Laboratory of General Artificial Intelligence, BIGAI, School of Artificial Intelligence, Xidian University

人形机器人机器人学习仿真到现实

本文针对人形机器人中PPO预训练虽快但新环境微调样本效率低且探索风险高的问题,提出LIFT:用大批量、高UTD的SAC进行大规模仿真预训练,再结合物理先验世界模型做安全高效微调,将随机探索限制在模型内、真实环境执行确定性策略。结果显示SAC策略可在单4090约一小时训练后零样本部署到实体人形机器人,并支持新环境和分布外任务的更稳定、数据高效适应。

PolySim: Bridging the Sim-to-Real Gap for Humanoid Control via Multi-Simulator Dynamics Randomization Figure 1
arXiv preprint2025-10

PolySim: Bridging the Sim-to-Real Gap for Humanoid Control via Multi-Simulator Dynamics Randomization

Zixing Lei, Zibo Zhou, Sheng Yin, Yueru Chen, Qingyao Xu, Weixin Li, Yunhong Wang, Bowei Tang, Wei Jing, Siheng Chen

The authors from Shanghai Jiao Tong University, The authors from Zhongguancun Academy

人形机器人机器人学习仿真到现实

针对人形机器人全身控制中单一仿真器的动力学归纳偏置导致 sim-to-real 落差的问题,PolySim 将 IsaacSim、IsaacGym、Genesis 等异构引擎并行纳入同一训练循环,把域随机化提升到仿真动力学层面,并用客户端-服务器隔离、统一路由和 GPU 直通通信支撑高效采样。实验显示其降低跨仿真运动跟踪误差,在 MuJoCo 上较 IsaacSim 基线成功率提升 52.8%,并可零样本部署到 Unitree G1。

Contrastive Representation Learning for Robust Sim-to-Real Transfer of Adaptive Humanoid Locomotion Figure 1
arXiv preprint2025-09

Contrastive Representation Learning for Robust Sim-to-Real Transfer of Adaptive Humanoid Locomotion

Yidan Lu, Rurui Yang, Qiran Kou, Mengting Chen, Tao Fan, Peter Cui, Yinzhao Dong, Peng Lu

Adaptive Robotic Controls Lab (ArcLab), Department of Mechanical Engineering, The University of Hong Kong, Hong Kong SAR, China

人形机器人机器人学习仿真到现实

面向人形机器人落地时“仅本体感知够稳但缺预见、外感知有预见但系统脆弱”的矛盾,论文在非对称 actor-critic 中用同时间步对比学习,将仿真中特权地形信息蒸馏进 actor 隐状态,并驱动自适应步态时钟调节频率与相位。方法在全尺寸人形上零样本迁移,完成 30 cm 台阶和 26.5° 斜坡等复杂地形行走。

Towards bridging the gap: Systematic sim-to-real transfer for diverse legged robots Figure 1
arXiv preprint2025-09

Towards bridging the gap: Systematic sim-to-real transfer for diverse legged robots

Filip Bjelonic, Fabian Tischhauser, Marco Hutter

Robotic Systems Lab, ETH Zurich, Zurich, Switzerland

人形机器人机器人学习仿真到现实

针对腿式机器人仿真训练策略在真实机上易失效且能耗建模粗糙的问题,本文把永磁同步电机的物理能量损耗模型嵌入 sim-to-real 强化学习,用少量可辨识参数和四项奖励替代大量动力学随机化与手调奖励。通过从单执行器到整机行走的自底向上辨识,在3个主平台和10余台机器人上实现可靠迁移,并使 ANYmal 总运输成本较 SOTA 降低约32%。

Robot Trains Robot: Automatic Real-World Policy Adaptation and Learning for Humanoids Figure 1
arXiv preprint2025-08

Robot Trains Robot: Automatic Real-World Policy Adaptation and Learning for Humanoids

Kaizhe Hu, Haochen Shi, Yao He, Weizhuo Wang, C. Karen Liu, Shuran Song

Stanford University

人形机器人机器人学习仿真到现实

针对人形机器人实机强化学习中易摔、奖励难测和重置成本高导致的 sim-to-real 适配瓶颈,RTR 用带力反馈的机械臂作为“教师”主动支撑、扰动、给出代理奖励并自动复位,同时只在真实环境优化动力学潜变量来稳定微调策略。实验在 ToddlerBot 上显示,20 分钟实机训练可将零样本行走速度约翻倍,摆起任务也能在 15 分钟内从零学到周期动作。

DiffCoTune: Differentiable Co-Tuning for Cross-domain Robot Control Figure 1
arXiv preprint2025-05

DiffCoTune: Differentiable Co-Tuning for Cross-domain Robot Control

Lokesh Krishna, Sheng Cheng, Junheng Li, Naira Hovakimyan, Quan Nguyen

人形机器人机器人学习仿真到现实

针对机器人控制器从仿真/模型迁移到真实域时因动力学误差需人工调参的问题,DiffCoTune将系统辨识与控制器适配视为同一协同调优任务,利用可微仿真器和少量目标域rollout交替优化模型与控制参数,而非追求完全精确的真实模型。实验覆盖倒立摆、四足和双足跟踪,并适配LQR、PD、MPC与DNN策略,显示通常少于5次部署试验即可提升跨域性能。

Sampling-Based System Identification with Active Exploration for Legged Robot Sim2Real Learning Figure 1
arXiv preprint2025-05

Sampling-Based System Identification with Active Exploration for Legged Robot Sim2Real Learning

Nikhil Sobanbabu, Guanqi He, Tairan He, Yuxiang Yang, Guanya Shi

Carnegie Mellon University, Google DeepMind, com/LeCAR-Lab/SPI-Active

人形机器人机器人学习仿真到现实

针对腿式机器人强化学习策略因质量、惯量、摩擦和执行器/接触建模误差而难以精确 Sim2Real 的问题,论文提出 SPI-Active:先用并行采样式白盒系统辨识拟合真实与仿真轨迹,再通过最大化 Fisher 信息优化预训练多行为策略的命令序列以主动采集更有辨识度的数据。该方法无需可微仿真或真实力矩传感,在 Unitree Go2 和 G1 的跳跃、绕杆等动态任务中较基线提升约 42–63%。

Sim-to-Real of Humanoid Locomotion Policies via Joint Torque Space Perturbation Injection Figure 1
arXiv preprint2025-04

Sim-to-Real of Humanoid Locomotion Policies via Joint Torque Space Perturbation Injection

Junhyeok Rui Cha, Woohyun Cha, Jaeyong Shin, Donghyeon Kim, Jaeheung Park

人形机器人机器人学习仿真到现实

针对传统域随机化受限于固定仿真参数、难以覆盖执行器非线性和接触柔顺等现实差距的问题,论文将这些差距视为关节力矩空间扰动,并用状态相关神经网络扰动替代参数随机化;结合DWL与Raibert启发式训练,在全尺寸TOCABI人形机器人上实现零样本sim-to-real,并在未见摩擦、粗糙地形和动力学变化下优于常规方法。

Bridging the Sim-to-Real Gap for Athletic Loco-Manipulation Figure 1
arXiv preprint2025-02

Bridging the Sim-to-Real Gap for Athletic Loco-Manipulation

Nolan Fey, Gabriel B. Margolis, Pulkit Agrawal

Improbable AI Lab, Massachusetts Institute of Technology, Cambridge, MA

人形机器人机器人学习仿真到现实

面向投掷、举重、拖拽等高动态移动操作,论文指出仅用任务奖励易利用仿真漏洞、仅跟踪参考又限制策略探索。核心做法是用真实关节编码器数据训练无监督执行器网络,在无力矩传感器下校准复杂执行器动力学,再以参考轨迹作探索提示进行预训练与任务微调。实验在Unitree B2+机械臂上实现较一致的仿真到现实迁移,完成举、投、拖等动作。

Learning Agile and Dynamic Motor Skills for Legged Robots Figure 1
Science Robotics2019-01

Learning Agile and Dynamic Motor Skills for Legged Robots

Jemin Hwangbo, Joonho Lee, Alexey Dosovitskiy, Dario Bellicoso, Vassilios Tsounis, Vladlen Koltun, Marco Hutter

Robotic Systems Lab, ETH Zurich, Zurich, Switzerland, ETH Zurich, Intelligent Systems Lab, Intel, Munich, Germany, Intelligent Systems Lab, Intel, Santa Clara, CA, USA

人形机器人机器人学习仿真到现实

针对腿式机器人控制依赖人工模块化设计、难以实现高速动态动作且真实训练成本高的问题,本文在仿真中用强化学习端到端训练关节级策略,并通过更贴近硬件的执行器建模与仿真到现实迁移部署到 ANYmal。结果显示,机器人可精确节能地跟随速度指令、实现更快奔跑,并能在复杂倒地姿态下数秒内恢复,且策略在硬件变化下保持鲁棒。

Characteristics, Management, and Utilization of Muscles in Musculoskeletal Humanoids Figure 1
arXiv preprint2026-02

Characteristics, Management, and Utilization of Muscles in Musculoskeletal Humanoids

Kento Kawaharazuka, Kei Okada, Masayuki Inaba

人形机器人机器人学习硬件设计

针对肌骨人形机器人肌肉特性讨论分散、难以指导控制与维护的问题,论文基于 Kengoro 和 Musashi 的实机经验,将肌肉结构归纳为冗余性、独立性、各向异性、可变力臂和非线性弹性五类,并梳理其利弊及对应的身体图式学习、反射控制、肌肉分组和自适应策略。主要结果是形成一套统一的软件管理框架,并通过整合系统展示多种动作实现;定量增益文中未充分说明。

Fauna Sprout: A lightweight, approachable, developer-ready humanoid robot Figure 1
arXiv preprint2026-01

Fauna Sprout: A lightweight, approachable, developer-ready humanoid robot

Sridhar Pandian, Yaswanth Kumar, Ashiq Rahman Anwar, Christina Santa

Fauna Robotics Team

人形机器人机器人学习硬件设计

针对现有人形机器人要么封闭、要么难以在人群中长期安全部署的问题,Sprout 将小型轻量机身、软外壳、低扭矩/可回驱关节与顺应全身控制结合,并把集成夹爪、VR遥操作、导航与开发 API 放入统一软硬件栈。结果是一个 1.07 m、22.7 kg、面向开发者的可操作平台,可支持近人交互、操控与具身智能原型开发;但文中未充分说明系统相对竞品的量化性能增益。

Antagonistic Bowden-Cable Actuation of a Lightweight Robotic Hand: Toward Dexterous Manipulation for Payload Constrained Humanoids Figure 1
arXiv preprint2025-12

Antagonistic Bowden-Cable Actuation of a Lightweight Robotic Hand: Toward Dexterous Manipulation for Payload Constrained Humanoids

Sungjae Min, Hyungjoo Kim, David Hyunchul Shim

Korea Advanced Institute of Science and Technology, Daehak-ro Daejeon, Republic of Korea

人形机器人机器人学习硬件设计灵巧操作

面向载荷受限的人形机器人,论文针对灵巧手难以同时兼顾轻量、高自由度和大抓握力的问题,提出将执行器远置到躯干、通过拮抗 Bowden 线缆驱动滚动接触关节的五指手,实现单电机每关节且减少线缆长度偏差。原型远端仅 236 g,指尖力超过 18 N,可举起超过自身百倍载荷,并通过 Cutkosky 抓握与扰动布置下的轨迹一致性验证了操作能力与鲁棒性。

Olaf: Bringing an Animated Character to Life in the Physical World Figure 1
IEEE RA-L 20262025-12

Olaf: Bringing an Animated Character to Life in the Physical World

David Müller, Espen Knoop, Dario Mylonopoulos, Agon Serifi, Michael A. Hopkins, Ruben Grandia, Moritz Bächer

Disney Research Imagineering

人形机器人机器人学习硬件设计

面向娱乐与陪伴场景中“像角色而非像机器”的需求,论文将比例和运动都不适合传统双足机器人的 Olaf 实体化。核心在于用隐藏式非对称 6-DoF 双腿、泡沫裙和远程连杆保持外观,同时以动画参考强化学习加入脚步降噪、温度感知与约束奖励。仿真和实机实验表明,该设计可自由行走并更好维持角色可信度,且能降低冲击声并避免执行器过热。

OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer Figure 1
arXiv preprint2025-12

OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer

Jessica Yin, Haozhi Qi, Youngsun Wi, Sayantan Kundu, Mike Lambeta, William Yang, Changhao Wang, Tingfan Wu, Jitendra Malik, Tess Hellebrekers

Meta FAIR University of Michigan University of Pennsylvania

人形机器人机器人学习硬件设计触觉

针对仅凭人类视频难以恢复接触力、限制接触丰富操作学习的问题,OSMO设计了开源柔性触觉手套,在指尖和掌部布置12个三轴磁触觉传感器,并让人和机器人佩戴同一手套以缩小视觉与触觉具身差距。其策略仅用人类示教训练,无需真实机器人数据;在需要持续压力的擦拭任务中达到72%成功率,优于纯视觉基线。

DIJIT: A Robotic Head for an Active Observer Figure 1
arXiv preprint2025-12

DIJIT: A Robotic Head for an Active Observer

Mostafa Kamali Tabrizi, Mingshi Chi, Bir Bikram Dey, Yu Qing Yuan, Markus D. Solbach, Yiqian Liu, Michael Jenkin, John K. Tsotsos

this research

人形机器人机器人学习硬件设计

针对现有主动视觉机器人多为单目或固定双目、缺少人眼—头颈协同自由度的问题,DIJIT构建了仿人双目机器人头:每只相机具备三轴转动,颈部三自由度,并加入光学自由度,可覆盖聚散、共同转动和旋转等立体视觉动作。论文还提出相机朝向到电机值的直接映射来执行扫视;实验显示其峰值扫视速度达到人类水平的85%以上,校正后平均误差约0.96°,精度接近人类表现。

DecARt Leg: Design and Evaluation of a Novel Humanoid Robot Leg with Decoupled Actuation for Agile Locomotion Figure 1
arXiv preprint2025-11

DecARt Leg: Design and Evaluation of a Novel Humanoid Robot Leg with Decoupled Actuation for Agile Locomotion

Egor Davydenko, Andrei Volchenkov, Vladimir Gerasimov, Roman Gorbachev

Moscow Institute of Physics and Technology (MIPT)

人形机器人机器人学习硬件设计

针对传统串联人形腿在摆腿时多关节耦合、限制敏捷性的矛盾,论文提出 DecARt Leg:用旋转电机实现准伸缩式解耦驱动,并通过膝上电机与多杆机构传递踝部力矩,同时保持前向膝的人形外观。作者引入 FAST 指标比较腿部快速摆动能力,显示该结构相较若干耦合/解耦方案具备更强敏捷潜力;仿真与初步硬件实验验证了行走、跳跃等动作可行。

Human-Level Actuation for Humanoids Figure 1
arXiv preprint2025-11

Human-Level Actuation for Humanoids

MD-Nazmus Sunbeam

Teragon Research

人形机器人机器人学习硬件设计

论文针对人形机器人“人类级驱动”常停留在峰值扭矩/速度宣传、缺少可复现实测标准的问题,提出以人体生物力学为参照的DoF图谱、人体等效包络HEE与综合评分HLAS,在任务相关姿态和角速度下同时考察扭矩、功率、带宽、效率与热持续性。示例计算显示,该指标能揭示齿比、带宽和效率之间的取舍,为硬件设计和跨平台基准测试提供量化规范。

Toward Humanoid Brain-Body Co-design: Joint Optimization of Control and Morphology for Fall Recovery Figure 1
arXiv preprint2025-10

Toward Humanoid Brain-Body Co-design: Joint Optimization of Control and Morphology for Fall Recovery

Bo Yue, Sheng Xu, Kui Jia, Guiliang Liu

人形机器人机器人学习硬件设计安全恢复

针对人形机器人跌倒后自主起身对安全与后续运动能力的基础作用,论文提出 RoboCraft,将控制策略学习与形态参数搜索闭环协同优化。其关键在于跨多机型预训练共享策略,再对高潜力形态微调,并用带优先缓冲的可制造形态搜索减少重复训练。实验在 7 个公开人形机器人上平均提升 44.55%,且四个机型中形态优化贡献至少 40%,说明硬件形态并非附属变量。

Embracing Evolution: A Call for Body-Control Co-Design in Embodied Humanoid Robot Figure 1
arXiv preprint2025-10

Embracing Evolution: A Call for Body-Control Co-Design in Embodied Humanoid Robot

Guiliang Liu, Bo Yue, Yi Jin Kim, Kui Jia

The Chinese University of Hong Kong (Shenzhen), DexForce Technology

人形机器人机器人学习硬件设计

针对当前人形机器人多在固定机体上优化控制、忽视形态对具身智能影响的问题,本文主张将身体结构与控制策略共同演化,并把人形机器人协同设计形式化为双层优化框架。核心洞察是形态优化可与推理—动作架构结合,通过结构探索、Sim2Real 和元策略降低复杂度。论文主要给出可行性与必要性分析、挑战梳理及开放问题,未充分提供实证性能增益。

Evolutionary Continuous Adaptive RL-Powered Co-Design for Humanoid Chin-Up Performance Figure 1
arXiv preprint2025-09

Evolutionary Continuous Adaptive RL-Powered Co-Design for Humanoid Chin-Up Performance

Tianyi Jin, Melya Boukheddimi, Rohit Kumar, Gabriele Fadini, Frank Kirchner

Robotics Innovation Center, DFKI GmbH, Bremen, Germany, Computational Robotics Lab, ETH Zurich, AG Robotik University of Bremen, Bremen, Germany, RWTH Aachen University, Aachen, Germany

人形机器人机器人学习硬件设计强化学习

针对人形机器人先定硬件再调控制导致高负载动态任务受限的问题,论文提出 EA-CoRL,将进化搜索用于硬件设计变量(如执行器齿比),并在设计迭代中持续自适应微调强化学习策略。以 RH5 人形机器人引体向上为例,该方法在无需大幅改硬件的情况下使原本受执行器限制的任务可行,并较现有 RL 共设计基线取得更高适应度和更广设计空间探索。

A Framework for Optimal Ankle Design of Humanoid Robots Figure 1
arXiv preprint2025-09

A Framework for Optimal Ankle Design of Humanoid Robots

Guglielmo Cervettini, Roberto Mauceri, Alex Coppola, Fabio Bergonti, Luca Fiorio, Marco Maggiali, Daniele Pucci

Artificial and Mechanical Intelligence Laboratory, Istituto Italiano di Tecnologia (IIT), School of Computer Science, University of Manchester

人形机器人机器人学习硬件设计

针对人形机器人踝关节需兼顾近端布置重执行器、柔顺交互与任务相关性能,而并联机构选型缺少量化依据的问题,论文提出统一设计评估框架:为 SPU/RSU 建模,结合闭式逆运动学、RSU 可行工作空间参数化、多目标几何优化与标量代价函数进行跨架构比较。在真实机器人踝部重设计中,优化 RSU 相比原串联设计和常规 RSU 代价分别降低最高 41% 与 14%。

CAD-Driven Co-Design for Flight-Ready Jet-Powered Humanoids Figure 1
arXiv preprint2025-09

CAD-Driven Co-Design for Flight-Ready Jet-Powered Humanoids

Punith Reddy Vanteddu, Davide Gorbani, Hosameldin Awadalla Omer Mohamed, Fabio Bergonti, Daniele Pucci

School of Computer Science, University of Manchester, Manchester, UK

人形机器人机器人学习硬件设计

面向喷气式空中人形机器人中形态、喷口布置与飞行控制强耦合的问题,论文提出从 CAD 出发的共设计流程:批量生成可制造的 iRonCub-Mk3 几何变体,经 K-means 降维后结合动量 MPC 与 NSGA-II 同时优化形态和控制增益。结果给出一组可飞行候选构型及对应控制参数,用于权衡轨迹误差与能耗;具体相对提升幅度文中未充分说明。

AGILOped: Agile Open-Source Humanoid Robot for Research Figure 1
arXiv preprint2025-09

AGILOped: Agile Open-Source Humanoid Robot for Research

Grzegorz Ficht, Luis Denninger, Sven Behnke

University of Bonn, Germany, the Autonomous Intelligent Systems (AIS) Group, Computer Science Institute VI

人形机器人机器人学习硬件设计

针对高性能人形机器人多为闭源、昂贵且维护门槛高的问题,AGILOped以可开源复现为目标,采用现成高功率密度可回驱QDD执行器、标准电子件和3D打印/柔顺材料混合结构,在110 cm、14.5 kg机身上降低制造与单人操作门槛。文中通过行走、跳跃、跌倒冲击缓解和起身实验验证其作为低成本动态人形研究平台的可用性。

A 21-DOF Humanoid Dexterous Hand with Hybrid SMA-Motor Actuation: CYJ Hand-0 Figure 1
arXiv preprint2025-07

A 21-DOF Humanoid Dexterous Hand with Hybrid SMA-Motor Actuation: CYJ Hand-0

Jin Chai, Xiang Yao, Mengfan Hou, Yanghong Li, Erbao Dong

人形机器人机器人学习硬件设计灵巧操作

针对现有仿人灵巧手在自由度、仿生结构、负载与成本之间难以兼顾的问题,本文提出 CYJ Hand-0:以 1:1 金属 3D 打印骨架和鱼线肌腱复现人手结构,并将直流电机屈曲与 SMA 伸展/侧摆驱动集成为混合腱驱单元。实验显示其 21 自由度手部重 380 g,单指可承载 1.2 kgf、整手 8 kgf,可完成 Kapandji 测试、32 种手势和 30 余种抓取。

Dexterous Teleoperation of 20-DoF ByteDexter Hand via Human Motion Retargeting Figure 1
arXiv preprint2025-07

Dexterous Teleoperation of 20-DoF ByteDexter Hand via Human Motion Retargeting

Ruoshi Wen, Jiajun Zhang, Guangzeng Chen, Zhongren Cui, Min Du, Yang Gou, Zhigang Han, Junkai Hu, Liqun Huang, Hao Niu, Wei Xu, Haoxiang Zhang, Zhengming Zhu, Hang Li, Zeyu Ren

ByteDance Seed

人形机器人机器人学习硬件设计模仿学习灵巧操作

面向高自由度灵巧手难以兼顾紧凑硬件、实时控制与高质量示教的问题,本文提出20-DoF连杆驱动ByteDexter手及手臂遥操作系统,重点在新型拇指机构、微秒级传动运动学求解和基于关键向量优化的人手到机器人重定向。实验覆盖手内操作与整理含9件物品的杂乱化妆台,显示系统可实时、较自然地执行抓取、旋转、重抓和长时序操作,并生成模仿学习所需示教数据。

PIMBS: Efficient Body Schema Learning for Musculoskeletal Humanoids Figure 1
arXiv preprint2025-06

PIMBS: Efficient Body Schema Learning for Musculoskeletal Humanoids

Humanoids with Physics-Informed Neural Networks, Kento Kawaharazuka, Takahiro Hattori, Keita Yoneda, Kei Okada

人形机器人机器人学习硬件设计

肌骨人形机器人肌肉路径复杂,几何模型与实机偏差大,而纯数据学习身体图式需要大量采集。PIMBS将PINN思想引入关节角、肌张力与肌长映射学习,在损失中加入张力—关节力矩的物理约束,相当于利用微分信息提升小样本效率。论文在仿真结构和真实肌骨人形机器人上验证,结果显示少量数据下可获得更高精度的身体图式学习。

Explosive Output to Enhance Jumping Ability: A Variable Reduction Ratio Design Paradigm for Humanoid Robots Knee Joint Figure 1
arXiv preprint2025-06

Explosive Output to Enhance Jumping Ability: A Variable Reduction Ratio Design Paradigm for Humanoid Robots Knee Joint

Xiaoshuai Ma, Haoxiang Qi, Qingqing Li, Haochen Xu, Xuechao Chen, Junyao Gao, Zhangguo Yu, Qiang Huang

人形机器人机器人学习硬件设计

针对电驱人形机器人膝关节在跳跃中“起跳需大扭矩、后段需高速度”与固定减速比、电机高速性能衰减不匹配的问题,论文提出随膝关节伸展逐步降低减速比的 EVRR-K 设计,并用线性执行器导杆机构与面向跳跃的参数优化实现。单关节平台垂跳 63 cm,较最优固定比提升约 20%–28%;整机实现 1.1 m 跳远、0.5 m 垂跳和 0.5 m 箱跳。

RAPID Hand: A Robust, Affordable, Perception-Integrated, Dexterous Manipulation Platform for Generalist Robot Autonomy Figure 1
arXiv preprint2025-06

RAPID Hand: A Robust, Affordable, Perception-Integrated, Dexterous Manipulation Platform for Generalist Robot Autonomy

Zhaoliang Wan, Zetong Bi, Zida Zhou, Hao Ren, Yiming Zeng, Yihan Li, Lu Qi, Xu Yang, Ming-Hsuan Yang, Hui Cheng

Sun Yat-sen University, University of California, Merced

人形机器人机器人学习硬件设计灵巧操作感知

面向通用机器人所需的真实多指操作数据,论文针对高灵巧手成本高、传感同步差、遥操作示教不稳定的问题,提出低成本 RAPID Hand:20 自由度紧凑手体、指尖触觉/腕部视觉/本体感知的硬件级低延迟对齐,以及高自由度遥操作重定向联合设计。实验表明其采集数据训练的扩散策略在三类手内操作任务上优于既有与同期系统,平台还计划开源以提升可复现性。

iRonCub 3: The Jet-Powered Flying Humanoid Robot Figure 1
arXiv preprint2025-06

iRonCub 3: The Jet-Powered Flying Humanoid Robot

Davide Gorbani, Hosameldin Awadalla Omer Mohamed, Gabriele Nava, Punith Reddy Vanteddu, Shabarish Purushothaman Pillai, Antonello Paolino, Fabio Bergonti, Saverio Taliani, Alessandro Croci, Nicholas James Tremaroli, Silvio Traversaro, Bruno Vittorio Trombetta, Daniele Pucci

School of Computer Science, University of Manchester, Manchester, UK, Department of Industrial Engineering, University of Naples Federico II, Naples, Italy

人形机器人机器人学习硬件设计

面向灾害救援、巡检等需要同时具备三维机动与人形交互能力的场景,本文将 iCub3 改造成四喷气涡轮驱动的 iRonCub-Mk3,重点解决全尺寸人形飞行带来的结构集成、推力估计、姿态估计与安全实验场设计问题。其创新在于定制喷气背包与前臂安装、基于模型的飞控软件栈及面向喷气人形机器人的实验基础设施;仿真验证了起飞和轨迹跟踪,硬件上展示了喷气人形机器人的首次离地,但距离自主稳定飞行仍是早期结果。

Berkeley Humanoid Lite: An Open-source, Accessible, and Customizable 3D-printed Humanoid Robot Figure 1
arXiv preprint2025-04

Berkeley Humanoid Lite: An Open-source, Accessible, and Customizable 3D-printed Humanoid Robot

Yufeng Chi, Qiayuan Liao, Junfeng Long, Xiaoyu Huang, Sophia Shao, Borivoje Nikolic, Zhongyu Li, Koushil Sreenath

University of California, Berkeley

人形机器人机器人学习硬件设计

针对现有人形机器人价格高、闭源且难以改装复现的问题,本文提出 Berkeley Humanoid Lite:以桌面级 3D 打印结构和模块化摆线齿轮执行器为核心,零部件可由常见电商采购,总硬件成本低于 5000 美元。作者通过执行器耐久测试、强化学习步态控制和遥操作实验验证平台可用性,并展示了仿真到实机的零样本策略迁移。

RUKA: Rethinking the Design of Humanoid Hands with Learning Figure 1
arXiv preprint2025-04

RUKA: Rethinking the Design of Humanoid Hands with Learning

Anya Zorin, Irmak Guzey, Nikhil Bhattasali, Lerrel Pinto

New York University

人形机器人机器人学习硬件设计灵巧操作

针对灵巧手难以同时兼顾精度、紧凑性、力量与低成本的问题,RUKA用3D打印和现成器件构建人手尺寸的腱驱五指手,并借助MANUS手套采集数据学习关节/指尖到电机命令的映射,绕开低成本腱传动建模困难。实验显示其在可达性、耐久性和抓握力量上优于LEAP、Allegro等常用手,并能完成遥操作灵巧动作。

ORCA: Open-Source, Reliable, Cost-Effective, Anthropomorphic Robotic Hand for Uninterrupted Dexterous Task Learning Figure 1
arXiv preprint2025-04

ORCA: Open-Source, Reliable, Cost-Effective, Anthropomorphic Robotic Hand for Uninterrupted Dexterous Task Learning

Clemens C. Christoph, Maximilian Eberlein, Filippos Katsimalis, Arturo Roberti, Aristotelis Sympetheros, Michel R. Vogt, Davide Liconti, Chenyu Yang, Barnabas Gavin Cangan, Ronan J. Hinchet, Robert K. Katzschmann

Soft Robotics Lab, IRIS, D-MAVT, ETH Zurich, Switzerland

人形机器人机器人学习硬件设计灵巧操作

针对灵巧手价格高、维护难、难以支撑长时间学习实验的问题,ORCA提出一款开源、3D打印的17自由度仿人腱驱动手,集成触觉传感,并通过可弹出关节、自动标定和快速张紧机制降低装配与维护复杂度。其材料成本低于2000瑞郎、8小时内可装好,在遥操作、模仿学习和零样本仿真到现实强化学习任务中验证,并连续运行超1万次循环约20小时无硬件故障。

Exceeding the Maximum Speed Limit of the Joint Angle for the Redundant Tendon-driven Structures of Musculoskeletal Humanoids Figure 1
IROS 20202025-02

Exceeding the Maximum Speed Limit of the Joint Angle for the Redundant Tendon-driven Structures of Musculoskeletal Humanoids

Kento Kawaharazuka, Yuya Koga, Kei Tsuzuki, Moritaka Onitsuka, Yuki Asano, Kei Okada, Koji Kawasaki, Masayuki Inaba

Graduate School of Information Science and Technology, The University of Tokyo, Tokyo, Japan, The University of Tokyo, TOYOTA MOTOR CORPORATION

人形机器人机器人学习硬件设计

针对冗余肌腱驱动人形机器人中关节最高速度被“最慢肌肉”限制的问题,论文将其转化为可利用的硬件特性,提出两种超限速策略:抑制拮抗肌并利用反驱性,或预先拉长部分拮抗肌。Musashi实机与仿真显示两者均能提高关节角速度并降低肌肉张力,前者性能依赖反驱性,后者更稳但需预加载张力。

ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation Figure 1
arXiv preprint2025-02

ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation

Haochen Shi, Weizhuo Wang, Shuran Song, C. Karen Liu

Stanford University

人形机器人机器人学习硬件设计

面向数据驱动的机器人学习,ToddlerBot针对现有人形平台昂贵、难维修且不利于采集具身数据的问题,提出低成本开源迷你人形硬件:30个主动自由度、3D打印和现成部件,并配套零点校准、可迁移电机辨识、数字孪生与全身遥操作。实验展示零样本仿真到现实迁移、行走与全身操作、90%双臂操作成功率及独立复现,说明其更像可复制的学习平台而非单一机器人原型。

No Figure
Proceedings of Robotics: Science and Systems, 20242024-07

Design and Control of a Bipedal Robotic Character

Ruben Grandia, Espen Knoop, Michael A. Hopkins, Georg Wiedebach, Jared Bishop, Steven Pickles, David Müller, Moritz Bächer

Disney Research, Switzerland, Disney Research, USA, Walt Disney Imagineering R&D, USA

人形机器人机器人学习硬件设计

全文短总结尚未生成。

The Duke Humanoid: Design and Control For Energy Efficient Bipedal Locomotion Using Passive Dynamics Figure 1
arXiv preprint2024-09

The Duke Humanoid: Design and Control For Energy Efficient Bipedal Locomotion Using Passive Dynamics

Boxi Xia, Bokuan Li, Jacob Lee, Michael Scutari, Boyuan Chen

All authors are from Duke University

人形机器人机器人学习硬件设计

面向可定制、可访问且能进行动态步行的人形硬件稀缺,以及现有人形行走能耗高的问题,论文提出开源 10 自由度 Duke Humanoid,并在近似人体比例、直膝静稳的硬件形态上,将被动动力学显式纳入端到端强化学习,通过调制关节力矩在主动/被动控制间切换。策略可从仿真零样本部署到实机速度跟踪行走,运输成本在仿真最多降低 50%,实机降低 31%。

Berkeley Humanoid: A Research Platform for Learning-based Control Figure 1
arXiv preprint2024-07

Berkeley Humanoid: A Research Platform for Learning-based Control

Qiayuan Liao, Bike Zhang, Xuanyu Huang, Xiaoyu Huang, Zhongyu Li, Koushil Sreenath

人形机器人机器人学习硬件设计

针对现有人形平台过大、昂贵且不利于快速验证学习控制的问题,论文提出一款低成本中尺度 Berkeley Humanoid,通过轻量化结构、自研高扭矩密度模块化执行器、简化传动与 EtherCAT 通信来降低仿真复杂度和 sim-to-real 间隙。结果显示,仅用较简单的强化学习策略和轻量随机化即可实现户外多地形全向行走、抗大扰动、长距离穿越、陡窄土路行走及单/双腿跳跃。

The MIT Humanoid Robot: Design, Motion Planning, and Control For Acrobatic Behaviors Figure 1
arXiv preprint2021-04

The MIT Humanoid Robot: Design, Motion Planning, and Control For Acrobatic Behaviors

Matthew Chignoli, Donghyun Kim, Elijah Stanger-Jones, Sangbae Kim

Massachusetts Institute of Technology, Cambridge, MA, USA, Massachusetts Institute of Technology, College of Information and Computer Sciences, University of Massachusetts Amherst, Amherst, MA, USA, University of Massachusetts Amherst, Amherst College

人形机器人机器人学习硬件设计规划

面向人形机器人后空翻、旋转跳等高动态动作难以仅靠传统硬件或规划实现的问题,本文将MIT Cheetah式高扭矩密度、可回驱电驱设计迁移到0.7 m、21 kg人形平台,并把执行器扭矩/速度/功率约束显式纳入kino-dynamic规划与全身动力学仿真,落地阶段结合MPC和WBIC。结果显示自研执行器经测功机验证,系统在真实感仿真中完成前后空翻和旋转跳;实机整机演示文中未充分说明。

Quasi-Direct Drive for Low-Cost Compliant Robotic Manipulation Figure 1
ICRA 20192019-04

Quasi-Direct Drive for Low-Cost Compliant Robotic Manipulation

David V. Gealy, Stephen McKinley, Brent Yi, Philipp Wu, Phillip R. Downey, Greg Balke, Allan Zhao, Menglong Guo, Rachel Thomasson, Anthony Sinclair, Peter Cuellar, Zoe McCarthy, Pieter Abbeel

Mechanical Engineering, University of California, Berkeley, University of California, Berkeley, Industrial Engineering & Operations Research, University of California, Berkeley, Electrical Engineering & Computer Science, University of California, Berkeley, Electrical Engineering and Computer Science, University of California, Berkeley

人形机器人机器人学习硬件设计

面向家庭、仓储等非结构化人机共处场景,论文认为现有柔顺机械臂要么昂贵要么性能不足,提出以准直接驱动(QDD)取代高减速刚性传动,在成本、回驱性与力控能力间折中。其原型 Blue 为人尺度 7 自由度、2kg 负载机械臂,规模化单臂目标低于 5000 美元;实测位置控制带宽约 7.5Hz、重复定位优于 4mm,并展示了 VR 遥操作与示教数据采集用途。

No Figure
Preprint日期待提取

Aero Hand Open

作者信息待提取

人形机器人机器人学习硬件设计灵巧操作

全文短总结尚未生成。

No Figure
Preprint2024-11

Zeroth Bot

作者信息待提取

人形机器人机器人学习硬件设计

全文短总结尚未生成。

No Figure
Nature Communications 20212021

Integrated linkage-driven dexterous anthropomorphic robotic hand

Uikyum Kim, Dawoon Jung, Heeyoen Jeong, Jongwoo Park, Hyun-Mok Jung, Joono Cheong, Hyouk Ryeol Choi, Hyunmin Do, Chanhun Park

Department of Mechanical Engineering, Ajou University, Suwon, 16499, Korea, Department of Robotics and Mechatronics, Korea Institute of Machinery & Materials (KIMM), Daejeon, 34103, Korea, Korea Institute of Machinery & Materials, Ajou University, Department of Control and Instrumentation Engineering, Korea University, Sejong, 30019, Korea, Korea University, Department of Mechanical Engineering, Sungkyunkwan University, Suwon, 16419, Korea, Sungkyunkwan University

人形机器人机器人学习硬件设计灵巧操作

全文短总结尚未生成。

No Figure
T-RO 20172017

Proprioceptive actuator design in the MIT Cheetah: Impact mitigation and high‑bandwidth physical interaction for dynamic legged robots

Patrick M. Wensing, Albert Wang, Sangok Seok, David Otten, Jeffrey Lang, Sangbae Kim

Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA, USA, Massachusetts Institute of Technology, Naver Corporation, Seongnam, South Korea, Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology, Cambridge, MA, USA

人形机器人机器人学习硬件设计

全文短总结尚未生成。

ComFree-Sim: A GPU-Parallelized Analytical Contact Physics Engine for Scalable Contact-Rich Robotics Simulation and Control Figure 1
arXiv preprint2026-03

ComFree-Sim: A GPU-Parallelized Analytical Contact Physics Engine for Scalable Contact-Rich Robotics Simulation and Control

Chetan Borse, Zhixian Xie, Wei-Cheng Huang, Wanxin Jin

Intelligent Robotics and Interactive Systems (IRIS) Lab, Arizona State University

人形机器人机器人学习仿真基准数据集/基准

针对接触丰富机器人仿真中接触求解随接触数超线性变慢、限制批量学习与在线控制的问题,ComFree-Sim用无互补约束的解析接触模型替代迭代优化,在库仑摩擦对偶锥中闭式计算冲量,并扩展到含切向、扭转、滚动摩擦的6D接触,适合GPU并行。相较MJWarp,其在密集接触场景实现近线性扩展和2–3倍吞吐提升,物理保真度相近,并在LEAP手实时MPC与动作重定向中提升闭环可用性。

Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots Figure 1
arXiv preprint2026-03

Towards Motion Turing Test: Evaluating Human-Likeness in Humanoid Robots

Mingzhe Li, Mengyin Liu, Zekai Wu, Xincheng Lin, Junsheng Zhang, Ming Yan, Zengye Xie, Changwang Zhang, Chenglu Wen, Lan Xu, Siqi Shen, Cheng Wang

Fujian Key Laboratory of Urban Intelligent Sensing and Computing, Xiamen University, Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, School of Informatics, Xiamen University, National Institute for Data Science in Health and Medicine, Xiamen University, OPPO Research Institute, ShanghaiTech University

人形机器人机器人学习仿真基准数据集/基准

针对人形机器人动作越来越“像人”却缺少统一量化标准的问题,论文提出 Motion Turing Test,并构建 HHMotion:将人和11类机器人动作统一到 SMPL-X、由人工标注人类相似度,从外观中剥离运动评估。结果显示现有机器人在跳跃、拳击、跑步等动态动作上仍易被区分;简单的 PTR-Net 反而优于多种 VLM/LLM 方法,说明该任务更依赖时序姿态线索。

RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots Figure 1
ICLR 20262026

RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots

Soroush Nasiriany, Sepehr Nasiriany, Abhiram Maddukuri, Yuke Zhu

The University of Texas at Austin, NVIDIA Research

人形机器人机器人学习仿真基准数据集/基准

针对通用家务机器人缺少可复现实验基准、真实评测成本高的问题,RoboCasa365在RoboCasa上构建365个厨房任务、2500个场景和2200余小时示范数据,覆盖多任务、基础模型与终身学习评测。实验显示,预训练可约提升3倍目标任务数据效率,但长时序任务仍困难,持续学习中灾难性遗忘明显,增益可能主要来自任务与数据规模扩展。

MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation Figure 1
arXiv preprint2026-02

MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

Nur Muhammad Mahi

人形机器人机器人学习仿真基准数据集/基准

现有机器人基准多局限于少量场景和短程操作,难以衡量通用策略对真实世界长尾布局、物体和指令变化的鲁棒性。MolmoSpaces 以开放、跨 MuJoCo/Isaac/ManiSkill 的大规模生态整合 23 万室内环境、13 万物体和 4200 万抓取,并构建 8 类导航与操作任务基准。实验显示其仿真结果与真实表现高度相关(R=0.96、ρ=0.98),能区分新旧零样本策略,同时暴露提示措辞、初始关节和遮挡敏感性。

Benchmarking Humanoid Imitation Learning with Motion Difficulty Figure 1
arXiv preprint2025-12

Benchmarking Humanoid Imitation Learning with Motion Difficulty

Zhaorui Meng, Lu Yin, Xinrui Chen, Anjun Chen, Shihui Guo, Yipeng Qin

Xiamen University, Cardiff University

人形机器人机器人学习仿真基准模仿学习数据集/基准

针对现有人形机器人模仿评测只看跟踪误差、难以区分策略能力与动作本身难度的问题,论文从刚体动力学出发提出 Motion Difficulty Score,将小姿态扰动引起的力矩变化用体积、方差和时间变化刻画,并据此重划分 AMASS 为 MD-AMASS。实验表明 MDS 能解释 UHC、PHC 等策略在不同动作上的性能差异,并支持 MID、DSJE 等按难度诊断的评测。

Generative World Modelling for Humanoids: 1X World Model Challenge Technical Report Figure 1
arXiv preprint2025-10

Generative World Modelling for Humanoids: 1X World Model Challenge Technical Report

Riccardo Mereu, Aidan Scannell, Yuxin Hou, Yi Zhao, Aditya Jitta, Antonio Dominguez, Luigi Acerbi, Amos Storkey, Paul Chang

Aalto University, University of Edinburgh, University of Helsinki

人形机器人机器人学习仿真基准世界模型运动生成

面向人形机器人在真实交互中需要“预演”未来以辅助规划的问题,本文把 1X 挑战作为世界模型基准来处理:在采样赛道将 Wan-2.2 视频生成模型改造成视频与机器人状态条件预测,并用 AdaLN-Zero、LoRA 和多样本集成优化;在压缩赛道训练时空 Transformer 预测离散潜码。最终采样任务达 23.0 dB PSNR,压缩任务 Top-500 CE 为 6.6386,两个赛道均获第一。

HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning Figure 1
arXiv preprint2025-07

HumanoidGen: Data Generation for Bimanual Dexterous Manipulation via LLM Reasoning

Zhi Jing, Siyuan Yang, Jicong Ao, Ting Xiao, Yu-Gang Jiang, Chenjia Bai

Fudan University Institute of Artificial Intelligence (TeleAI), China Telecom, University of Science and Technology of China, East China University of Science and Technology

人形机器人机器人学习仿真基准视觉语言动作灵巧操作

针对人形机器人双臂灵巧操作缺少多样仿真任务和高质量示范的问题,HumanoidGen用灵巧手原子操作与物体/手的空间标注,让LLM生成可执行的关系约束,并以MCTS增强长时程或标注不足场景的规划。作者构建HGen-Bench,在20个任务上显示其示范生成成功率优于改造后的RoboTwin,且2D/3D扩散策略性能随生成数据规模提升,增益可能主要来自更可扩展的数据生成。

Learning with pyCub: A Simulation and Exercise Framework for Humanoid Robotics Figure 1
arXiv preprint2025-06

Learning with pyCub: A Simulation and Exercise Framework for Humanoid Robotics

Lukas Rustler, Matej Hoffmann

Department of Cybernetics, Faculty of Electrical Engineering, Czech Technical University in Prague

人形机器人机器人学习仿真基准数据集/基准

针对现有 iCub 仿真器依赖 YARP/C++、安装与教学门槛高的问题,pyCub 用 PyBullet 和纯 Python 重建完整 iCub 人形机器人,包含全关节、双目相机和 4000 余触觉皮肤,并配套可调难度练习。课程两轮部署显示,学生能把精力从中间件与编译问题转向关节/笛卡尔控制、凝视、抓取和触觉避障等机器人任务;性能测试表明常用配置可接近或超过实时运行。

Humanoid World Models: Open World Foundation Models for Humanoid Robotics Figure 1
arXiv preprint2025-06

Humanoid World Models: Open World Foundation Models for Humanoid Robotics

Muhammad Qasim Ali, Aditya Sridhar, Shahbuland Matiana, Alex Wong, Mohammad Al-Sharman

人形机器人机器人学习仿真基准世界模型数据集/基准

面向人形机器人在开放环境中难以安全推演动作后果的问题,本文将世界模型具体化为由控制 token 条件驱动的第一视角视频预测器,并系统比较 Masked Transformer 与 Flow-Matching 及注意力/参数共享变体。结果显示,在100小时示范和小算力约束下,Masked Transformer 更优;参数共享可在视觉质量基本不降的情况下减少33–53%参数。

Mimicking-Bench: A Benchmark for Generalizable Humanoid-Scene Interaction Learning via Human Mimicking Figure 1
arXiv preprint2024-12

Mimicking-Bench: A Benchmark for Generalizable Humanoid-Scene Interaction Learning via Human Mimicking

Yun Liu, Bowen Yang, Licheng Zhong, He Wang, Li Yi

Tsinghua University, Shanghai Qi Zhi Institute, Shanghai Artificial Intelligence Laboratory, Peking University

人形机器人机器人学习仿真基准模仿学习数据集/基准

针对现有人形机器人场景交互基准依赖少量人工示教、难以评估几何泛化的问题,Mimicking-Bench 将大规模人类动作引入仿真基准,覆盖6类家居全身交互、1.1万物体形状和2.3万人-场景动作,并拆解为重定向、运动跟踪与模仿学习模块。实验表明,人类模仿相比无数据强化学习能生成更自然动作并提升任务成功率,但效果强依赖各模块算法选择。

ManiSkill-HAB: A Benchmark for Low-Level Manipulation in Home Rearrangement Tasks Figure 1
arXiv preprint2024-12

ManiSkill-HAB: A Benchmark for Low-Level Manipulation in Home Rearrangement Tasks

Arth Shukla

Hillbot Inc. and University of California, San Diego, and University of California, San Diego

人形机器人机器人学习仿真基准数据集/基准

面向家庭级长时程重排任务,现有基准难以同时提供真实低层操作、快速仿真和可规模化示范数据。MS-HAB 将 HAB 移植到 ManiSkill3 的 GPU 物理仿真中,支持 Fetch 的接触式抓取与低层控制,并用事件标注/规则过滤从 RL 轨迹中筛选安全且特定行为的示范。结果显示其交互渲染速度达约 4300 SPS,比 Habitat 2.0 快 3.08 倍且显存更低,并提供 150 个 RL 策略、18.3 亿样本训练及 IL 基线。

DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning Figure 1
arXiv preprint2024-10

DexMimicGen: Automated Data Generation for Bimanual Dexterous Manipulation via Imitation Learning

Zhenyu Jiang, Yuqi Xie, Kevin Lin, Zhenjia Xu, Weikang Wan, Ajay Mandlekar, Yuke Zhu

NVIDIA Research, UT Austin, UC San Diego

人形机器人机器人学习仿真基准模仿学习灵巧操作

针对双臂灵巧/人形机器人模仿学习中遥操作采集成本高、协调难的问题,DexMimicGen将少量人类示范在物理仿真中变换与重放,并引入按手臂异步子任务划分、同步与顺序约束来处理独立、协同和先后动作。论文发布9个仿真任务,用60条源示范生成2.1万条数据;真实罐子分拣经real-to-sim-to-real训练达到90%成功率,而仅用人类示范为0%。

ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI Figure 1
arXiv preprint2024-10

ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI

Stone Tao, Fanbo Xiang, Arth Shukla, Yuzhe Qin, Xander Hinrichsen, Xiaodi Yuan, Chen Bao, Xinsong Lin, Yulin Liu, Tse-kai Chan, Yuan Gao, Xuanlin Li, Tongzhou Mu, Nan Xiao, Arnav Gurha, Viswesh Nagaswamy Rajesh, Yong Woo Choi, Yen-Ru Chen, Zhiao Huang, Roberto Calandra, Rui Chen, Shan Luo, Hao Su

University of California San Diego, Carnegie Mellon University, Tsinghua University, King’s College London

人形机器人机器人学习仿真基准数据集/基准

面向通用机器人操作中真实数据昂贵、现有 GPU 仿真任务单一且视觉渲染慢的问题,ManiSkill3 将接触丰富的物理仿真、并行渲染和异构场景管理统一到 GPU 上,并提供 12 类环境、20+ 机器人及示范数据生成流程。基准显示其仿真加渲染最高达 3 万 FPS,显存较对比平台低 2–3 倍,可把部分视觉强化学习训练从数小时压缩到分钟级。

GRUtopia: Dream General Robots in a City at Scale Figure 1
arXiv preprint日期待提取

GRUtopia: Dream General Robots in a City at Scale

Hanqing Wang, Jiahe Chen, Wensi Huang, Qingwei Ben, Tai Wang, Boyu Mi

OpenRobotLab, Shanghai AI Laboratory, Zhejiang University, Shanghai Jiao Tong University, Tsinghua University, Nanjing University, The Chinese University of Hong Kong, Xidian University, School

人形机器人机器人学习仿真基准数据集/基准

为降低真实机器人数据采集成本并提升具身智能泛化评测,GRUtopia构建面向服务机器人的城市级交互仿真社会:GRScenes提供覆盖89类场景的细粒度可交互资产,GRResidents用LLM驱动NPC生成社交任务,GRBench评测导航、社交导航与移动操作。实验表明,真实动作控制与高层规划结合显著增加难度,现有LLM/VLM智能体仍难稳定完成任务,基准具备较清晰的难度区分。

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark Figure 1
arXiv preprint2024-07

BiGym: A Demo-Driven Mobile Bi-Manual Manipulation Benchmark

Nikita Chernyadev, Nicholas Backshall, Xiao Ma, Yunfan Lu

Dyson Robot Learning Lab

人形机器人机器人学习仿真基准数据集/基准

针对现有机器人基准多依赖密集奖励、固定单臂或规划器生成演示,难以反映真实长程移动双臂操作的问题,BiGym构建了40个家庭场景任务,为每项提供50条人类采集的多模态演示,并支持全身与双臂两种控制模式。实验显示,ACT和Diffusion Policy相对最好,但在堆叠、开柜、洗碗机等精细或长程任务上仍表现有限,示范驱动RL在稀疏奖励下多数失败,凸显该基准的挑战性。

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots Figure 1
arXiv preprint2024-06

RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

The University of Texas at Austin, NVIDIA Research; Denotes

人形机器人机器人学习仿真基准数据集/基准

RoboCasa针对真实机器人数据难以规模化的问题,主张用高保真仿真扩展家庭操作数据。其核心是基于MuJoCo/RoboSuite构建多样厨房场景,结合生成式AI生成纹理与3D物体,提供跨形态机器人、100个原子/复合任务及人类示范加自动轨迹扩增。实验显示,合成轨迹用于模仿学习存在明确scaling趋势,并能提升真实厨房任务表现,但增益可能主要来自数据规模。

Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer Figure 1
ICRA 2024 Workshop on Agile Robotics2024-04

Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer

Xinyang Gu, Yen-Jen Wang, Jianyu Chen

Shanghai Qi Zhi Institute, Shanghai, China, Tsinghua University, Beijing, China

人形机器人机器人学习仿真基准强化学习数据集/基准

针对人形机器人结构复杂、仿真到真实差距大且开源训练资源不足的问题,Humanoid-Gym 基于 Isaac Gym 提供面向步行技能的强化学习框架,结合人形专用奖励、域随机化和 Isaac Gym 到 MuJoCo 的 sim-to-sim 验证流程。论文在 XBot-S 与 XBot-L 两种尺寸机器人上实现零样本 sim-to-real,并显示校准后的 MuJoCo 动力学更接近真实,可辅助无实体机器人时筛查策略鲁棒性。

HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation Figure 1
arXiv preprint2024-03

HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation

Carmelo Sferrazza, Dun-Ming Huang, Xingyu Lin, Youngwoon Lee, Pieter Abbeel

UC Berkeley Yonsei University

人形机器人机器人学习仿真基准数据集/基准

针对人形机器人真实硬件昂贵、脆弱且难以支撑大规模算法验证的问题,HumanoidBench在MuJoCo中构建了带灵巧双手的人形机器人仿真基准,覆盖15个全身操作任务和12个运动任务,并支持多种机体/末端配置。实验显示,现有强化学习方法在高维动力学、肢体协同和长时程任务上普遍表现困难,而依赖稳健行走、到达等低层技能的层级学习效果更好。

Iterative Closed-Loop Motion Synthesis for Scaling the Capabilities of Humanoid Control Figure 1
arXiv preprint2026-02

Iterative Closed-Loop Motion Synthesis for Scaling the Capabilities of Humanoid Control

Weisheng Xu, Qiwei Wu, Jiaxi Zhang, Tan Jing, Yangfan Li, Yuetong Fang, Jiaqi Xiong, Kai Wu, Rong Ou, Renjing Xu

Hong Kong University of Science and Technology (Guangzhou), University of Oxford

人形机器人机器人学习物理角色动画运动生成

针对人形物理控制依赖昂贵动捕且训练集难度固定、难以覆盖高动态专业动作的问题,论文提出 CLAIMS 闭环框架:用文本驱动运动扩散生成武术、舞蹈、体操等动作,再依据物理指标和多模态失败分析迭代提升数据难度与控制器能力。在 PHC 单技能跟踪器上,仅用约 AMASS 1/10 数据量,2201 段测试的平均失败率较基线降低 45%。

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions Figure 1
arXiv preprint2026-02

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

University of Illinois Urbana-Champaign, Amazon

人形机器人机器人学习物理角色动画运动生成

面向人形机器人/物理角色在人-物交互中依赖密集全身参考、难以覆盖复杂接触配置的问题,InterPrior 将大规模模仿蒸馏得到的目标条件变分策略作为自然初始化,再通过物理扰动增强与受正则约束的强化学习微调,把重建式技能整合为可泛化的交互先验。文中结果显示其可在稀疏目标、未见初始状态和新物体上生成稳定全身协同动作,支持失败后的再接近/再抓取、交互式控制,并展示了面向 G1 人形机器人的部署潜力。

Learning to Control Physically-simulated 3D Characters via Generating and Mimicking 2D Motions Figure 1
arXiv preprint2025-12

Learning to Control Physically-simulated 3D Characters via Generating and Mimicking 2D Motions

Jianan Li, Xiao Chen, Tao Huang, Tien-Tsin Wong

The Chinese University of Hong Kong Shanghai AI Laboratory, Shanghai Jiao Tong University Monash University

人形机器人机器人学习物理角色动画模仿学习

针对3D动捕昂贵、视频重建出的3D轨迹常不泛化且不符合物理的问题,Mimic2DM绕过显式3D重建,直接用视频2D关键点的重投影误差训练物理仿真跟踪策略,并以多视角聚合补足深度信息;再接入自回归Transformer生成2D参考形成分层控制。实验显示其仅依赖2D数据即可学习舞蹈、足球控球和动物运动,3D跟踪精度接近用真实3D训练的基线。

PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction Figure 1
arXiv preprint2025-10

PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction

Qiao Feng, Yiming Huang, Yufu Wang, Jiatao Gu, Lingjie Liu

University of Pennsylvania

人形机器人机器人学习物理角色动画模仿学习感知

PhysHMR针对单目人体重建常见的脚滑、穿地和接触不一致问题,认为先做运动估计再物理修正会累积误差,因而把视觉感知与人形体控制合成一个仿真内的视觉到动作策略。方法用2D关键点提升为3D射线提供软全局约束,并从动捕模仿专家蒸馏后再用物理奖励强化学习微调。实验在Human3.6M、AIST++、EMDB2上显示,其运动精度接近运动学SOTA,同时显著提升物理合理性。

Learning to Ball: Composing Policies for Long-Horizon Basketball Moves Figure 1
ACM Transactions on Graphics (December 2025)2025-09

Learning to Ball: Composing Policies for Long-Horizon Basketball Moves

Pei Xu, Zhen Wu, Ruocheng Wang, Vishnu Sarukkai, Kayvon Fatahalian, Ioannis Karamouzas, Victor Zordan, C. Karen Liu

Stanford University, University of California, Riverside, Clemson University

人形机器人机器人学习物理角色动画

面向篮球这类由运球、收球、投篮等阶段组成的长时程物理控制任务,论文关注难以用明确起止状态定义的过渡技能。其核心是先训练目标清晰的子策略,再用前一策略的状态分布和后一策略的价值函数指导中间策略,并通过高层软路由实现实时命令下的平滑切换。实验中角色可在无球轨迹参考下完成运球到任意位置、跳投及多人传接防守等动作,职业场地投篮命中率报告为91.8%。

RobotDancing: Residual-Action RL Enables Robust Long-Horizon Humanoid Motion Tracking Figure 1
arXiv preprint2025-09

RobotDancing: Residual-Action RL Enables Robust Long-Horizon Humanoid Motion Tracking

Zhenguo Sun, Yibo Peng, Yuan Meng, Xukun Li, Bo-Sheng Huang, Zhenshan Bing, Xinlong Wang, Alois Knoll

School of Computation, Information and Technology, Technical University of Munich, Munich, Germany, Beijing Academy of Artificial Intelligence, Beijing, China, Department of Computer Science, Tsinghua University, Beijing, China, The State Key Laboratory for Novel Software Technology, Nanjing University, Suzhou, China

人形机器人机器人学习物理角色动画强化学习模仿学习

面向人形机器人长时高动态舞蹈跟踪中由参考轨迹与真实动力学不匹配导致的误差累积,RobotDancing 将策略动作改为对参考关节目标的残差修正,让 RL 主要学习动力学补偿,并结合长尾姿态采样、课程与域随机化。实验在 Unitree G1 上跟踪 LAFAN1 舞蹈,优于绝对动作基线,可执行跳跃、旋转、侧手翻等多分钟动作,并零样本迁移到 H1/H1-2 实机。

FARM: Frame-Accelerated Augmentation and Residual Mixture-of-Experts for Physics-Based High-Dynamic Humanoid Control Figure 1
Proceedings of the AAAI Conference on Artificial Intelligence2025-08

FARM: Frame-Accelerated Augmentation and Residual Mixture-of-Experts for Physics-Based High-Dynamic Humanoid Control

Jing Tan, Shiting Chen, Yangfan Li, Weisheng Xu, Renjing Xu

The Hong Kong University of Science and Technology (Guangzhou), Guangdong University of Technology

人形机器人机器人学习物理角色动画

针对现有通用物理人形控制器在 AMASS 等低动态数据上表现接近饱和、却难以跟踪爆发式高动态动作的问题,FARM 将帧加速数据增强与残差 MoE 结合:基控制器负责日常动作,速度感知路由按运动强度分配额外专家容量。作者还构建 HDHM 高动态基准;相对 FC 基线,失败率降低 42.8%,全局 MPJPE 降低 14.6%,且基本不牺牲低动态精度。

SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and RL Figure 1
arXiv preprint2025-08

SimGenHOI: Physically Realistic Whole-Body Humanoid-Object Interaction via Generative Modeling and RL

Yuhang Lin, Yijia Xie, Jiahong Xie, Yuehao Huang, Ruoyu Wang, Jiajun Lv, Yukai Ma, Xingxing Zuo

人形机器人机器人学习物理角色动画强化学习运动生成

针对扩散式人—物交互生成常出现穿模、接触不合理和脚滑,难以在物理环境执行的问题,SimGenHOI将DiT生成的“关键动作”而非稠密轨迹,与接触感知全身RL控制器结合,并通过生成器与策略交替微调提升可跟踪性。实验显示其在仿真中减少物理伪影、提高交互跟踪成功率,并支持更长时域的动态物体操作。

Humanoid Robot Acrobatics Utilizing Complete Articulated Rigid Body Dynamics Figure 1
arXiv preprint2025-08

Humanoid Robot Acrobatics Utilizing Complete Articulated Rigid Body Dynamics

Gerald Brantner

人形机器人机器人学习物理角色动画

面向人形机器人跳跃、翻转、转体等高动态杂技动作,论文认为仅靠简化质心模型会在真实动力学下失配。其核心是用与完整铰接刚体动力学一致的模型抽象,衔接轨迹优化与操作空间全身控制,联合处理质心、角动量、惯量整形、关节/碰撞约束和姿态任务。仿真中该框架完成箱跳、空翻和扭转跳等动作;但结果仍限于仿真,接触建模与实机鲁棒性文中未充分说明。

Feature-Based vs. GAN-Based Learning from Demonstrations: When and Why Figure 1
arXiv preprint2025-07

Feature-Based vs. GAN-Based Learning from Demonstrations: When and Why

Chenhao Li, Marco Hutter, Andreas Krause

ETH AI Center, ETH Zurich

人形机器人机器人学习物理角色动画模仿学习

本文针对物理角色动画和机器人示教学习中“特征奖励还是 GAN 奖励”常凭经验选择的问题,系统比较两类方法的奖励结构与归纳偏置。核心洞察是二者并非优劣替代:特征法更适合高保真、可解释模仿,GAN 法更利于分布级扩展与适应,但稳定性和奖励粒度受限;主要结果是给出按保真度、多样性、可解释性和适应性权衡选型的决策框架。

RL from Physical Feedback: Aligning Large Motion Models with Humanoid Control Figure 1
arXiv preprint2025-06

RL from Physical Feedback: Aligning Large Motion Models with Humanoid Control

Junpeng Yue, Zepeng Wang, Yuxuan Wang, Weishuai Zeng, Jiangxing Wang, Xinrun Xu, Yu Zhang, Sipeng Zheng, Ziluo Ding, Zongqing Lu

人形机器人机器人学习物理角色动画强化学习

针对文本到动作模型虽懂语义、却常生成足滑、穿地或动态不稳定动作而难以驱动真实人形机器人的问题,论文提出 RLPF:用仿真中的运动跟踪策略给出物理可执行性反馈,并结合文本-动作对齐验证,对大运动模型做强化学习微调。实验显示其在保持指令语义的同时显著提升物理可行性,并可部署到真实人形机器人。

AMOR: Adaptive Character Control through Multi-Objective Reinforcement Learning Figure 1
arXiv preprint2025-05

AMOR: Adaptive Character Control through Multi-Objective Reinforcement Learning

Lucas N. Alegre, Agon Serifi, Ruben Grandia, David Müller, Espen Knoop, Moritz Bächer

Disney Research

人形机器人机器人学习物理角色动画强化学习

AMOR针对物理角色/机器人运动跟踪中多项奖励权重冲突、反复重训调参且 sim-to-real 难以预设的问题,将控制策略同时条件化于任务上下文和奖励权重,用多目标强化学习覆盖不同权衡的 Pareto 前沿。训练后可直接改权重实现零样本行为调整,并可由高层策略实时选择权重;论文展示了动态机器人动作迁移和新任务层级控制中的适应性提升。

MaskedManipulator: Versatile Whole-Body Control for Loco-Manipulation Figure 1
arXiv preprint2025-05

MaskedManipulator: Versatile Whole-Body Control for Loco-Manipulation

Chen Tessler, Yifeng Jiang, Erwin Coumans, Zhengyi Luo, Gal Chechik, Xue Bin Peng

NVIDIA, Simon Fraser University

人形机器人机器人学习物理角色动画

论文针对人形角色/机器人在全身移动中精细操控物体时“高层目标灵活性”和“接触精度”难以兼得的问题,提出两阶段框架:先用 MimicManipulator 在物理仿真中从 GRAB 动捕学习可行的抓取、放置、换手等交互,再将其蒸馏为可按身体部位与物体时空目标条件生成动作的 MaskedManipulator。实验显示其能从稀疏物体或手腕/头部目标合成较自然的长时序操作,并在 GRAB 跟踪上优于改造的 InterMimic;具体实机迁移文中未充分说明。

Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning Figure 1
arXiv preprint2025-05

Emergent Active Perception and Dexterity of Simulated Humanoids from Visual Reinforcement Learning

Zhengyi Luo, Chen Tessler, Toru Lin, Ye Yuan, Tairan He, Wenli Xiao, Yunrong Guo, Gal Chechik, Kris Kitani, Linxi Fan, Yuke Zhu

Nvidia, Carnegie Mellon University, University of California, Berkeley

人形机器人机器人学习物理角色动画强化学习灵巧操作

针对以往人形角色操作依赖物体位姿等特权状态、难以形成主动观察的问题,论文提出 PDC:用第一视角视觉、物体 mask 和 3D 标记直接作为任务接口,并结合动捕控制先验进行强化学习。单一策略可在家庭场景中完成搜索、抓取、放置和铰接物操作,并涌现主动搜索与全身协调;实验还显示不同视觉模态影响明显,Stereo 成功率较 RGB 高约 9%。

Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models Figure 1
arXiv preprint2025-04

Zero-Shot Whole-Body Humanoid Control via Behavioral Foundation Models

Andrea Tirinzoni, Ahmed Touati, Jesse Farebrother, Mateusz Guzek, Anssi Kanervisto, Yingchen Xu, Alessandro Lazaric, Matteo Pirotta

1]FAIR at Meta, 2]Mila, McGill University

人形机器人机器人学习物理角色动画

论文针对高维、易失稳的人形全身控制中零样本强化学习探索低效、行为先验弱的问题,提出 FB-CPR:将无标签动捕轨迹嵌入与状态、奖励、策略共享的前后向表征空间,并用潜变量条件判别器约束策略覆盖数据中的人体行为。基于 AMASS 训练的 Meta Motivo 可用不同提示零样本完成动作跟踪、目标到达和奖励优化,表现接近任务专用方法,并优于无监督 RL 与模型式基线。

TokenHSI: Unified Synthesis of Physical Human-Scene Interactions through Task Tokenization Figure 1
CVPR 2025 Oral2025-03

TokenHSI: Unified Synthesis of Physical Human-Scene Interactions through Task Tokenization

Liang Pan, Zeshi Yang, Zhiyang Dou, Wenjia Wang, Buzhen Huang, Bo Dai, Taku Komura, Jingbo Wang

Shanghai AI Laboratory The University of Hong Kong Independent Researcher, Southeast University Feeling AI

人形机器人机器人学习物理角色动画运动生成

针对现有物理人景交互控制器多为单任务、难以组合携物坐下等复合技能且新场景适配低效的问题,TokenHSI将人形体本体感知编码为共享token,并用任务token与mask机制接入Transformer策略,实现跟随、坐下、攀爬、搬运等技能的统一学习;通过新增任务tokenizer和少量adapter即可适配物体/地形变化与长程组合任务,实验显示其在多样性、适应性和样本效率上优于现有方法。

InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions Figure 1
arXiv preprint2025-02

InterMimic: Towards Universal Whole-Body Control for Physics-Based Human-Object Interactions

Sirui Xu, Hung Yu Ling, Yu-Xiong Wang, Liang-Yan Gui

University of Illinois Urbana-Champaign

人形机器人机器人学习物理角色动画模仿学习

InterMimic 面向复杂人-物全身交互中动捕接触误差、对象形态多样和规模化训练困难的问题,采用“先精炼、再扩展”的教师-学生课程:多个教师在物理仿真中完成重定向与接触修正,再蒸馏并用 RL 微调单一学生策略。实验显示其可在多个 HOI 数据集生成更物理可信的多样交互,并具备零样本泛化及与运动生成器结合的能力。

CLoSD: Closing the Loop between Simulation and Diffusion for multi-task character control Figure 1
arXiv preprint2024-10

CLoSD: Closing the Loop between Simulation and Diffusion for multi-task character control

Guy Tevet, Sigal Raab, Setareh Cohan, Daniele Reda, Zhengyi Luo, Xue Bin Peng, Amit H. Bermano, Michiel van de Panne

Tel-Aviv University, University of British Columbia, Carnegie Mellon University, Simon Fraser University, NVIDIA

人形机器人机器人学习物理角色动画运动生成

这篇论文针对文本运动扩散模型动作多样但缺乏物理交互、RL 物理控制器真实但难以扩展到多任务的问题,提出 CLoSD:让实时自回归扩散规划器 DiP 根据文本与目标位置在线生成运动计划,并与 RL 跟踪控制器闭环反馈、联合微调。单一系统可连续完成导航、手/脚击打、坐下和起身等任务,实验优于已有文本控制器和多任务控制器,DiP 生成 40 帧计划达约 3500 fps。

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting Figure 1
ACM Transactions on Graphics2024-09

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting

Chen Tessler, Yunrong Guo, Ofir Nabati, Gal Chechik, Xue Bin Peng

NVIDIA, Bar-Ilan University, Simon Fraser University

人形机器人机器人学习物理角色动画模仿学习

针对物理角色控制中任务专用控制器多、奖励设计繁琐且难以组合的问题,MaskedMimic 将控制统一表述为“带掩码运动补全”:用随机遮蔽的动捕、多模态约束(关键帧、关节、文本、物体/场景)训练单一物理控制器,并用 goal-engineering 指定任务。结果显示同一模型可覆盖 VR/全身跟踪、路径与地形行走、物体交互、文本控制等,无需任务专用训练,但抖动、复杂动作复现和长时规划仍有限。

SkillMimic: Learning Basketball Interaction Skills from Demonstrations Figure 1
arXiv preprint2024-08

SkillMimic: Learning Basketball Interaction Skills from Demonstrations

Yinhuai Wang, Qihan Zhao, Runyi Yu, Hok Wai Tsui, Ailing Zeng, Jing Lin, Zhengyi Luo, Jiwen Yu, Xiu Li, Qifeng Chen, Jian Zhang, Lei Zhang, Ping Tan

Hong Kong University of Science and Technology, Unitree Robotics, Peking University Shenzhen Graduate School, Tsinghua University, International Digital Economy Academy, Tencent, Carnegie Mellon University

人形机器人机器人学习物理角色动画模仿学习视觉语言动作

针对篮球等人-物交互技能依赖手工奖励、难以跨技能泛化的问题,SkillMimic用统一HOI模仿奖励从示范数据中学习,并通过接触图刻画关键接触关系,使单一交互技能策略可覆盖运球、上篮、投篮等多种风格并平滑切换。作者还构建BallPlay-V/M数据集;实验显示,高层控制器可复用这些技能完成连续得分等长时任务,但效果提升可能部分来自数据规模扩展。

Unified Human-Scene Interaction via Prompted Chain-of-Contacts Figure 1
arXiv preprint2023-09

Unified Human-Scene Interaction via Prompted Chain-of-Contacts

Zeqi Xiao, Tai Wang, Jingbo Wang, Jinkun Cao, Wenwei Zhang, Bo Dai, Dahua Lin, Jiangmiao Pang

Shanghai AI Laboratory, S-Lab, NTU, CMU

人形机器人机器人学习物理角色动画

本文针对人-场景交互中语言指令难以精确落地、不同交互需分别建模的问题,将动作抽象为按时间排列的“人体关节—物体部件”接触链 CoC。UniHSI 用 LLM 将指令规划为 CoC,再由统一物理控制器解析并执行,支持多物体、长时序接触转换,且训练不依赖人工交互动作标注。基于 ScenePlan 的实验显示其可执行多样任务,并能泛化到真实扫描场景。

Hierarchical Planning and Control for Box Loco-Manipulation Figure 1
SIGGRAPH 20232023-06

Hierarchical Planning and Control for Box Loco-Manipulation

Zhaoming Xie, Jonathan Tseng, Sebastian Starke, Michiel van de Panne, C. Karen Liu

Stanford University, Meta, University of British Columbia

人形机器人机器人学习物理角色动画规划

面向虚拟人/人形角色在杂乱场景中同时行走与搬箱的难题,本文将任务拆成高层路径规划、中层带双向根控制的扩散式运动生成、低层物体感知强化学习物理跟踪。系统能串联走路、搬运、拾取和放置,在不同箱体尺寸、重量、高度及障碍环境中完成重排;实验显示扩散轨迹可被RL稳定跟踪,操控策略具备一定泛化与抗扰性。

Perpetual Humanoid Control for Real-time Simulated Avatars Figure 1
arXiv preprint2023-05

Perpetual Humanoid Control for Real-time Simulated Avatars

Zhengyi Luo, Jinkun Cao, Alexander Winkler, Kris Kitani, Weipeng Xu

Meta,Reality Labs Research, Carnegie Mellon University, Reality Labs Research, Meta, META Health

人形机器人机器人学习物理角色动画

面向实时虚拟化身,论文针对物理人形在视频/语言生成等噪声参考下易摔倒、依赖重置或外力稳定而破坏真实感的问题,提出 PHC 与渐进乘性控制策略 PMCP,通过逐步分配网络容量学习大规模动作和失败恢复,并结合 AMP 保持自然运动。其单策略在无外部稳定力下可模仿 AMASS 98.9% 动作,能从跌倒中起身并回到参考运动,支持 30 fps webcam 驱动的持续仿真。

ASE: Large-Scale Reusable Adversarial Skill Embeddings for Physically Simulated Characters Figure 1
arXiv preprint2022-08

ASE: Large-Scale Reusable Adversarial Skill Embeddings for Physically Simulated Characters

Xue Bin Peng, Yunrong Guo, Lina Halper, Sergey Levine, Sanja Fidler

XUE BIN PENG, University of California, Berkeley, USA and NVIDIA, Canada, YUNRONG GUO, NVIDIA, Canada, LINA HALPER, NVIDIA, Canada, SERGEY LEVINE, University of California, Berkeley, USA, SANJA FIDLER, University of Toronto, Canada and NVIDIA, Canada

人形机器人机器人学习物理角色动画

本文针对物理角色动画中每个任务从零训练、奖励设计繁琐且技能难复用的问题,提出 ASE:用大规模非结构化人体动作数据预训练低层潜变量技能嵌入,结合对抗模仿学习保证动作自然性,并用互信息式无监督目标提升技能多样性和可控性。借助 Isaac Gym 的并行仿真,单个预训练模型可迁移到多种下游任务,并能通过简单奖励合成奔跑、击倒目标和扰动恢复等较自然策略。

AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control Figure 1
arXiv preprint2021-08

AMP: Adversarial Motion Priors for Stylized Physics-Based Character Control

Xue Bin Peng, Ze Ma, Pieter Abbeel, Sergey Levine, Angjoo Kanazawa

XUE BIN PENG , University of California, Berkeley, ZE MA , Shanghai Jiao Tong University, PIETER ABBEEL, University of California, Berkeley, SERGEY LEVINE, University of California, Berkeley, ANGJOO KANAZAWA, University of California, Berkeley

人形机器人机器人学习物理角色动画模仿学习

本文针对物理角色控制中手工设计模仿奖励、为大规模非结构化动作库选择参考片段成本高的问题,提出 AMP:用对抗判别器从动作片段学习“运动先验”作为风格奖励,再与简单任务奖励结合进行强化学习。结果显示,角色可在障碍穿越、走路击打等任务中自动组合跑、跳、翻滚等技能,生成质量接近跟踪式方法,且无需显式运动规划或片段标注。

Hierarchical visuomotor control of humanoids Figure 1
arXiv preprint2018-11

Hierarchical visuomotor control of humanoids

Josh Merel, Arun Ahuja

DeepMind

人形机器人机器人学习物理角色动画

本文针对高维视觉输入与高自由度人形控制难以端到端学习的问题,将控制分解为由本体感觉驱动的低层动作技能和基于第一人称视觉、记忆的高层调度器。核心做法是用动捕预训练大量短时控制片段/子策略,再由强化学习按任务切换组合。实验显示该层级复用能完成墙体、目标导航和采集等视觉运动任务,平坦策略更慢、不稳,部分采集任务从零学习失败。

Multi-task Deep Reinforcement Learning with PopArt Figure 1
Proceedings of the AAAI Conference on Artificial Intelligence2018-09

Multi-task Deep Reinforcement Learning with PopArt

Matteo Hessel, Hubert Soyer, Lasse Espeholt, Wojciech Czarnecki, Simon Schmitt, Hado van Hasselt

DeepMind, Google DeepMind (United Kingdom)

人形机器人机器人学习物理角色动画强化学习

论文针对多任务深度强化学习中不同任务奖励尺度、稀疏度和学习进展不一致导致更新被少数“显著”任务主导的问题,将 PopArt 自适应归一化引入 IMPALA actor-critic,使各任务对学习动态的贡献近似尺度不变。实验表明单一共享策略在 Atari-57 上达到 110% 中位人类归一化分数,并在 DmLab-30 上取得 72.8% 平均分,显著提升并超过此前多任务基线。

DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills Figure 1
arXiv preprint2018-08

DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills

Xue Bin Peng, Pieter Abbeel, Sergey Levine, Michiel van de Panne

XUE BIN PENG, University of California, Berkeley, PIETER ABBEEL, University of California, Berkeley, SERGEY LEVINE, University of California, Berkeley, MICHIEL VAN DE PANNE, University of British Columbia

人形机器人机器人学习物理角色动画强化学习模仿学习

针对物理角色动画中手工控制器难泛化、纯强化学习动作质量差且不易由用户指定的问题,DeepMimic将动捕或关键帧参考动作直接写入模仿奖励,并与任务奖励结合,用PPO训练相位感知神经策略;参考状态初始化和提前终止被证明对高动态技能关键。实验在人体、Atlas、恐龙、龙等模型上复现翻滚、踢腿、行走等动作,并能抗扰动、适配形态变化和执行目标任务。

Learning Symmetric and Low-energy Locomotion Figure 1
ACM Transactions on Graphics2018-01

Learning Symmetric and Low-energy Locomotion

Wenhao Yu, Greg Turk, C. Karen Liu

Georgia Institute of Technology

人形机器人机器人学习物理角色动画

针对深度强化学习行走控制常出现高能耗、抖动和左右不对称的问题,论文在不使用动捕、有限状态机或形态特定规则的前提下,引入动作镜像对称损失,并用逐步撤除的物理辅助课程学习支撑低能耗训练。实验在双足、人形、四足和六足角色上生成了更对称、低能耗且随速度自发切换步态的运动;消融显示课程学习对学会平衡和前进关键,对称损失可减少不对称与训练试次。

AdaptNet: Policy Adaptation for Physics-Based Character Control Figure 1
ACM TOG 20232023

AdaptNet: Policy Adaptation for Physics-Based Character Control

Pei Xu, Kaixiang Xie, Sheldon Andrews, Paul G. Kry, Michael Neff, Morgan Mcguire, Ioannis Karamouzas, Victor Zordan

Clemson University, USA and Roblox, USA, Clemson University, McGill University, Canada, McGill University, University of California, Davis, USA, University of California, Davis, Roblox, USA and University of Waterloo, Canada, University of Waterloo, University of California, Riverside, USA, University of California, Riverside, Roblox, USA and Clemson University, USA

人形机器人机器人学习物理角色动画

针对物理角色控制中每遇到新风格、形态或环境往往需从头重训的问题,AdaptNet在已有强化学习策略上插入两级可训练模块:先对状态嵌入的潜空间做偏移,再在策略内部细化动作,从而以零初始化逐步接管原策略。实验显示,一个行走控制器可快速适配少样本风格迁移、肢体长度或关节锁定、粗糙/低摩擦/障碍地形等任务;简单适配约10–30分钟,复杂任务数小时,显著少于原策略约26小时训练。

No Figure
ACM TOG 20232023

Composite Motion Learning with Task Control

Pei Xu, Xiumin Shang, Victor Zordan, Ioannis Karamouzas

Clemson University, Charleston, United States of America, Clemson University, Charleston, United States of America Roblox, Charleston, United States of America, University of Charleston, Clemson University, University of California, Merced, Merced, United States of America, University of California, Merced, Clemson University, San Mateo, United States of America, Roblox, San Mateo, United States of America Clemson University, San Mateo, United States of America, College of San Mateo

人形机器人机器人学习物理角色动画

全文短总结尚未生成。

EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents Figure 1
arXiv preprint2026-02

EmbodMocap: In-the-Wild 4D Human-Scene Reconstruction for Embodied Agents

Wenjia Wang, Liang Pan, Huaijin Pi, Yuke Lou, Xuqian Ren, Yifan Wu, Zhouyingcheng Liao, Lei Yang, Rishabh Dabral, Christian Theobalt, Taku Komura

The University of Hong Kong Tampere University, The Chinese University of Hong Kong, Max-Planck Institute for Informatics

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

面向具身智能对真实人-场景交互数据的需求,本文针对传统动捕昂贵、受限且难以野外规模化的问题,提出仅用两台移动 iPhone 联合标定双 RGB-D 序列,在统一米制世界坐标中重建人体运动与静态场景。双视角设计用于缓解深度歧义,并在光学动捕对比中优于单 iPhone/单目方案;所得数据还提升了单目人景重建、物理角色动画与仿真到现实的人形机器人模仿控制。

WHOLE: World-Grounded Hand-Object Lifted from Egocentric Videos Figure 1
arXiv preprint2026-02

WHOLE: World-Grounded Hand-Object Lifted from Egocentric Videos

Yufei Ye, Jiaman Li, Ryan Rong, C. Karen Liu

Stanford University Amazon FAR (Frontier AI & Robotics)

人形机器人机器人学习人体动作分析与合成模仿学习灵巧操作

WHOLE面向头戴相机操作视频中遮挡严重、物体频繁出入视野导致手和物体轨迹难以在世界坐标系一致恢复的问题。其核心是用扩散式手-物运动先验联合建模双手、物体6D轨迹与接触关系,并在测试时由分割、视觉观测和VLM接触提示引导生成。HOT3D实验显示,相比先分别估计手/物再后处理的组合基线,在手姿态、物体位姿和交互关系重建上均达到更优结果。

Diffusion Forcing for Multi-Agent Interaction Sequence Modeling Figure 1
arXiv preprint2025-12

Diffusion Forcing for Multi-Agent Interaction Sequence Modeling

Vongani H. Maluleke, Kie Horiuchi, Lea Wilken, Evonne Ng, Jitendra Malik, Angjoo Kanazawa

\dagger Sony Group Corporation \ddagger Meta \S UC Berkeley

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

面向机器人与虚拟人需要在线、长时程且可扩展的多人交互生成,本文提出 MAGNet:用“个体-时间”运动 token 结合 VQ-VAE 姿态与成对相对变换,并对每个 token 施加独立噪声的 diffusion forcing,从而用单一 Transformer 扩散模型统一补全、伙伴预测、联合未来预测和 agentic 生成。实验显示其在双人任务上可接近或超过专用方法,长时程 FD 较 R2R 提升 89%,并能自然扩展到 3–4 人交互。

No Figure
SIGGRAPH Asia 2025.122025-12

Control Operators for Interactive Character Animation

Ruiyu Gou, Michiel van de Panne, Daniel Holden

University of British Columbia, Vancouver, Canada, University of British Columbia

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

全文短总结尚未生成。

No Figure
Preprint2025-12

Implicit Bézier Motion Model for Precise Spatial and Temporal Control

Luca Vögeli, Dhruv Agrawal, Martin Guay, Dominik Borer, Robert W. Sumner, Jakob Buhmann

DisneyResearch|Studios, Zürich, Switzerland, Walt Disney (Switzerland), D-INFK, ETH Zürich, Zürich, Switzerland, ETH Zurich

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

全文短总结尚未生成。

Efficient and Scalable Monocular Human-Object Interaction Motion Reconstruction Figure 1
arXiv preprint2025-12

Efficient and Scalable Monocular Human-Object Interaction Motion Reconstruction

Boran Wen, Ye Lu, Sirui Wang, Keyan Wan, Jiahong Zhou, Junxuan Liang, Xinpeng Liu, Bang Xiao, Ruiyang Liu, Yong-Lu Li

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

面向通用机器人从真实视频学习人-物交互,本文针对单目野外视频难以规模化恢复物理一致4D HOI的问题,提出稀疏、时间不变接触点标注,并用InterPoint人机闭环降低标注成本,再由4DHOISolver两阶段优化时空一致的人体与物体运动。基于此构建Open4DHOI,含451段视频、135类物体和133种动作,并展示其可用于接触引导的RL模仿学习。

Being-M0.5: A Real-Time Controllable Vision-Language-Motion Model Figure 1
arXiv preprint2025-08

Being-M0.5: A Real-Time Controllable Vision-Language-Motion Model

Bin Cao, Sipeng Zheng, Ye Wang, Lujie Xia, Qianshan Wei, Qin Jin, Jing Liu, Zongqing Lu

人形机器人机器人学习人体动作分析与合成模仿学习视觉语言动作

论文针对现有视觉-语言-动作模型在真实部署中可控性不足的问题,包括难以响应多样指令、任意初始姿态、长序列、未见场景和身体局部控制。作者构建 HuMo100M 大规模多模态动作数据,并提出部件感知残差量化,将全身动作离散为部件级 token,以支持细粒度实时生成。实验称 Being-M0.5 在多类动作生成基准上达到领先表现,并通过效率分析验证实时性,但具体增益可能部分来自数据规模。

No Figure
arXiv preprint2025-07

Go to Zero: Towards Zero-shot Motion Generation with Million-scale Data

Ke Fan, Shunlin Lu, Minyue Dai, Runyi Yu, Lixing Xiao, Zhiyang Dou, Junting Dong, Lizhuang Ma, Jingbo Wang

Shanghai Jiao Tong University, Chinese University of Hong Kong, Shenzhen, University of Hong Kong, Fudan University, HKUST, Hong Kong University of Science and Technology, Zhejiang University, Shanghai AI Laboratory, ShangHai JiAi Genetics & IVF Institute, Shanghai Artificial Intelligence Laboratory

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

全文短总结尚未生成。

GENMO: A GENeralist Model for Human MOtion Figure 1
arXiv preprint2025-05

GENMO: A GENeralist Model for Human MOtion

Jiefeng Li, Jinkun Cao, Haotian Zhang, Davis Rempe, Jan Kautz, Umar Iqbal, Ye Yuan

NVIDIA

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

GENMO针对人体运动估计与生成长期分离、难以共享动力学与运动学知识的问题,将视频/关键点驱动的估计重写为受约束的运动生成,并在扩散框架中结合估计模式与生成模式训练。模型可在变长序列中混合文本、音频、视频、2D关键点和3D关键帧条件,利用野外2D视频扩展数据。实验显示其在全局/局部运动估计、音乐舞蹈生成等任务达到或接近SOTA,且消融表明生成先验与估计目标互有增益。

FRAME: Floor-aligned Representation for Avatar Motion from Egocentric Video Figure 1
arXiv preprint2025-03

FRAME: Floor-aligned Representation for Avatar Motion from Egocentric Video

Andrea Boscolo

Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbr¨ucken Research Center for Visual Computing, Interaction and AI, Google, Switzerland

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

该文针对头戴自我视角动捕在真实场景中遮挡严重、真实标注数据少、下肢易抖动/穿地/滑步的问题,构建接近VR形态的轻量采集装置和大规模真实SELF数据集,并提出FRAME:将双目相机输入与设备6D位姿显式几何融合,先在相机系预测再变换到地面对齐坐标系细化。实验称其较SOTA将MPJPE降低28%,可在消费级硬件上约300 FPS运行,泛化提升可能也主要受真实数据规模扩大驱动。

HUMOTO: A 4D Dataset of Mocap Human Object Interactions Figure 1
arXiv preprint2025-04

HUMOTO: A 4D Dataset of Mocap Human Object Interactions

Jiaxin Lu, Chun-Hao Paul Huang, Qixing Huang, Yi Zhou

University of Texas at Austin, Adobe Research

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

针对现有4D人-物交互数据多为单物体、缺少手部细节且任务连贯性弱的问题,HUMOTO构建了735段真实动捕序列,覆盖63类精模物体和72个可动部件。其关键做法是用场景驱动LLM生成有目的的日常任务脚本,并结合动捕服/手套与双Kinect缓解遮挡,再经艺术家清理。评测显示其足滑、穿模和物体运动平滑性优于多种HOI数据集,适合运动生成、模仿学习和具身AI训练。

PICO: Reconstructing 3D People In Contact with Objects Figure 1
arXiv preprint2025-04

PICO: Reconstructing 3D People In Contact with Objects

Alpár Cseke, Shashank Tripathi, Sai Kumar Dwivedi, Arjun S. Lakshmipathy, Agniv Chatterjee, Michael J. Black, Dimitrios Tzionas

Max Planck Institute for Intelligent Systems, Tübingen, Germany Meshcapade, Carnegie Mellon University, USA UT Austin, USA University of Amsterdam, the Netherlands

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

PICO面向自然图像中人体-物体3D交互重建的遮挡、深度歧义和物体类别开放问题。核心是构建PICO-db:用基础模型检索3D物体,并以每个接触块两次点击把DAMON人体接触迁移到物体,形成双向稠密接触对应;再用PICO-fit将这些对应纳入渲染-比较优化。实验显示其重建更真实,并能扩展到沙发、香蕉、飞盘等既有方法难处理的类别。

PRIMAL Physically Reactive and Interactive Motor Model for Avatar Learning Figure 1
arXiv preprint2025-03

PRIMAL Physically Reactive and Interactive Motor Model for Avatar Learning

Yan Zhang, Yao Feng, Alpár Cseke, Nitin Saini, Nathan Bajandas, Nicolas Heron, Michael J. Black

Max Planck Institute for Intelligent Systems, Tübingen, Stanford University

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

PRIMAL针对现有人体动作生成难以在线交互、对外力和指令响应不自然的问题,将虚拟人的低层运动系统建模为自回归扩散模型。其关键洞察是短时运动主要受物理动态支配,因此用单帧位置与速度预测约0.5秒片段,在无标注动捕上预训练,再以ControlNet式适配器学习到达目标和少样本个性化动作。实验显示其在实时、无限长、可控生成及扰动响应上优于基线,并已接入Unreal Engine演示自然交互动画。

ClimbingCap: Multi-Modal Dataset and Method for Rock Climbing in World Coordinate Figure 1
arXiv preprint2025-03

ClimbingCap: Multi-Modal Dataset and Method for Rock Climbing in World Coordinate

Ming Yan, Xincheng Lin, Yuhua Luo, Shuqi Fan, Yudi Dai, Qixin Zhong, Lincai Zhong, Yuexin Ma Lan Xu Chenglu Wen

Fujian Key Laboratory of Sensing and Computing for Smart Cities, Xiamen University, National Institute for Data Science in Health and Medicine, Xiamen University, Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, School of Informatics, Xiamen University, ShanghaiTech University ETH AI Center, ETH Zürich

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

针对现有人体运动恢复多聚焦地面动作、缺少高质量攀岩三维数据的问题,论文采集了含 RGB、LiDAR、IMU 的 AscendMotion 数据集,覆盖 22 名教练在 12 面岩壁上的 41.2 万帧动作。ClimbingCap 的核心是用 RGB 与点云分别在相机/世界坐标中解码,再联合后处理并用半监督教师学生训练利用无标注数据;实验显示其在攀岩全局姿态与轨迹恢复上优于多种现有方法。

Scaling Large Motion Models with Million-Level Human Motions Figure 1
arXiv preprint2024-10

Scaling Large Motion Models with Million-Level Human Motions

Ye Wang, Sipeng Zheng, Bin Cao, Qianshan Wei, Weishuai Zeng, Qin Jin, Zongqing Lu

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

这篇工作针对通用人体运动生成受限于高质量大规模数据和粗糙运动离散表示的问题,构建含 120 万级序列与层级文本标注的 MotionLib,并提出 MotionBook:用紧凑无损特征和 2D lookup-free tokenizer 保留细粒度动作、扩大运动词表。基于此训练 Being-M0,实验显示数据与模型规模共同扩大可降低关节预测误差、提升对未见动作的泛化;具体增益可能主要来自 scaling / data 与新 tokenizer 的共同作用。

Flexible Motion In-betweening with Diffusion Models Figure 1
SIGGRAPH 20242024-05

Flexible Motion In-betweening with Diffusion Models

Setareh Cohan, Guy Tevet, Daniele Reda, Xue Bin Peng, Michiel van de Panne

University of British Columbia, Tel-Aviv University, Simon Fraser University, NVIDIA

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

针对关键帧补间仍依赖大量人工且既有学习方法常受固定关键帧模式或长程依赖限制的问题,论文提出 CondMDI:在扩散模型训练中随机采样时间位置与关节子集,并用掩码表示稀疏/稠密、完整/部分关键帧,同时保留文本条件。HumanML3D 实验显示其能在多种关键帧约束下生成与约束一致且多样的动作,在根轨迹控制上接近 OmniControl,并以更简单结构获得更快推理。

Taming Diffusion Probabilistic Models for Character Control Figure 1
arXiv preprint2024-04

Taming Diffusion Probabilistic Models for Character Control

Rui Chen, Mingyi Shi, Shaoli Huang, Ping Tan, Taku Komura, Xuelin Chen

Hong Kong University of Science and Technology, Hong Kong, The University of Hong Kong, Tencent AI Lab

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

面向游戏/VR等交互场景,传统确定性角色控制器在高层粗控制下易均值化、脚滑且缺少多样性,而常规扩散模型又难以实时。论文提出基于 Transformer 的条件自回归运动扩散模型 CAMDM,通过条件分离 token、对历史运动做 classifier-free guidance、启发式未来轨迹延展和仅 8 步去噪,将扩散生成用于实时多风格角色控制。实验在多类 locomotion 技能上显示其能更稳定跟随用户控制,并生成质量和风格/细节多样性优于既有控制器的动画。

OmniControl: Control Any Joint at Any Time for Human Motion Generation Figure 1
ICLR 20242023-10

OmniControl: Control Any Joint at Any Time for Human Motion Generation

Yiming Xie, Varun Jampani, Lei Zhong, Deqing Sun, Huaizu Jiang

Northeastern University, Google Research

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

OmniControl针对文本驱动人体动作生成中空间约束难以表达的问题,尤其是既有方法多只能控制骨盆轨迹且受相对姿态表示限制。其核心是在扩散模型中把生成动作转到全局坐标,用解析空间引导按误差梯度贴合任意关节任意时刻的控制点,并以真实感引导修正全身动作以避免漂移和不自然。HumanML3D与KIT-ML实验显示,其在骨盆控制上显著优于既有方法,并能用单一模型控制手、头、脚等关节及多关节约束。

TEDi: Temporally-Entangled Diffusion for Long-Term Motion Synthesis Figure 1
arXiv preprint2023-07

TEDi: Temporally-Entangled Diffusion for Long-Term Motion Synthesis

Zihan Zhang, Richard Liu, Rana Hanocka, Kfir Aberman

University of Chicago, United States of America, University of Chicago, Snap Inc., United States of America

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

针对扩散式人体运动生成通常只能输出固定长度片段、长序列拼接易有接缝且交互控制滞后的问题,TEDi 将运动时间轴与扩散时间轴纠缠,引入含不同噪声级未来姿态的运动缓冲区,并在推理中自回归地弹出干净帧、追加噪声帧,从而连续生成任意长度动作;实验显示其可生成多样、稳定的长时序运动,并支持通过注入引导动作实现更平滑的未来过渡。

Example-based Motion Synthesis via Generative Motion Matching Figure 1
ACM Transactions on Graphics2023-06

Example-based Motion Synthesis via Generative Motion Matching

Weiyu Li, Xuelin Chen, Peizhuo Li, Olga Sorkine-Hornung, Baoquan Chen

Shandong University, Qingdao, China, Shandong University, Tencent AI Lab, Shenzhen, China, Tencent (China), ETH Zurich, Zurich, Switzerland, ETH Zurich, Peking University, Beijing, China, Peking University

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

针对少量动作样例下深度方法训练耗时、易抖动/过平滑且难扩展到复杂骨架的问题,论文提出 GenMM,将运动匹配改造成生成式框架:用双向视觉相似度约束合成序列与样例的 patch 分布,并通过多阶段从噪声逐步细化。结果显示其无需离线训练即可在零点几秒内生成高保真、多样动作,适用于 433 关节复杂骨架,并扩展到补全、关键帧引导、无限循环和重组等任务。

Guided Motion Diffusion for Controllable Human Motion Synthesis Figure 1
arXiv preprint2023-05

Guided Motion Diffusion for Controllable Human Motion Synthesis

Korrawe Karunratanakul, Konpat Preechakul, Supasorn Suwajanakorn, Siyu Tang

ETH Zürich,Switzerland, Vidyasirimedhi Institute of Science and Technology

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

该文针对文本驱动人体动作扩散模型难以同时满足轨迹、关键帧和避障等空间约束的问题,指出根因在于全局位姿在表示中占比低、指导信号过稀易被去噪过程忽略。GMD通过强调投影提升空间信息权重,并用密集信号传播把稀疏约束扩展到邻近帧。实验显示其在轨迹/关键帧/避障控制下更稳定,同时文本到动作指标优于已有方法。

PhysDiff: Physics-Guided Human Motion Diffusion Model Figure 1
arXiv preprint2022-12

PhysDiff: Physics-Guided Human Motion Diffusion Model

Ye Yuan, Jiaming Song, Umar Iqbal, Arash Vahdat, Jan Kautz

NVIDIA

人形机器人机器人学习人体动作分析与合成模仿学习视觉语言动作

本文针对现有人体动作扩散模型缺乏物理约束、易产生漂浮、脚滑和穿地等问题,提出 PhysDiff:在每轮去噪中插入基于物理仿真的动作投影,用模仿策略将中间动作拉回物理可行空间,而非仅做后处理。该方法可作为插件结合 MDM、MotionDiffuse,在文本/动作到运动任务上显著降低物理错误(各数据集超过 78%),并在 HumanML3D 上提升 FID 等动作质量指标。

No Figure
SIGGRAPH 20202020

Learned motion matching

Daniel Holden, Oussama Kanoun, Maksym Perepichka, Tiberiu Popa

Concordia University, Canada, Concordia University

人形机器人机器人学习人体动作分析与合成模仿学习运动生成

全文短总结尚未生成。