ClutterDexGrasp: A Sim-to-Real System for General Dexterous Grasping in Cluttered Scenes
CoRL 20252025-09-04

ClutterDexGrasp: A Sim-to-Real System for General Dexterous Grasping in Cluttered Scenes

Zeyuan Chen, Qiyang Yan, Yuanpei Chen, Tianhao Wu, Jiyao Zhang, Zihan Ding, Jinzhou Li, Yaodong Yang, Hao Dong

CFCS, School of Computer Science;Peking University;PKU-AgiBot Lab;PKU-PsiBot Lab;Princeton University

口头报告操作仿真到现实

针对杂乱场景下灵巧抓取因遮挡碰撞难以闭环、且现有方法需大量真实示教的问题,本文提出两阶段教师-学生框架 ClutterDexGrasp。教师策略在仿真中通过 clutter density 课程学习提升难度,以手部与目标及非目标物体的距离表示编码几何空间关系,并引入交互感知安全课程抑制碰撞与过度用力;再通过离线模仿学习将知识蒸馏至基于部分点云的3D扩散学生策略,实现零样本sim-to-real迁移。该系统首次在真实机器人上完成杂乱场景目标导向灵巧抓取的闭环零样本部署,在多样物体与密集布局下均具鲁棒性。

ScrewSplat: An End-to-End Method for Articulated Object Recognition
CoRL 20252025-08-22

ScrewSplat: An End-to-End Method for Articulated Object Recognition

Seungyeon Kim, Junsu Ha, Young Hun Kim, Yonghyeon Lee, Frank Chongwoo Park

Seoul National University;Massachusetts Institute of Technology

口头报告感知

现有铰接物体识别方法多依赖深度输入、预设关节类型或部件数量等强假设,且多阶段流程易引入误差。本文提出ScrewSplat,仅基于多视角RGB图像,将螺旋理论嵌入高斯泼溅表示,通过螺旋轴置信度与高斯概率单纯形实现关节数量、类型及部件分割的连续化建模,端到端联合优化几何与运动学结构。实验表明,该方法在单关节与多关节物体上的几何与运动学恢复精度均达SOTA,并可直接支持零样本文本引导的机器人操作。

Visual Imitation Enables Contextual Humanoid Control
CoRL 20252025-08-29

Visual Imitation Enables Contextual Humanoid Control

Arthur Allshire, Hongsuk Choi, Junyi Zhang, David McAllister, Anthony Zhang, Chung Min Kim, Trevor Darrell, Pieter Abbeel, Jitendra Malik, Angjoo Kanazawa

UC Berkeley

口头报告人形机器人模仿学习

为摆脱逐任务奖励调参与动捕依赖,本文提出VIDEOMIMIC,一条从单目视频到真机控制的real-to-sim-to-real流水线。其联合重建4D人-景几何并重定向到人形机器人,在仿真中训练跟踪策略后蒸馏为仅依赖本体感知与局部高度图的单一策略。该策略无需显式技能标签,仅凭地形与根方向命令即可自动执行上楼梯、坐椅子等上下文相关的全身动作。研究在Unitree G1真机上验证了鲁棒且可重复的上下文控制能力,并展现了对未见环境的泛化性。

Sampling-based System Identification with Active Exploration for Legged Sim2Real Learning
CoRL 20252025-05-20

Sampling-based System Identification with Active Exploration for Legged Sim2Real Learning

Nikhil Sobanbabu, Guanqi He, Tairan He, Yuxiang Yang, Guanya Shi

Carnegie Mellon University;Google DeepMind

口头报告仿真到现实移动/足式机器人

针对腿式机器人sim-to-real迁移中域随机化需启发式调参、传统系统辨识又依赖可微动力学或力矩传感的问题,本文提出SPI-Active:一种两阶段采样式系统辨识框架。第一阶段通过大规模并行采样最小化仿真与现实轨迹的状态误差来估计物理参数;第二阶段优化预训练多行为策略的指令以最大化Fisher Information,主动采集高信息量轨迹。在Go2四足与G1人形机器人上的实验表明,该方法实现了精确跳跃、高速绕杆等开环高精度控制,性能较基线提升42%–63%。

DemoSpeedup: Accelerating Visuomotor Policies via Entropy-Guided Demonstration Acceleration
CoRL 20252025-06-10

DemoSpeedup: Accelerating Visuomotor Policies via Entropy-Guided Demonstration Acceleration

Lingxiao Guo, Zhengrong Xue, Zijing Xu, Huazhe Xu

Shanghai Qi Zhi Institute;Tsinghua University IIIS;Shanghai AI Lab;University of Electronic Science and Technology of China

口头报告模仿学习

针对人类遥操作收集的机器人示范普遍迟缓、导致模仿学习策略执行效率低下的问题,本文提出基于动作熵的自监督示范加速方法DemoSpeedup。其核心洞察在于:利用生成式代理策略估计示范每帧的条件动作熵,将低熵(需高精度)段与高熵(较随意)段区分,并对不同段施加差异化的降采样加速,从而在保留关键操作精度的同时提升整体速度。实验表明,该方法可在仿真与真实环境中将视觉运动策略执行速度提升1.7至3倍,且任务成功率与原始策略持平甚至因决策时域缩短而略有提升。

RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies
CoRL 20252025-11-29

RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies

Pranav Atreya, Karl Pertsch, Tony Lee, Moo Jin Kim, Arhan Jain, Artur Kuramshin, Clemens Eppner, Cyrus Neary, Edward Hu, Fabio Ramos, Jonathan Tremblay, Kanav Arora, Kirsty Ellis, Luca Macesanu, Marcel Torne Villasevil, Matthew Leonard, Meedeum Cho, Ozgur Aslan, Shivin Dass, Jie Wang, William Reger, Xingfang Yuan, Xuning Yang

UC Berkeley;Stanford University;University of Washington;University of Montreal;NVIDIA;University of Pennsylvania;Yonsei University

口头报告数据集/基准多智能体

针对通用机器人策略难以依靠传统固定任务和集中式挑战进行大规模真实世界评测的问题,本文提出RoboArena分布式评测框架。其核心洞察在于:放弃对环境和任务的重度标准化,转而通过去中心化众包网络让各机构评估者自由选取场景与任务,对策略进行双盲成对比较,并聚合跨多样条件的偏好反馈以推导全局策略排名。研究者在七所高校的DROID机器人平台上对七种通用策略开展了超过六百组真实机器人对比实验,结果表明该分布式方法的策略排序准确度显著优于传统集中式评测,同时具备更强的可扩展性与鲁棒性。

Latent Theory of Mind: A Decentralized Diffusion Architecture for Cooperative Manipulation
CoRL 20252025-05-14

Latent Theory of Mind: A Decentralized Diffusion Architecture for Cooperative Manipulation

Chengyang He, Gadiel Sznaier Camps, Xu Liu, Mac Schwager, Guillaume Sartoretti

National University of Singapore;Stanford University

口头报告操作扩散/流模型多智能体

针对集中式扩散策略在多臂协作中可扩展性差、对故障敏感的问题,本文提出分散式扩散架构LatentToM。每个机械臂将观测编码为自我嵌入与共识嵌入,利用层论一阶上同调损失约束共识表示的全局一致性,并引入心智理论机制使各臂能从共识嵌入推断他臂的自我嵌入以避免表示坍塌。硬件实验表明,该方法优于朴素分散式基线,性能与先进集中式扩散策略相当,且对临时故障和延迟具有天然鲁棒性。

Non-conflicting Energy Minimization in Reinforcement Learning based Robot Control
CoRL 20252025-09-01

Non-conflicting Energy Minimization in Reinforcement Learning based Robot Control

Skand Peri, Akhil Perincherry, Bikram Pandit, Stefan Lee

Oregon State University

口头报告触觉强化学习

现有强化学习机器人控制常通过奖励函数加权惩罚能耗,但权重系数λ难以调节且易与任务性能冲突。本文提出PEGrad方法,将能量最小化梯度投影到任务奖励梯度的正交子空间,在不牺牲任务表现的前提下无超参数地降低能耗。该方法在DM-Control和HumanoidBench基准上实现能耗降低64%且保持性能,并成功迁移至Unitree GO2实体机器人验证实际节能效果。

Belief-Conditioned One-Step Diffusion: Real-Time Trajectory Planning with Just-Enough Sensing
CoRL 20252025-08-27

Belief-Conditioned One-Step Diffusion: Real-Time Trajectory Planning with Just-Enough Sensing

Gokul Puthumanaillam, Aditya Penumarti

口头报告扩散/流模型规划感知

针对多传感器机器人在部分可观测环境中长期全功率运行能耗过高、而随意关闭传感器又可能导致定位崩溃的问题,本文提出信念条件化单步扩散(B-COD)。核心洞察是:当扩散规划器显式以姿态信念栅格和传感器掩码为条件时,其去噪轨迹分布的扩散程度天然构成预期定位误差的可微代理。凭借单次10毫秒前向传播,B-COD同步输出短程轨迹、各航点偶然方差及定位风险代理,省去外部协方差推演;轻量级SAC策略据此在线选择最小必要传感器子集。在无人水面艇实时海洋试验中,该方法将感知能耗削减过半,同时维持了与传感器全开基线相当的目标到达率。

Cross-Sensor Touch Generation
CoRL 20252025-10-10

Cross-Sensor Touch Generation

Samanta Rodriguez, Yiming Dou, Miquel Oller, Andrew Owens, Nima Fazeli

University of Michigan;Cornell University

口头报告触觉感知

针对视触觉传感器多样化导致算法难以跨硬件复用的问题,本文提出两种跨传感器触觉生成方法:基于配对数据的端到端扩散模型Touch2Touch,以及以深度图为中间表示、无需配对数据的T2D2。其核心洞察在于不同传感器虽物理特性迥异,但均编码相似的接触几何信息。实验通过在手持物体姿态估计与行为克隆任务中直接迁移专用模型,验证了该方法的有效性:T2T生成保真度更高,T2D2则以更低的数据需求实现了灵活迁移。

X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real
CoRL 20252025-11-09

X-Sim: Cross-Embodiment Learning via Real-to-Sim-to-Real

Prithwish Dan, Kushal Kedia, Angela Chao, Edward W. Duan, Maximus A. Pace, Wei-Chiu Ma, Sanjiban Choudhury

Cornell University

口头报告仿真到现实

针对人类视频训练机器人时缺乏动作标注、且现有跨本体映射在人体与机器人形态差异过大时易失效的问题,该研究提出X-SIM框架,其核心洞察在于将视频中物体运动作为可迁移的密集监督信号:通过从RGBD人类视频重建照片级仿真并跟踪物体轨迹构建以物体为中心的奖励,在仿真中训练RL策略并蒸馏为图像条件扩散策略,同时引入在线域自适应在部署时对齐虚实观测,无需任何机器人遥操作数据。实验表明,该方法在5项操作任务中平均较手部跟踪与sim-to-real基线提升30%任务进度,以十分之一的数据收集时间达到行为克隆水平,并能泛化至新视角与测试时环境变化。

Data Retrieval with Importance Weights for Few-Shot Imitation Learning
CoRL 20252025-09-01

Data Retrieval with Importance Weights for Few-Shot Imitation Learning

Amber Xie, Rahul Chand, Dorsa Sadigh, Joey Hejna

Stanford University

口头报告模仿学习数据集/基准

本文针对少样本模仿学习中现有检索方法仅用潜在空间最近邻距离选择先验数据、缺乏理论依据且存在高方差与分布偏差的问题,提出重要性加权检索(IWR)。该方法从重要性采样视角出发,利用高斯核密度估计同时建模目标数据与先验数据的分布,以概率密度比作为重要性权重进行数据检索,从而平滑估计并纠正偏差。实验表明,IWR在LIBERO模拟环境和Bridge真实世界数据集上均能稳定提升多种已有检索基线的性能,在真实任务中相比现有方法平均成功率提升可达30%。

Versatile Loco-Manipulation through Flexible Interlimb Coordination
CoRL 20252025-06-11

Versatile Loco-Manipulation through Flexible Interlimb Coordination

Xinghao Zhu, Yuxin Chen, Lingfeng Sun, Farzad Niroui, Simon Le Cleac’h, Jiuguang Wang, Kuan Fang

RAI Institute;University of California, Berkeley;Cornell University;Cornell University Foot-assisted Manipulation;Cornell University Foot-assisted Manipulation Stationary Interlimb Coordination

口头报告操作人形机器人

现有移动操作研究常受限于预设肢体分工或特定任务,难以适应非结构化环境的多样需求。本文提出ReLIC框架,以自适应控制器将移动与操作解耦为两个协同模块:模型-based模块负责任务操作,强化学习策略依据操作需求动态维持稳定步态,实现肢体角色的实时分配。该方法支持直接目标、接触点与自然语言等多种任务指令,在真实机器人上完成12项复杂任务,平均成功率达78.9%,验证了灵活肢体协调在非结构化移动操作中的有效性。

Reactive In-Air Clothing Manipulation with Confidence-Aware Dense Correspondence and Visuotactile Affordance
CoRL 20252025-09-04

Reactive In-Air Clothing Manipulation with Confidence-Aware Dense Correspondence and Visuotactile Affordance

Visuotactile Affordance, Neha Sunil, Megha Tippur, Arnau Saumell, Edward Adelson, Alberto Rodriguez

Massachusetts Institute of Technology;<nsunil, albertor>@mit.edu <mhtippur, adelson>@csail.mit.edu

口头报告操作触觉

现有衣物操作系统常需展平或完整状态估计,难以应对严重自遮挡的皱褶与悬挂构型。本文提出双臂视觉触觉框架,利用分布损失学习对称感知的密集像素对应并输出置信度,驱动反应式状态机在感知不确定时主动推迟动作;同时以触觉反馈自监督训练抓取可供性网络,实现单相机下的可抓取区域识别与实时验证。该系统无需展平即可操作高度遮挡的桌面及空中衣物,在折叠和悬挂任务中验证了任务无关抓取,且密集描述子可作为中间表示支持从人类视频中提取目标,提升泛化性。

Training Strategies for Efficient Embodied Reasoning
CoRL 20252025-05-17

Training Strategies for Efficient Embodied Reasoning

William Chen, Suneel Belkhale, Suvir Mirchandani, Oier Mees, Danny Driess, Karl Pertsch, Sergey Levine

UC Berkeley;Stanford University

口头报告视觉语言动作/视觉语言模型

针对机器人思维链推理提升VLA泛化性却面临标注成本高、推理速度慢(1–1.2 Hz)的痛点,本文系统隔离分析了表示学习、课程化与表达能力三种机制,发现生成推理主要改善视觉-语言表示,而关注推理链有助于动作预测充分利用这些表征。基于此,作者提出ECoT-Lite两种轻量训练策略——推理预训练与推理Dropout——让模型在训练时吸收推理数据,测试时直接输出动作而无需生成推理。实验在LIBERO-90取得SOTA,在BridgeData V2上较常规VLA提升10%–19%,并将推理频率提升至3.5 Hz以上,实现近3倍加速。

Divide, Discover, Deploy: Factorized Skill Learning with Symmetry and Style Priors
CoRL 20252025-08-28

Divide, Discover, Deploy: Factorized Skill Learning with Symmetry and Style Priors

Rafael Cathomen, Mayank Mittal, Marin Vlastelica, Marco Hutter

ETH Zurich;NVIDIA

口头报告机器人学习

判断受限于 PDF 文本抽取质量:所提供的关键片段与论文标题严重不符,片段内容实为牛津大学团队关于无波前传感器自适应光学的研究,涉及 Fisher 信息与 Cramér–Rao 下界,而标题所指的因子化技能学习、对称性与风格先验及模块化部署等核心内容在现有材料中完全缺失,因此无法基于当前文本给出准确总结。

Tactile Beyond Pixels: Multisensory Touch Representations for Robot Manipulation
CoRL 20252025-06-17

Tactile Beyond Pixels: Multisensory Touch Representations for Robot Manipulation

Carolina Higuera, Akash Sharma, Taosha Fan, Chaithanya Krishna Bodduluri, Byron Boots, Michael Kaess, Mike Lambeta, Tingfan Wu, Zixi Liu, Francois Robert Hogan+, Mustafa Mukadam+

FAIR at Meta;University of Washington;Carnegie Mellon University

口头报告操作触觉

现有机器人触觉多依赖单一模态,难以像人类般融合皮肤变形、振动、压力等多维信号。本文提出自监督模型Sparsh-X,基于bottleneck attention将Digit 360的图像、音频、IMU与压力四模态映射至共享潜在空间,并在约100万无标注样本上预训练。在真实机器人插拔与手中旋转任务中,用于模仿学习与仿真策略的触觉适应,策略成功率较端到端基线提升63%,状态恢复鲁棒性提高90%;物理属性推断准确率提升48%。

Planning from Point Clouds over Continuous Actions for Multi-object Rearrangement
CoRL 20252025-09-04

Planning from Point Clouds over Continuous Actions for Multi-object Rearrangement

Kallol Saha, Amber Li, ´Angela Rodriguez-Izquierdo, Lifan Yu, Ben Eisner, Maxim Likhachev, David Held

Robotics Institute;Carnegie Mellon University;Princeton University

口头报告规划

针对传统任务规划需要人工离散化符号状态、难以处理开放集场景的问题,本文提出SPOT,直接在原始点云上通过A*搜索连续SE(3)变换序列完成多物体重排。核心创新在于用学习到的物体选择器和位姿推荐器作为领域先验引导搜索,无需预设物体关系或动作离散化。实验表明,该方法在模拟与真实环境中的长程重排任务上均显著优于纯策略学习方法,且消融验证了搜索机制和学习先验对规划成功的关键作用。

Stack It Up!: 3D Stable Structure Generation from 2D Hand-drawn Sketch
CoRL 20252025-08-04

Stack It Up!: 3D Stable Structure Generation from 2D Hand-drawn Sketch

2D Hand-drawn Sketch, Yiqing Xu, Linfeng Li, Cunjun Yu, David Hsu, 2D Sketches, Real-world Executions, Marina Bay Sands, Eiffel Tower

School of Computing;Smart Systems Institute;National University of Singapore

口头报告感知

针对非专家用户难以用精确3D位姿指定机器人堆叠目标的问题,本文提出StackItUp系统,允许用户仅凭单张2D正面手绘草图生成可执行的稳定3D结构。其核心创新在于以抽象关系图为中间表征,将符号几何关系与稳定性模式同噪声度量细节解耦,并通过组合式扩散模型迭代预测草图未显示的隐藏支撑块与精确位姿。在标志性建筑与现代房屋草图上的实验表明,该系统生成的多层结构在物理稳定性与视觉保真度上均优于基线,并已成功部署于真实机器人平台。

DexSkin: High-Coverage Conformable Robotic Skin for Learning Contact-Rich Manipulation
CoRL 20252025-09-23

DexSkin: High-Coverage Conformable Robotic Skin for Learning Contact-Rich Manipulation

Suzannah Wistreich, Baiyu Shi, Stephen Tian, Samuel Clarke, Michael Nath, Chengyi Xu, Zhenan Bao, Jiajun Wu

Stanford University;University of Alabama at Birmingham

口头报告操作触觉

现有机器人触觉传感器多存在覆盖率低、难贴合复杂曲面及跨硬件信号不一致等问题。本文提出DexSkin,一种柔软共形的电容式电子皮肤,通过可独立寻址的触觉像素阵列实现高覆盖率、可校准的接触感知,并能按需定制几何外形。研究者在平行夹爪上实现近全手指表面覆盖,并通过模仿学习与在线强化学习验证了DexSkin在手中重定向、弹性带缠绕等强接触任务中的有效性,且证明经校准的模型可跨传感器实例直接迁移。

SAVOR: Skill Affordance Learning from Visuo-Haptic Perception for Robot-Assisted Bite Acquisition
CoRL 20252025-09-01

SAVOR: Skill Affordance Learning from Visuo-Haptic Perception for Robot-Assisted Bite Acquisition

Zhanxin Wu

Cornell University

口头报告操作触觉感知

机器人辅助喂食中,食物物理特性多样且随时间变化(如牛排冷却变硬),导致传统基于类别的技能选择策略失效。本文提出 SAVOR,通过结合离线标定的工具可供性与基于视觉常识先验、并由在线视触觉感知动态修正的食物物理属性估计,学习“技能可供性”以自适应选择叉取或舀取等操作。在20种单一食物和10种真实餐食上的实验表明,该方法较现有基于类别的方法将 bite acquisition 成功率提升了13%。

SAIL: Faster-than-Demonstration Execution of Imitation Learning Policies
CoRL 20252025-09-08

SAIL: Faster-than-Demonstration Execution of Imitation Learning Policies

Nadun Ranawaka Arachchige, Zhenyang Chen, Wonsuhk Jung, Woo Chul Shin, Rohan Bansal, Pierre Barroso, Yu Hang He, Yingyan Celine Lin, Benjamin Joffe, Shreyas Kousik, Danfei Xu

Georgia Institute of Technology

口头报告模仿学习

现有离线模仿学习策略受限于人类演示速度,导致任务吞吐量低下。本文提出全栈框架SAIL,其核心洞察是超越演示的加速必须同时应对机器人动力学变化与状态-动作分布偏移。SAIL通过一致性保持的动作推理、预测控制器不变的动作目标并配合高保真跟踪、依据运动复杂度自适应调速、以及处理系统延迟的动作调度四项技术协同实现加速。在模拟与两台真实机器人平台的实验表明,SAIL最高可分别实现4倍与3.2倍速的超越演示执行,并保持高成功率。

Geometric Red-Teaming for Robotic Manipulation
CoRL 20252025-09-15

Geometric Red-Teaming for Robotic Manipulation

Divyam Goel, Yufei Wang, Tiancheng Wu, Guixiu Qiao, Pavel Piliptchak, David Held, Zackory Erickson

Robotics Institute;Carnegie Mellon University, Pittsburgh, PA, USA;@andrew.cmu.edu;National Institute of Standards and Technology, Gaithersburg, MD, USA

口头报告操作

现有机器人操作基准多基于分布内测试集,难以揭示几何微变导致的失效。本文提出Geometric Red-Teaming (GRT),将对抗测试拓展至三维几何空间:通过Jacobian field变形模型与无梯度仿真优化,自动生成物理合理的CrashShapes以系统性诱导预训练策略在插入、关节和抓取任务中灾难性失败。模拟发现的变形可迁移至真实机器人,使成功率从90%降至22.5%;进而通过针对性微调(blue-teaming)可在不损害原性能的前提下恢复多达60个百分点,为操作策略的鲁棒性评估与修复提供了可扩展框架。

HuB: Learning Extreme Humanoid Balance
CoRL 20252025-08-17

HuB: Learning Extreme Humanoid Balance

Tong Zhang, Boyuan Zheng, Ruiqian Nai, Yingdong Hu, Yen-Jen Wang, Geng Chen, Fanqi Lin, Jiongye Li, Chuye Hong, Koushil Sreenath, Yang Gao, 4UC San Diego

Tsinghua University;Shanghai Qi Zhi Institute;UC Berkeley

口头报告人形机器人

针对人形机器人极端平衡任务,现有基于参考动作跟踪的强化学习方法受限于动作捕捉误差、人机形态差异导致的质心偏移,以及传感器噪声和接触建模不准带来的仿真到现实差距。本文提出HuB框架,通过参考动作精修、带塑形奖励的平衡感知策略学习,以及IMU中心扰动与局部跟踪等仿真到现实训练手段,系统性地解决了上述挑战。在Unitree G1机器人上的实验表明,该方法能稳定完成燕子平衡、李小龙踢等极端准静态单腿姿势,并承受足球撞击等强干扰,显著优于基线方法。

Vision-Language-Action Model with Open-World Generalization
CoRL 20252025-04-22

Vision-Language-Action Model with Open-World Generalization

Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, Adnan Esmail, Michael Equi, Szymon Jakubczak, Tim Jones, Liyiming Ke, Devin LeBlanc, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Allen Z. Ren, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, James Tanner, Quan Vuong

口头报告视觉语言动作/视觉语言模型

π0.5 探索了 VLA 模型在开放世界中的泛化边界。研究者认为,仅靠同构的机器人操作数据不足以应对真实家庭的多样性,因此提出将移动机械臂数据与其他机器人数据、网络多模态数据(视觉问答、物体检测、图像描述)以及高级语义指令进行联合训练,并通过分层架构先推理语义子任务、再生成低级动作,实现跨本体、跨模态的知识迁移。实验表明,该模型即使在 97.6% 的训练数据来自非目标移动操作任务的情况下,仍能在全新的真实家庭中完成清洁厨房或卧室、整理床铺、悬挂毛巾等长达 10 至 15 分钟的长时程灵巧操作任务。

Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning
CoRL 20252025-06-05

Fabrica: Dual-Arm Assembly of General Multi-Part Objects via Integrated Planning and Learning

Yunsheng Tian, Joshua Jacob, Yijiang Huang, Jialiang Zhao, Edward Gu, Pingchuan Ma, Annan Zhang, Farhad Javid, Branden Romero, Sachin Chitta, Shinjiro Sueda, Hui Li, Wojciech Matusik

MIT CSAIL;ETH Zurich;Texas A&M University

口头报告操作规划

现有机器人装配系统多针对单臂两部件或特定场景,难以应对通用多部件长程任务中的混合离散-连续优化与接触不确定性。本文提出Fabrica,通过层次化双臂规划器自动求解装配-保持序列、抓取、运动及夹具设计,并以离线规划生成的残差动作引导等变强化学习策略,实现跨几何、跨方向的鲁棒插入。系统在7类含5至9部件的基准上完成零样本真机迁移,单步成功率达80%,首次在无需领域知识与人工演示条件下实现完整多部件装配,且跨装配通用策略与专用策略性能相当。

Streaming Flow Policy: Simplifying diffusion/flow-matching policies by treating action trajectories as flow trajectories
CoRL 20252025-09-24

Streaming Flow Policy: Simplifying diffusion/flow-matching policies by treating action trajectories as flow trajectories

Sunshine Jiang, Xiaolin Fang, Nicholas Roy, Tom´as Lozano-P´erez, Leslie Kaelbling, Siddharth Ancha

Massachusetts Institute of Technology

口头报告扩散/流模型

传统扩散与流匹配策略在轨迹空间中采样“轨迹的轨迹”,计算开销大且必须等待完整采样结束后才能执行,限制了控制实时性。本文提出Streaming Flow Policy,将动作轨迹本身视为流轨迹,直接在动作空间中从上一动作的窄高斯噪声出发,通过流匹配学习速度场并增量式积分生成动作序列,使流采样时间与执行时间对齐,支持流式输出与滚动时域执行,同时保留多模态建模能力,并通过构造围绕示范轨迹稳定的条件流减小分布偏移。实验表明,该方法在性能相当或更优的同时显著降低了生成延迟,加快了策略执行并缩紧了感觉运动闭环。

Steering Your Diffusion Policy with Latent Space Reinforcement Learning
CoRL 20252025-06-25

Steering Your Diffusion Policy with Latent Space Reinforcement Learning

Andrew Wagenmaker, Mitsuhiko Nakamoto, Yunchu Zhang, Seohong Park, Waleed Yagoub, Anusha Nagabandi

UC Berkeley;University of Washington

口头报告扩散/流模型触觉强化学习

现有基于模仿学习的扩散策略在开放世界场景中常表现不佳,而传统强化学习微调样本效率低且易破坏预训练权重。本文提出DSRL,将扩散策略的去噪过程视为从潜噪声空间到动作空间的确定性变换,在不修改基础策略权重的黑盒设定下,直接在潜噪声空间上运行强化学习以引导动作分布。实验表明,该方法在仿真和真实机器人任务中均具备高样本效率,并能有效提升预训练通用策略的现实表现。

AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons
CoRL 20252025-08-25

AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons

Hongjie Fang, Chenxi Wang, Yiming Wang, Jingjing Chen, Shangning Xia, Jun Lv, Zihao He, Xiyan Yi, Yunhan Guo, Xinyu Zhan, Lixin Yang, Weiming Wang, Cewu Lu, Hao-Shu Fang

Shanghai Jiao Tong University

口头报告模仿学习数据集/基准

针对机器人模仿学习中遥操作数据采集成本高昂、手持设备观测覆盖不足,以及全身式采集装置与真实机器人之间存在域差距的问题,本文提出了低成本外骨骼采集系统AirExo-2,通过强化机械结构与改进校准提升动作精度,并设计演示适配器将野外采集数据转换为伪机器人演示以弥合域差异。在此基础上,作者进一步提出融合3D空间与2D语义感知的泛化策略RISE-2。实验表明,仅使用AirExo-2采集并适配的野外数据训练的RISE-2,其性能即可与基于遥操作数据训练的策略相当,在同等采集时间下甚至有所超越,且在域外泛化测试中优于先前方法。

FetchBot: Learning Generalizable Object Fetching in Cluttered Scenes via Zero-Shot Sim2Real
CoRL 20252025-08-24

FetchBot: Learning Generalizable Object Fetching in Cluttered Scenes via Zero-Shot Sim2Real

Weiheng Liu, Yuxuan Wan, Jilong Wang, Yuxuan Kuang, Wenbo Cui, Xuesong Shi, Haoran Li, Dongbin Zhao, Zhizheng Zhang, He Wang

Institute of Automation, Chinese Academy of Sciences;CFCS, School of Computer Science;Peking University

口头报告仿真到现实

针对杂乱场景中物体抓取面临的严重遮挡与真实数据采集成本高昂问题,本文提出FetchBot框架。研究首先通过UniVoxGen合成100万高密度杂乱场景与50万基于强化学习的示教数据;进而利用基础模型从RGB预测深度作为中间表征以桥接仿真到现实的差距,并将局部占据预测作为预训练任务以推断遮挡区域、补全场景几何。实验表明,该方法在真实杂乱环境中实现了89.95%的平均抓取成功率,对透明、反光及不规则物体亦具强鲁棒性。

One View, Many Worlds: Single-Image to 3D Object Meets Generative Domain Randomization for One-Shot 6D Pose Estimation
CoRL 20252025-09-09

One View, Many Worlds: Single-Image to 3D Object Meets Generative Domain Randomization for One-Shot 6D Pose Estimation

One-Shot 6D Pose Estimation, Zheng Geng, Nan Wang, Shaocong Xu, Chongjie Ye, Bohan Li, Zhaoxi Chen, Sida Peng, Hao Zhao

Zhejiang University;Institute for AI Industry Research (AIR);Tsinghua University;Nanyang Technological University;The Chinese University of Hongkong, Shenzhen;Shanghai Jiao Tong University;Eastern Institute of Technology, Ningbo

口头报告仿真到现实感知

针对开放世界中机器人仅凭单张参考图像估计任意未知物体6D位姿的难题,本文提出OnePoseViaGen方法,通过单张RGB-D图像生成纹理3D模型,并设计由粗到精的对齐模块联合优化尺度与位姿,同时引入文本引导的生成式域随机化策略生成多样化纹理合成数据以微调位姿估计器。该方法在YCBInEOAT、Toyota-Light、LM-O等基准上取得远超现有方法的SOTA性能,并在真实机器人灵巧抓取任务中验证了实用性。

KineSoft: Learning Proprioceptive Manipulation Policies with Soft Robot Hands
CoRL 20252025-05-08

KineSoft: Learning Proprioceptive Manipulation Policies with Soft Robot Hands

Uksang Yoo, Jonathan Francis, Jean Oh, Jeffrey Ichnowski

Carnegie Mellon University;Bosch Center for AI

口头报告操作感知

现有模仿学习方法难以迁移到软体机械手,主要瓶颈在于软体连续变形缺乏合适表征且示范数据采集困难。本文提出KineSoft框架,将软体固有的顺应性转化为动觉示教的优势:人类直接物理引导软体手完成示范,系统通过内置应变传感阵列实时估计网格形状,并基于扩散策略学习形状轨迹,再由形状条件控制器精确跟踪。物理实验表明,该方法在刚性和可变形物体的六项手中操作任务上均优于应变基线策略,验证了以软体本体特性为核心的操控学习可有效获得灵巧操作能力。

Real2Render2Real: Scaling Robot Data Without Dynamics Simulation or Robot Hardware
CoRL 20252025-05-14

Real2Render2Real: Scaling Robot Data Without Dynamics Simulation or Robot Hardware

Justin Yu, Max Letian Fu, Huang Huang, Karim El-Refai, Rares Andrei Ambrus, Richard Cheng, Muhammad Zubair Irshad, Ken Goldberg

University of California, Berkeley;Toyota Research Institute

口头报告机器人学习

针对机器人学习数据规模受限、遥操作成本高且物理仿真接触建模复杂的问题,本文提出Real2Render2Real (R2R2R):仅需手机扫描物体与单个人类演示视频,通过3D高斯溅射重建与6-DoF轨迹跟踪,利用IsaacLab纯渲染模式(关闭动力学)合成大量高保真、跨本体图像-动作数据。实验表明,基于1条演示生成的合成数据训练策略,在1050次真实机器人评估中性能媲美150条人类遥操作数据,且单GPU生成速度可达人工的27倍。

FACET: Force-Adaptive Control via Impedance Reference Tracking for Legged Robots
CoRL 20252025-05-19

FACET: Force-Adaptive Control via Impedance Reference Tracking for Legged Robots

Botian Xu, Haoyang Weng, Qingzhou Lu, Yang Gao, Huazhe Xu

Tsinghua University;Shanghai Qizhi Institute;Shanghai AI Lab

口头报告触觉移动/足式机器人

现有强化学习足式机器人控制器多基于位置或速度跟踪,忽视外力作用,导致交互僵硬且存在安全隐患。为此,本文提出FACET,受阻抗控制启发,利用强化学习训练策略模仿质心处的虚拟质量-弹簧-阻尼参考模型,将虚拟阻抗参数暴露为控制接口,从而在不切换模式的情况下同时调节运动与接触力。该方法在仿真中使四足机器人可承受超过自重两倍的冲击冲量并降低80%碰撞冲量,并在真实机器人上实现了柔顺示教拖动及牵引10千克负载,同时成功扩展至人形机器人和足臂复合平台,展示了全身柔顺控制能力。

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
CoRL 20252025-10-02

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song

Stanford University;Columbia University;Carnegie Mellon University, NVIDIA

口头报告操作

DexUMI将人手作为通用操作界面,以缩小与多种灵巧机器手间的 embodiment gap。针对遥操作空间错配、缺乏触觉反馈及硬件差异,作者设计可穿戴外骨骼约束人手运动至目标机器手的运动学空间并记录关节角与触觉;同时通过分割与图像修复把视频中的人手替换为目标机器手,消除视觉域差异,实现无机器人在场采集。在6自由度Inspire手与12自由度XHand上的实验表明,其采集效率为遥操作的3.2倍,四项真实任务平均成功率达86%。

The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio
CoRL 20252025-09-22

The Sound of Simulation: Learning Multimodal Sim-to-Real Robot Policies with Generative Audio

Renhao Wang, Haoran Geng, Tingle Li, Feishi Wang, Gopala Anumanchipalli, Trevor Darrell, Boyi Li, Pieter Abbeel, Jitendra Malik, Alexei A. Efros

University of California, Berkeley

口头报告仿真到现实

针对声音等非视觉模态因物理建模复杂而难以在仿真中规模化还原、进而导致多模态sim-to-real迁移受阻的问题,本文提出MULTIGEN框架,将视频到音频的生成模型嵌入传统物理仿真管线,以仿真视频为条件合成逼真的任务相关音频,从而在零真实机器人数据的情况下构建大规模视听多模态仿真数据集。在机器人倒水任务中,该方法实现了向真实硬件的零样本迁移,并泛化至新容器几何与未知液体类型。

ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations
CoRL 20252025-09-19

ReWiND: Language-Guided Rewards Teach Robot Policies without New Demonstrations

Jiahui Zhang⋆, Yusen Luo⋆, Abrar Anwar⋆, Sumedh A. Sontakke, Joseph J. Lim, Jesse Thomason, Erdem Bıyık, Jesse Zhang

Thomas Lord Department of Computer Science, University of Southern California;Kim Jaechul School of Artificial Intelligence, KAIST

口头报告模仿学习强化学习

现有机器人学习往往需为每个新任务收集昂贵演示或设计专用奖励函数。ReWiND提出仅依赖少量初始演示与语言指令的框架:通过跨模态序列聚合器预测视频进度来学习语言条件的奖励模型,并引入视频回退机制从成功轨迹合成失败样本以提供密集反馈,进而用离线RL预训练策略;面对新任务无需额外演示,仅需极少在线交互即可微调。实验表明,该方法在奖励泛化与策略对齐指标上显著优于基线,模拟中样本效率提升约2倍,并将真实世界预训练双手策略性能提高5倍。

Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation
CoRL 20252025-10-04

Learning a Unified Policy for Position and Force Control in Legged Loco-Manipulation

Peiyuan Zhi, Peiyang Li, Jianqin Yin, Baoxiong Jia, Siyuan Huang

State Key Laboratory of General Artificial Intelligence, BIGAI;Joint Laboratory of Embodied AI and Humanoid Robots, BIGAI & UniTree Robotics;Beijing University of Posts and Telecommunications

口头报告操作人形机器人触觉移动/足式机器人

现有腿式机器人操作多依赖位置控制,难以应对接触丰富的任务,且常因缺少力传感器而丢失关键接触信息。本文提出首个力-位置统一控制策略,利用强化学习从历史状态估计外力并通过位姿与速度补偿,无需额外力传感器即可实现位置跟踪、力控制及柔顺交互等多种行为。进一步地,将该策略嵌入模仿学习数据收集流程,为无传感器系统提供力感知示教。在四足与人形机器人上的实验表明,该方法在四项真实接触任务中将模仿学习成功率提升约39.5%,验证了其在不同机型上的鲁棒性与通用性。

Omni-Perception: Omnidirectional Collision Avoidance of Legged Robots in Dynamic Environments
CoRL 20252025-08-28

Omni-Perception: Omnidirectional Collision Avoidance of Legged Robots in Dynamic Environments

Zifan Wang, Teli Ma, Yufei Jia, Xun Yang, Jiaming Zhou, Wenlong Ouyang, Qiang Zhang, Junwei Liang

The Hong Kong University of Science and Technology (Guangzhou);The Hong Kong University of Science and Technology;Department of Eletronic Engineering;Tsinghua University;Beijing Innovation Center of Humanoid Robotics Co., Ltd.

口头报告移动/足式机器人感知

现有足式机器人避障多依赖深度相机或仅使用本体感知,易受光照变化和噪声干扰,且中间表示如高程图难以处理悬空及透明障碍物。本文提出Omni-Perception框架,首次将原始LiDAR点云直接接入端到端强化学习策略,其核心PD-RiskNet通过分层架构评估时空点云中的近远环境风险;同时开发了支持多物理引擎的高保真LiDAR仿真工具包,实现零样本sim-to-real迁移。仿真与真实实验表明,该框架使机器人在包含动态障碍的复杂三维环境中实现了鲁棒的全向避障与高速敏捷运动。

Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning
CoRL 20252025-09-25

Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning

Multi-Modal Reasoning, Milan Ganai, Rohan Sinha, Christopher Agia, Daniel Morton, Luigi Di Lillo, Marco Pavone

Stanford University;NVIDIA Research

口头报告机器人学习

针对机器人在开放世界遭遇分布外(OOD)失败时难以实时生成安全回退策略的问题,本文提出FORTRESS框架。该框架采用“慢-快”分层架构:在低频或离线阶段利用多模态基础模型预见失败模式、推断语义不安全区域并缓存安全回退目标;运行时一旦触发回退,即快速合成语义安全且动力学可行的轨迹。实验表明,该方法在合成基准与真实ANYmal数据上的安全分类准确率优于直接实时调用慢推理模型,并在仿真及四旋翼硬件中显著提升规划成功率与安全性。

LocoFormer: Generalist Locomotion via Long-context Adaptation
CoRL 20252025-09-28

LocoFormer: Generalist Locomotion via Long-context Adaptation

Min Liu, Deepak Pathak, Ananye Agarwal

口头报告移动/足式机器人

现有机器人运动控制器多为特定本体设计,泛化性差且难以应对肢体损伤等剧变。LocoFormer提出通过大规模程序生成机器人与激进域随机化进行强化学习预训练,并将策略上下文长度扩展数个数量级以跨越episode边界,实现测试时的长程上下文适应。该通才模型无需精确运动学即可零样本控制多种未见过腿式与轮式真实机器人,并在域偏移、电机故障等极端场景下展现出跨试验的涌现适应能力,持续从失败中改进策略。

ImMimic: Cross-Domain Imitation from Human Videos via Mapping and Interpolation
CoRL 20252025-09-13

ImMimic: Cross-Domain Imitation from Human Videos via Mapping and Interpolation

Yangcen Liu, Woo Chul Shin, Yunhai Han, Zhenyang Chen, Harish Ravichandar, Danfei Xu

College of Computing;Georgia Institute of Technology, United States

口头报告模仿学习

针对机器人示教数据收集成本高而人类视频丰富但存在视觉、形态与物理域差距的问题,本文提出ImMimic,一种与具体机器人形态无关的联合训练框架。该方法将人手姿态重定向至机器人关节空间,通过动态时间规整实现动作或视觉层面的序列级映射,并借助MixUp在条件与动作空间插值生成中间域,从而平滑桥接域差异。在四种真实机器人本体及抓取、推动、锤击、翻转任务上的评估表明,该方法在任务成功率与执行平滑度上均优于基线,且基于动作相似度的序列映射比视觉映射产生了更显著的性能提升。

CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks
CoRL 20252025-08-30

CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks

Yixuan Li

海报人形机器人模仿学习

现有人形遥操作系统多将上下身控制解耦以换取稳定,却牺牲了全身协调性,且开环运行导致位姿误差随时间累积,难以胜任长时程任务。CLONE提出基于混合专家(MoE)的闭环遥操作框架:MoE策略统一学习多样运动技能以实现自然的全身协调,同时结合LiDAR里程计与MR头显追踪进行实时闭环误差校正,显著抑制长距离漂移。仅依靠头部与手部输入,该系统即可在长时间运行中保持精确全局定位,并顺利完成弯腰拾物等复杂全身交互任务。

Disentangled Multi-Context Meta-Learning: Unlocking Robust and Generalized Task Learning
CoRL 20252025-09-01

Disentangled Multi-Context Meta-Learning: Unlocking Robust and Generalized Task Learning

Seonsoo Kim, Jun-Gill Kang, Taehong Kim, Seongil Hong, Agency for Defense Development

海报仿真到现实

现有元学习方法常将多种任务变化因素纠缠在单一表示中,影响泛化与可解释性。本文提出解耦多上下文元学习框架DMCM,将不同任务因素显式分配到独立的上下文向量,并在适应时仅更新相关上下文。在正弦回归中,该方法在分布外场景下比MAML和CAVIA更鲁棒,并能通过共享上下文向量实现零样本泛化;在四足机器人运动任务中,将解耦上下文迁移至强化学习策略后,在分布外条件下性能优于统一上下文的基线,且仅利用20秒真实平地数据即实现了到挑战性地形及未见机器人属性的Sim2Real迁移。

Meta-Optimization and Program Search using Language Models for Task and Motion Planning
CoRL 20252025-09-17

Meta-Optimization and Program Search using Language Models for Task and Motion Planning

Denis Shcherba, Eckart Cobo-Briesewitz, TU Berlin, Cornelius V. Braun, Marc Toussaint

海报视觉语言动作/视觉语言模型规划

针对现有任务与运动规划方法在高层规划与底层控制接口上过度抽象或过于僵化、且依赖专家手工设计的局限,本文提出MOPS,将语言条件TAMP重新定义为对约束序列的元优化问题。该方法通过大语言模型程序搜索选择参数化约束,再以黑盒优化精调其连续参数,最后由梯度求解器生成轨迹,形成三层级优化闭环。在推箱与绘图等任务上的实验表明,其性能优于基于动作序列搜索和代码生成的现有方法。

Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions
CoRL 20252025-09-09

Text2Touch: Tactile In-Hand Manipulation with LLM-Designed Reward Functions

Harrison Field, Max Yang, Yijiong Lin, Efi Psomopoulou, David Barton, Nathan F. Lepora

School of Computer Science, University of Bristol;Bristol Robotics Laboratory;School of Engineering Mathematics and Technology, University of Bristol

海报操作触觉强化学习

现有LLM自动设计奖励函数的研究尚未覆盖触觉感知,而触觉对灵巧操作至关重要。本文提出Text2Touch,首次将LLM生成的奖励函数引入真实世界的视觉触觉感知多轴手中物体旋转任务。通过可扩展至七十余个环境变量的提示工程策略,结合教师-学生蒸馏实现从仿真到现实的迁移。实验表明,在四指灵巧手上,LLM设计的奖励函数不仅比人工基线更简短,还显著提升了旋转速度与稳定性,验证了LLM加速多模态触觉技能开发的可行性。

Multi-Loco: Unifying Multi-Embodiment Legged Locomotion via Reinforcement Learning Augmented Diffusion
CoRL 20252025-06-13

Multi-Loco: Unifying Multi-Embodiment Legged Locomotion via Reinforcement Learning Augmented Diffusion

Shunpeng Yang, Zhen Fu, Zhefeng Cao, Junde Guo, Patrick Wensing, Wei Zhang, Hua Chen

Southern University of Science and Technology;China. University of Notre Dame, United States;Zhejiang University-University of Illinois Urbana-Champaign Institute, China

海报扩散/流模型触觉强化学习移动/足式机器人

针对腿式机器人形态各异导致运动策略难以跨平台泛化的问题,本文提出Multi-Loco框架,将形态无关的扩散模型与共享的残差强化学习策略相结合:扩散模型通过零填充与掩码分数匹配从跨形态数据中提取不变运动模式,残差策略则在线细化动作以弥合sim2real差距。该统一策略在双足、轮式双足、人形及四足机器人上实现零样本部署,仿真中相比PPO平均回报提升10.35%,并在草地、斜坡、碎石等真实复杂地形上展现出鲁棒的运动能力。

SimShear: Sim-to-Real Shear-based Tactile Servoing
CoRL 20252025-08-28

SimShear: Sim-to-Real Shear-based Tactile Servoing

Kipp McAdam Freud, Yijiong Lin, Nathan F. Lepora

School of Engineering Mathematics and Technology, University of Bristol;Bristol Robotics Laboratory, University of Bristol

海报仿真到现实触觉

现有触觉sim-to-real方法因刚性体仿真器难以显式建模剪切力,通常依赖计算昂贵的real-to-sim管线,限制了动态接触任务。本文提出SimShear框架,以剪切条件化U-Net GAN(shPix2pix)将无剪切的仿真触觉图像与剪切向量转化为含剪切形变的真实感图像,再训练GDNN估计位姿与剪切。在双机械臂触觉跟踪与协同搬运任务中,接触误差控制在1–2 mm,验证了无需显式建模剪切动力学即可实现零样本sim-to-real剪切伺服。

Focusing on What Matters: Object-Agent-centric Tokenization for Vision Language Action models
CoRL 20252025-09-28

Focusing on What Matters: Object-Agent-centric Tokenization for Vision Language Action models

Rokas Bendikas, Daniel Dijkman

Centre for Artificial Intelligence, UCL

海报视觉语言动作/视觉语言模型

当前VLA模型将图像密集切分为数百个patch,导致训练成本高昂。本文认为机器人执行任务时只需关注场景物体与自身末端执行器,背景信息可大幅压缩。为此提出Oat-VLA,通过FT-Dinosaur提取7个物体中心token,并辅以夹爪周围9个patch组成的机器人中心token,将视觉token从256个骤降至16个。实验表明,该方法在LIBERO基准上收敛速度较OpenVLA提升2倍以上,真实场景抓取放置任务成功率亦更优,且显存占用显著降低。

AT-Drone: Benchmarking Adaptive Teaming in Multi-Drone Pursuit
CoRL 20252025-05-02

AT-Drone: Benchmarking Adaptive Teaming in Multi-Drone Pursuit

Multi-Drone Pursuit, Yang Li, Junfan Chen, Feng Xue, Jiabin Qiu, Wenbin Li, Qingrui Zhang, Ying Wen, Wei Pan

University of Manchester; Shanghai Jiao Tong University;Sun Yat-sen University; Nanjing University

海报数据集/基准

现有自适应协作研究多局限于离散动作空间的虚拟游戏,缺乏面向真实多机器人场景的系统性基准。本文提出AT-Drone,首个专门针对多无人机追捕任务的自适应协作基准,包含可配置的仿真环境、从仿真到真实Crazyflie无人机的部署流程,并首次将多种自适应协作算法拓展至多追捕者多逃逸者的连续动作空间设置。实验表明,该基准在四种难度递增的追捕场景中有效促进了自适应协作策略的训练与评估,且通过真实无人机部署验证了其工程可行性。

Uncertainty-Aware Scene Understanding via Efficient Sampling-Free Confidence Estimation
CoRL 20252025-05-13

Uncertainty-Aware Scene Understanding via Efficient Sampling-Free Confidence Estimation

Hanieh Shojaei Miandashti, Qianqian Zou, Claus Brenner

Institute of Cartography and Geoinformatics;Leibniz University Hannover, Germany

海报机器人学习

现有自动驾驶场景理解方法多聚焦认知不确定性,却忽视了LiDAR数据中由传感器噪声等导致的偶然不确定性,且传统温度缩放在类别重叠严重时失效。本文提出一种无需采样的置信度估计方法,将各类别logit显式建模为高斯分布以刻画偶然不确定性,并推导了多分类置信度计算的闭式下界,避免了蒙特卡洛采样的高昂开销。在SemanticKITTI上的实验表明,该方法将RangeViT与SalsaNext的ACE分别降至1.70%与1.33%,推理速度较基线提升一个数量级以上,且倾向于产生欠自信而非过度自信的预测。

ObjectReact: Learning Object-Relative Control for Visual Navigation
CoRL 20252025-09-11

ObjectReact: Learning Object-Relative Control for Visual Navigation

Visual Navigation, Sourav Garg, Dustin Craggs, Vineeth Bhat, Lachlan Mares, Stefan Podgorski, Madhava Krishna, Feras Dayoub, Ian Reid, 2IIIT Hyderabad

University of Adelaide, Australia

海报移动/足式机器人

现有视觉拓扑导航的图像相对控制严格绑定机器人姿态与 embodiment,难以适应新路线与跨平台部署。本文提出物体相对控制范式,构建基于相对三维场景图的拓扑度量地图,并训练局部控制器 ObjectReact,直接依据物体分割掩码与路径长度生成的高层“WayObject Costmap”预测控制,摆脱对显式子目标图像的依赖。实验显示,该方法在传感器高度变化及模仿、捷径、反向等挑战性任务中优于图像相对方法,且纯仿真策略可零样本泛化到真实室内环境。

Decentralized Aerial Manipulation of a Cable-Suspended Load Using Multi-Agent Reinforcement Learning
CoRL 20252025-11-05

Decentralized Aerial Manipulation of a Cable-Suspended Load Using Multi-Agent Reinforcement Learning

Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun

Delft University of Technology;NYU Tandon School of Engineering

海报操作触觉强化学习多智能体

现有集中式多无人机吊挂负载控制存在计算复杂度随规模指数增长、依赖全局通信等瓶颈。本文提出首个基于多智能体强化学习的完全去中心化方案,各无人机仅依据自身状态与负载位姿即可隐式协同,无需机间通信;通过设计基于线性加速度与机体角速度的动作空间,并结合增量非线性动态逆低级控制器,实现了高动态场景下的零样本 sim-to-real 迁移。真实实验表明,该方法在六自由度全姿态跟踪精度上可比肩集中式 NMPC,且对负载模型不确定性、异构控制器混编以及单机完全失效均表现出强鲁棒性。

ReasonPlan: Unified Scene Prediction and Decision Reasoning for Closed-loop Autonomous Driving
CoRL 20252025-09-22

ReasonPlan: Unified Scene Prediction and Decision Reasoning for Closed-loop Autonomous Driving

Xueyi Liu, Zuodong Zhong, Junli Wang, Yuxin Guo, Zhiguo Su, Qichao Zhang, Yun-Fu Liu, Yinfeng Gao, Yupeng Zheng, Qiao Lin, Huiyong Chen, Dongbin Zhao

SKL-MAIS, Institute of Automation, Chinese Academy of Sciences, Beijing, China;School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China;School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing, China

海报机器人学习

针对端到端自动驾驶在闭环环境中易遭遇因果混淆与分布外泛化不足的痛点,现有基于多模态大语言模型的方法尚未在闭环评测中显著超越模仿学习基线。本文提出ReasonPlan框架,以自监督的下一场景预测任务显式约束视觉表征,并引入监督式决策思维链将视觉感知与因果决策深度融合;同时构建了面向闭环规划的PDR数据集(21万样本)以自动化标注完整决策推理链路。实验表明,该方法在Bench2Drive闭环基准上将L2误差降低16.44%、驾驶评分提升16.1分,并在unseen的DOS数据集上展现出对复杂Corner Case的零样本泛化能力。

Embrace Contacts: humanoid shadowing with full body ground contacts
CoRL 20252025-02-03

Embrace Contacts: humanoid shadowing with full body ground contacts

Ziwen Zhuang, Hang Zhao

Tsinghua University;Shanghai Qi Zhi Institute

海报人形机器人

传统人形机器人研究多将其视为双足移动平台,仅允许手脚接触环境,限制了机器人在坐、躺、起身及翻滚等全身交互场景中的潜能。本文提出一种通用全身运动框架,通过关键帧运动指令与Transformer编码器统一描述极端姿态,并引入多critic优势混合机制与适应任意基座朝向的终止条件,在GPU加速仿真中训练全身接触不可知的控制策略。实验表明,该策略可零样本部署到真实机器人,成功完成地面起身、躯干着地翻滚等高难度全身接触动作。

Distilling for Long-Horizon Prehensile and Non-Prehensile Manipulation
CoRL 20252025-05-07

Distilling for Long-Horizon Prehensile and Non-Prehensile Manipulation

Haewon Jung, Donguk Lee, Haecheol Park, JunHyeop Kim, Beomjoon Kim

Korea Advanced Institute of Science and Technology (KAIST);@kaist.ac.kr

海报操作

现有机器人在长程抓握-非抓握混合操作中面临探索困难与在线规划耗时的问题。本文提出SPIN框架,通过Skill-RRT规划器生成技能序列与中间子目标,并设计连接器策略弥合独立训练技能间的状态转移间隙;进一步利用噪声回放过滤低质量轨迹,将规划方案蒸馏为扩散策略。该方法完全在仿真中训练,可零样本部署至真实机器人,在三项复杂长程任务中取得逾80%的成功率,并超越当前先进的分层强化学习与规划基线。

Constraint-Aware Diffusion Guidance for Robotics: Real-Time Obstacle Avoidance for Autonomous Racing
CoRL 20252025-05-19

Constraint-Aware Diffusion Guidance for Robotics: Real-Time Obstacle Avoidance for Autonomous Racing

Hao Ma, Sabrina Bodmer, Andrea Carron, Melanie Zeilinger, Michael Muehlebach

海报扩散/流模型

现有扩散模型在机器人行为学习中缺乏显式约束意识,难以保障安全关键任务的安全性。本文提出约束感知扩散引导框架CoDiG,将障碍函数梯度直接嵌入反向扩散的score更新中,无需外部分类器或投影即可持续引导采样远离不安全区域,并结合warm-start策略实现实时推理。在真实微型赛车平台上的实验表明,CoDiG在动态环境下能够以极少专家数据实现高效、安全的实时避障。

Learning Impact-Rich Rotational Maneuvers via Centroidal Velocity Rewards and Sim-to-Real Techniques: A One-Leg Hopper Flip Case Study
CoRL 20252025-08-26

Learning Impact-Rich Rotational Maneuvers via Centroidal Velocity Rewards and Sim-to-Real Techniques: A One-Leg Hopper Flip Case Study

Dongyun Kang, Gijeong Kim, JongHun Choe, Hajun Kim, Hae-Won Park

Korea Advanced Institute of Science and Technology (KAIST)

海报仿真到现实强化学习

动态旋转动作(如前空翻)伴随剧烈冲击与极限扭矩需求,传统连杆级奖励易被内部关节运动欺骗而难以驱动真正的全身旋转,且高能量动作极易因仿真与现实的执行器差异或冲击过载导致硬件损毁。为此,作者提出以质心角速度奖励准确刻画系统整体旋转动力学,并引入电机运行区域建模与传动负载正则化,在训练阶段即约束扭矩可行域并抑制危险冲击力。最终,在仅具单足且无辅助肢的最小三自由度单腿跳跃器上,首次成功实现了硬件前空翻,验证了该方法在严苛驱动与结构约束下的可靠性。

LodeStar: Long-horizon Dexterity via Synthetic Data Augmentation from Human Demonstrations
CoRL 20252025-08-24

LodeStar: Long-horizon Dexterity via Synthetic Data Augmentation from Human Demonstrations

Weikang Wan, Jiawei Fu, Xiaodi Yuan, Yifeng Zhu, Hao Su

University of California San Diego;The University of Texas at Austin

海报操作模仿学习

针对长程灵巧操作数据采集昂贵且技能串联易受分布偏移影响的问题,本文提出LodeStar框架:利用视觉基础模型自动将少量人类演示分解为语义技能与过渡动作,在仿真中通过残差强化学习生成多样化合成数据以强化各技能,并训练Skill Routing Transformer策略实现长程任务的无缝组合。在三个真实世界复杂操作任务上,该方法平均将成功率提升25%,达到最优基线的约2倍。

Imitation Learning Based on Disentangled Representation Learning of Behavioral Characteristics
CoRL 20252025-09-05

Imitation Learning Based on Disentangled Representation Learning of Behavioral Characteristics

Ryoga Oishi, Sho Sakaino, Toshiaki Tsuji

Saitama University;University of Tsukuba

海报模仿学习

现有方法多聚焦高层任务选择,难以在线细粒度调节运动连续参数。针对“用力”“快速”等定性修饰指令的实时跟随需求,本文提出基于解耦表示学习的在线模仿学习方法:将示教分割为短序列并赋予弱监督标签,约束潜在空间建立修饰指令与动作的对应关系,同时借鉴Action Chunking机制加权平滑预测序列以实现在线生成。在擦拭与抓取放置任务中,该方法能在执行过程中根据修饰指令实时调整运动,克服了传统批次方法无法在线自适应的局限。

Motion Priors Reimagined: Adapting Flat-Terrain Skills for Complex Quadruped Mobility
CoRL 20252025-08-29

Motion Priors Reimagined: Adapting Flat-Terrain Skills for Complex Quadruped Mobility

Zewei Zhang, Chenhao Li, Takahiro Miki, Marco Hutter

Department of Mechanical Engineering, EPFL;ETH AI Center, ETH Zurich;Robotic Systems Lab, ETH Zurich

海报移动/足式机器人

针对运动模仿策略受限于参考数据分布、难以泛化至与训练环境差异大的复杂地形这一问题,本文提出一种分层强化学习框架:先用原始重定向的动物平地运动数据预训练低层运动先验,再通过高层目标条件策略学习残差修正,将平地技能迁移至崎岖地形,统一实现感知运动与局部导航。仿真表明残差修正可在保留动物运动风格的同时渐进适应复杂地形,并改善运动正则化;ANYmal-D机器人硬件实验验证了该策略在楼梯、随机方块及高障碍等真实复杂环境中具备平滑高效的动物般运动能力与局部导航性能。

Sequence Modeling for Time-Optimal Quadrotor Trajectory Optimization with Sampling-based Robustness Analysis
CoRL 20252025-06-16

Sequence Modeling for Time-Optimal Quadrotor Trajectory Optimization with Sampling-based Robustness Analysis

Robustness Analysis, Katherine Mao, Hongzhan Yu, Ruipeng Zhang, Igor Spasojevic, M Ani Hsieh, Sicun Gao, and Vijay Kumar

University of Pennsylvania;University of California San Diego

海报规划

针对四旋翼时间最优轨迹优化中非凸问题计算昂贵、难以实时求解的痛点,该工作提出一种模仿学习框架,以LSTM编码器-解码器学习基于模型的规划器TOPPQuad,仅预测平方速度剖面与偏航角余弦这两个最小必要变量来重建轨迹,并引入基于采样的后向可达管鲁棒性分析与路径扰动数据增强策略。实验表明,该方法在保持近优性能的同时显著加速计算,并在真实平台上验证了实时可行性与对未见过路径长度的泛化能力。

HALO: Human Preference Aligned Offline Reward Learning for Robot Navigation
CoRL 20252025-08-03

HALO: Human Preference Aligned Offline Reward Learning for Robot Navigation

Gershom Seneviratne, Jianyu An, Sahire Ellahy, Kasun Weerakoon, Mohamed Bashir Elnoor, Jonathan Deepak Kannan, Amogha Thalihalla Sunil, Dinesh Manocha

University of Maryland, College Park

海报强化学习移动/足式机器人

针对视觉导航中手工奖励设计困难且大模型难以边缘部署的问题,本文提出HALO:一种基于人类偏好的离线奖励学习框架。该方法通过二元查询收集人类对导航动作的偏好,以Plackett-Luce损失训练奖励模型,并设计动作条件的单应性轨迹掩码聚合视觉特征,将人类直觉转化为实时标量奖励。所得奖励既可直接用于离线策略学习,也可增强MPC规划器。在Clearpath Husky上的真实世界实验表明,该方法在未见环境中成功率提升逾33.3%,轨迹缩短12.9%,且能在笔记本上以约50Hz实时运行。

RoboMonkey: Scaling Test-Time Sampling and Verification for Vision-Language-Action Models
CoRL 20252025-07-07

RoboMonkey: Scaling Test-Time Sampling and Verification for Vision-Language-Action Models

Jacky Kwok, Christopher Agia, Rohan Sinha, Matt Foutter, Shulu Li, Ion Stoica, Azalia Mirhoseini, Marco Pavone

Stanford University;UC Berkeley;NVIDIA Research

海报视觉语言动作/视觉语言模型

针对VLA模型在真实环境部署时鲁棒性不足的问题,本文首次发现动作误差与采样数之间存在推理时间幂律扩展关系,据此提出RoboMonkey测试时扩展框架:通过对VLA采样动作施加高斯扰动与多数投票构建提议分布,再由基于VLM的验证器筛选最优动作,并设计了可扩展的合成偏好数据流水线训练该验证器。实验表明,该框架使现有VLA在分布外任务上绝对提升25%、分布内提升9%,且联合微调验证器相比仅微调VLA可再提升7%。

Constraint-Preserving Data Generation for One-Shot Visuomotor Policy Generalization
CoRL 20252025-08-05

Constraint-Preserving Data Generation for One-Shot Visuomotor Policy Generalization

Kevin Lin, Varun Ragunath, Andrew McAlinden, Aaditya Prasad, Jimmy Wu, Yuke Zhu, Jeannette Bohg

Stanford University;University of Texas at Austin;Princeton University

海报模仿学习

针对机器人模仿学习中大规模演示数据采集成本高昂、现有数据增强方法仅能通过SE(3)变换生成新姿态而无法适应物体几何形状变化的问题,本文提出Constraint-Preserving Data Generation(CP-Gen)。其核心洞察是将专家演示中的技能段建模为关键点-轨迹约束,使机器人或被抓物体上的关键点跟踪相对于任务相关物体定义的参考轨迹,从而能够对物体几何和姿态同时进行采样变换并生成符合约束的新演示。实验表明,在16项仿真任务和4项真实任务中,基于CP-Gen训练的策略平均成功率达77%,显著优于基线的50%,并实现了零样本仿真到现实的迁移。

Hand-Eye Autonomous Delivery: Learning Humanoid Navigation, Locomotion and Reaching
CoRL 20252025-08-07

Hand-Eye Autonomous Delivery: Learning Humanoid Navigation, Locomotion and Reaching

Sirui Chen, Yufei Ye, Zi-ang Cao, Jennifer Lew, Pei Xu, C. Karen Liu

Stanford University

海报人形机器人移动/足式机器人

针对现有人形机器人导航与抓取往往分离上下肢、缺乏协调的问题,该研究提出模块化框架HEAD,解耦第一人称视觉感知与全身控制:高层策略基于Aria眼镜采集的人类数据预测头手目标位姿,低层控制器利用大规模人体动捕数据,通过对抗模仿强化学习跟踪头与双手的稀疏位姿,并采用分离的上下肢判别器促进全身协调。该文在仿真与真实世界(Unitree G1)中验证,系统在带障碍物的复杂室内环境达到71%的导航抓取成功率。

FLARE: Robot Learning with Implicit World Modeling
CoRL 20252025-05-21

FLARE: Robot Learning with Implicit World Modeling

Ruijie Zheng, Jing Wang, Scott Reed, Johan Bjorck, Yu Fang, Fengyuan Hu, Joel Jang, Kaushil Kundalia, Zongyu Lin, Loic Magne, Avnish Narayan, You Liang Tan, Guanzhi Wang, Qi Wang, Jiannan Xiang, Yinzhen Xu, Seonghyeon Ye, Jan Kautz, Furong Huang, Yuke Zhu, Linxi Fan

NVIDIA;University of Maryland, College Park;Nanyang Technological University;University of Texas, Austin

海报机器人学习

现有方法通过生成未来视觉帧进行世界建模,成本高且与动作预测争用模型容量。FLARE仅在扩散Transformer中引入少量future token,将去噪网络隐藏状态与未来观测的紧凑潜嵌入对齐,实现轻量隐式世界建模。该方法在单臂和人形桌面操作基准上取得SOTA,提升最多26%;在真实GR1人形机器人上仅用少量轨迹微调即达95%成功率,并可用无动作标签的人类第一人称视频联合训练,显著提升对新物体的泛化。

From Real World to Logic and Back: Learning Generalizable Relational Concepts For Long Horizon Robot Planning
CoRL 20252025-10-03

From Real World to Logic and Back: Learning Generalizable Relational Concepts For Long Horizon Robot Planning

Naman Shah, Jayesh Nagpal, and Siddharth Srivastava

School of Computing and Augmented Intelligence;Arizona State University, USA;Department of Computer Science;Brown University, USA

海报规划

现有机器人在长时程任务泛化上仍受限,主要因缺乏从原始经验自动提取可迁移抽象概念的能力。本文提出首个无需人工标注或先验动作知识、直接从原始未分割运动学轨迹中自主学习符号化关系概念与逻辑世界模型的方法,并自动生成高层动作及其位姿细化器。实验表明,该方法在模拟与真实移动操作场景中,能以零样本方式解决训练时未见过的复杂任务,物体数量可扩展至训练时的18倍,且性能媲美手工设计符号模型。

NeuralSVCD for Efficient Swept Volume Collision Detection
CoRL 20252025-08-30

NeuralSVCD for Efficient Swept Volume Collision Detection

Dongwon Son, Hojin Jung, Beomjoon Kim

Korea Advanced Institute of Science and Technology (KAIST);@kaist.ac.kr

海报规划

传统运动规划的离散碰撞检测易因采样稀疏而产生漏检,现有扫掠体积碰撞检测(SVCD)方法在效率与精度间难以兼顾。本文提出NeuralSVCD,利用形状局部性与时间局部性,将物体几何编码为分布式局部潜在表示,并通过球体粗筛定位关键轨迹片段,再由神经解码器预测碰撞与穿透深度。实验表明,该方法在检测精度和运行速度上均优于现有SVCD基线,且集成到cuRobo后可在多个复杂操作任务中实现更高的规划成功率与更短的计算时间。

MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention
CoRL 20252025-10-24

MEReQ: Max-Ent Residual-Q Inverse RL for Sample-Efficient Alignment from Intervention

Yuxin Chen, Chen Tang, Jianglan Wei, Chenran Li, Ran Tian, Xiang Zhang, Wei Zhan, Peter Stone, Masayoshi Tomizuka

University of California, Berkeley;The University of Texas at Austin

海报强化学习

现有基于人类干预的交互式模仿学习方法往往忽略对先验策略的有效利用,导致样本效率低下并引发灾难性遗忘。本文提出MEReQ,其核心洞察在于无需推断完整的人类奖励函数,而是通过最大熵逆强化学习仅估计人类专家与先验策略之间的残差奖励,并基于Residual Q-Learning对先验策略进行高效微调。该方法在仿真与真实机器人任务中均展现出显著的样本效率优势,能够以更少的人类干预次数完成策略对齐。

Joint Model-based Model-free Diffusion for Planning with Constraints
CoRL 20252025-09-11

Joint Model-based Model-free Diffusion for Planning with Constraints

Wonsuhk Jung, Utkarsh A. Mishra, Nadun Ranawaka Arachchige, Yongxin Chen, Danfei Xu, Shreyas Kousik

Georgia Institute of Technology, Atlanta, GA, USA

海报扩散/流模型规划

现有扩散规划器虽能生成多模态轨迹,但与基于模型的安全或约束优化模块简单叠加时,双方输出常互相抵触,导致性能下降或安全保证受损。本文提出JM2D框架,将无模型扩散与基于模型优化视为联合采样问题,通过交互势实现双向对齐,无需额外训练即可兼容非凸、非可微约束。在离线RL与机器人操作任务中的实验表明,该方法在严格满足安全约束的同时显著优于传统顺序校正方法。

DEQ-MPC : Deep Equilibrium Model Predictive Control
CoRL 20252025

DEQ-MPC : Deep Equilibrium Model Predictive Control

Swaminathan Gurumurthy, Khai Nguyen, Arun L Bishop, J Zico Kolter, Zachary Manchester

Carnegie Mellon University

海报机器人学习

现有可微分MPC层通常将优化求解器与神经网络割裂处理,未能充分利用MPC迭代求解与热启动的特性。本文提出DEQ-MPC,将网络推断与MPC优化建模为联合不动点问题,通过交替迭代网络前向传播与优化求解直至收敛,实现求解器与网络的深度耦合。该方法在多种机器人连续控制任务中展现出更丰富的表征能力、更平滑的梯度和更稳定的训练,并天然支持时序热启动,在轨迹预测与跟踪任务中验证了优势。

CUPID: Curating Data your Robot Loves with Influence Functions
CoRL 20252025-09-23

CUPID: Curating Data your Robot Loves with Influence Functions

with Influence Functions, Christopher Agia, Rohan Sinha, Jingyun Yang, Rika Antonova, Marco Pavone, Haruki Nishimura, Masha Itkina, Jeannette Bohg

Stanford University;University of Cambridge;NVIDIA Research;Toyota Research Institute

海报机器人学习

针对机器人模仿学习中现有方法依赖与任务无关的质量启发式、难以精确衡量单条演示对下游闭环性能影响的问题,本文提出CUPID,利用影响函数直接估计每条训练演示对策略期望回报的因果影响,将数据筛选从静态质量评估转为基于性能归因的动态选择。在模拟与真机实验中,仅使用不到33%的精选数据即可在RoboMimic上达到SOTA扩散策略性能,并能识别分布偏移下的鲁棒策略、剥离数据中的虚假相关性。

Eye, Robot: Learning to Look to Act with a BC-RL Perception-Action Loop
CoRL 20252025-09-15

Eye, Robot: Learning to Look to Act with a BC-RL Perception-Action Loop

Justin Kerr, Kush Hari, Ethan Weber, Chung Min Kim, Brent Yi, Tyler Bonnen, Ken Goldberg, Angjoo Kanazawa

海报强化学习感知

受生物视觉“感知为行动”原则启发,该研究使机器人通过主动凝视辅助操作。核心创新是一个BC-RL协同训练框架:机械眼球的凝视策略通过强化学习优化,并以行为克隆臂代理的成功率为奖励信号,无需任何凝视示范即可涌现出手眼协调能力;配合中央凹Transformer架构,在较小计算成本下实现高分辨率注视与宽视野覆盖。实验在五个大范围全景工作空间任务中表明,EyeRobot能自主完成目标搜索、任务阶段间凝视切换和动态独立跟踪,成功率与精度优于固定外部相机和腕部相机。

Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models
CoRL 20252025-09-11

Imagine, Verify, Execute: Memory-guided Agentic Exploration with Vision-Language Models

Seungjae Leea, Daniel Ekpoa, Haowen Liua, Furong Huanga, Abhinav Shrivastavaa, Jia-Bin Huanga

a University of Maryland, College Park, b Capital One

海报视觉语言动作/视觉语言模型

传统RL探索在真实机器人环境中常因缺乏语义理解与物理约束而低效且危险,而VLM的想象又往往脱离物理现实并缺乏记忆。为此,本文提出IVE框架,通过场景图抽象观测,以VLM驱动“想象—验证—执行”闭环:想象新场景配置,验证物理可行性,再调用动作工具执行。在模拟与真实桌面环境中,IVE将访问状态的熵提升4.1至7.8倍,所采集数据无需外部奖励或人工演示即可支持下游策略学习,其性能接近甚至超过基于人工演示训练的策略。

Dynamics-Compliant Trajectory Diffusion for Super-Nominal Payload Manipulation
CoRL 20252025-08-29

Dynamics-Compliant Trajectory Diffusion for Super-Nominal Payload Manipulation

Anuj Pasricha, Joewie Koh, Jay Vakil, Alessandro Roncone

Department of Computer Science;University of Colorado Boulder

海报操作扩散/流模型规划

工业机械臂的额定负载常按最坏情况保守制定,导致硬件能力被严重低估与过度配置。本文提出一种基于去噪扩散模型的轨迹生成方法,在关节角度、速度和加速度空间中联合学习同时满足几何与动态约束的分布,将负载条件显式嵌入规划,实现恒定时间(约10毫秒)生成可直接执行的动态可行轨迹。实验表明,7自由度Franka机器人在三倍额定负载下仍可保持67.6%的工作空间可达性,显著拓展了操作边界。

CoRI: Communication of Robot Intent for Physical Human-Robot Interaction
CoRL 20252025-08-29

CoRI: Communication of Robot Intent for Physical Human-Robot Interaction

Physical Human-Robot Interaction, Junxiang Wang, Emek Barıs¸ K¨uc¸ ¨uktabak, Rana Soltani Zarrin, Zackory Erickson

Carnegie Mellon University;Honda Research Institute USA

海报机器人学习

针对物理辅助场景中人机意图不透明的问题,本文提出CoRI框架,无需任务先验,仅依据机器人视觉观测与含动力学的三维运动规划,通过将轨迹编码为视觉提示并借助视觉语言模型与大语言模型推理,生成涵盖高级目标、运动细节及所需用户配合的自然语言描述。在辅助洗澡、喂食和剃须任务的两类机器人用户研究中,CoRI相比脚本基线与无沟通策略显著提升了用户对机器人意图的理解与交互清晰度,且生成描述与真实意图的一致性接近理论上限。

KoopMotion: Learning Almost Divergence Free Koopman Flow Fields for Motion Planning
CoRL 20252025-11-12

KoopMotion: Learning Almost Divergence Free Koopman Flow Fields for Motion Planning

Alice Kate Li, Thales C. Silva, Victoria Edwards, Vijay Kumar, M. Ani Hsieh

GRASP Laboratory;University of Pennsylvania, United States

海报规划

针对Koopman算子理论难以保证轨迹收敛到目标点的问题,本文提出KoopMotion,将运动流场表示为Koopman参数化的动态系统,以可学习的傅里叶特征作提升函数,并设计几乎无散度与目标收敛两种新损失,使机器人从任意初始状态光滑收敛至参考轨迹及终点。在LASA数据集上仅需3%样本即可生成稠密规划,500个域外初始条件全部收敛至目标,时空对齐指标SEA显著优于基线,并在非静态水流环境中的微型自主水面艇上完成物理验证。

Learning Smooth State-Dependent Traversability from Dense Point Clouds
CoRL 20252025-09-29

Learning Smooth State-Dependent Traversability from Dense Point Clouds

Zihao Dong, Alan Papalia, Leonard Jung, Alenna Spiro, Philip R. Osteen, Christa S. Robison, Michael Everett

Northeastern University;University of Michigan, Ann Arbor;DEVCOM Army Research Laboratory (ARL)

海报规划感知

越野自主导航中,地形可通行性往往依赖于机器人的接近角,但将角度直接编码为网络输入会导致训练数据需求高且规划时推理开销大。为此,作者提出SPARTA,从密集点云直接预测一个由傅里叶基函数构成的光滑解析函数,该函数定义在角度空间上,可对任意接近角的风险分布进行高效查询,并利用其周期性与光滑性提升泛化能力。实验表明,该方法在高保真仿真中穿越40米巨石场的成功率达91%,优于基线的73%,且在真实硬件上展现出良好的泛化性能。

Leveraging Correlation Across Test Platforms for Variance-Reduced Metric Estimation
CoRL 20252025-09-03

Leveraging Correlation Across Test Platforms for Variance-Reduced Metric Estimation

Rachel Luo, Heng Yang, Michael Watson, Apoorva Sharma, Sushant Veer, Edward Schmerling, Marco Pavone

NVIDIA;Harvard University;Stanford University;@nvidia.com

海报数据集/基准

真实世界机器人系统验证成本高昂且样本稀缺,难以获得高置信度的性能指标估计。本文提出Sim2Val框架,通过跨平台配对数据学习度量相关函数,将廉价仿真或日志数据与真实观测对齐,并将其作为控制变量融入蒙特卡洛估计,从而在不增加真实样本的前提下显著降低估计方差。在自动驾驶nuPlan开环辅助闭环估计及四足机器人任务中,该方法相较标准蒙特卡洛基线实现了显著方差缩减,在部分指标上降低达35%,有效减轻了真实世界测试负担。

Agreement Volatility: A Second-Order Metric for Uncertainty Quantification in Surgical Robot Learning
CoRL 20252025

Agreement Volatility: A Second-Order Metric for Uncertainty Quantification in Surgical Robot Learning

Jordan Thompson, Britton Jordan, Daniel S. Brown, and Alan Kuntz

海报机器人学习

现有手术机器人在软组织操作中面临组织几何与刚度变化带来的分布外风险。本文提出二阶指标“agreement volatility”,度量集成模型一致性对输入扰动的敏感度,并构建VAD-Net系统,将其与集成方差结合,通过SVM策略实现风险感知的人机控制权交接。在dVRK物理实验中,该方法较仅用方差的基线降低了10%的人为干预依赖并提高了任务成功率,同时可生成点云空间不确定性图以归因几何区域的影响。

Sample-Efficient Online Control Policy Learning with Real-Time Recursive Model Updates
CoRL 20252025-09-10

Sample-Efficient Online Control Policy Learning with Real-Time Recursive Model Updates

Zixin Zhang, James Avtges, Todd D. Murphey

Department of Mechanical Engineering;Northwestern University, United States

海报机器人学习

针对硬件上数据与计算资源受限而现有数据驱动方法样本效率低、难以实时更新模型的痛点,本文提出递归Koopman学习(RKL),将Koopman理论、EDMD与递归最小二乘法结合,实现了计算复杂度与数据集规模无关的实时在线模型更新与控制策略学习,并首次给出了马尔可夫链连续数据增长下EDMD与RLS收敛的充分条件。实验表明,该方法在模拟二连杆臂上仅用不到5%的数据即超越强化学习基准,在软体机器人硬件上仅用1分20秒便达到远超SotA强化学习算法(耗时近3小时)的控制性能。

Lucid-XR: An Extended-Reality Data Engine for Robotic Manipulation
CoRL 20252026-04-30

Lucid-XR: An Extended-Reality Data Engine for Robotic Manipulation

Yajvan Ravan, Adam Rashid, Alan Yu, Kai McClennen, Gio Huh, Kevin Yang, Zhutian Yang, Qinxi Yu, Xiaolong Wang, Phillip Isola, Ge Yang

MIT CSAIL;FortyFive Labs;Harvard University

海报操作

真实机器人数据稀缺且难以覆盖长尾场景,传统仿真到真实的视觉差距大。Lucid-XR将MuJoCo物理引擎编译为WebAssembly直接在XR头显浏览器运行,实现低延迟设备端仿真与互联网规模众包;通过声明式配置实现人体到异构机器人的姿态重定向;并构建物理引导的生成式视频管道,将低保真虚拟演示扩展为千万级多样化逼真多视角图像。仅用合成数据训练的视觉策略可零样本迁移至真实扫描环境的数字孪生,在杂乱、未见过、低光照条件下完成软体、颗粒及刚体接触等灵巧操作任务。

CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception
CoRL 20252026-01-12

CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception

Pranav N. Thakkar, Shubhangi Sinha, Karan Baijal, Yuhan (Anjelica) Bian, Leah Lackey, Ben Dodson, Heisen Kong, Jueun Kwon, Amber Li, Yifei Hu, Alexios Rekoutis, Tom Silver, Tapomayukh Bhattacharjee

Cornell University;Horace Mann School Multimodal in-the-wild haptic data from:

海报触觉数据集/基准感知

现有触觉数据集往往规模小、模态单一且局限于实验室环境,难以支撑真实场景下的机器人操作。本文提出低成本开源设备CLAMP,通过众包在41个家庭收集1230万条野外多模态触觉数据,覆盖5357件日常物品。基于该数据集训练的视觉-触觉感知模型,可在少量微调下泛化至新物体及三种不同机器人本体,并成功应用于垃圾分拣、遮挡取物和香蕉成熟度判别等真实任务,验证了大规模野外触觉采集对可泛化机器人操作的价值。

Distributed Upload and Active Labeling for Resource-Constrained Fleet Learning
CoRL 20252025

Distributed Upload and Active Labeling for Resource-Constrained Fleet Learning

Oguzhan Akcin, Harsh Goel, Ruihan Zhao, Sandeep P. Chinchali

The University of Texas at Austin

海报多智能体

针对真实机器人机群在带宽、本地存储和全局标注预算三重约束下的数据收集瓶颈,本文提出去中心化两阶段框架DUAL:各机器人先基于子模最大化本地筛选高信息度观测上传,云端再在标注预算下主动选择全局最优子集进行标注,并给出理论近似保证。在多种感知模态分类、自采RoadNet车载数据集、Franka机械臂物理操作及nuScenes轨迹预测任务中,DUAL在严格资源限制下持续优于基线,分类准确率最高提升31.1%,真实机器人任务完成率提升13%。

DreamGen: Unlocking Generalization in Robot Learning through Video World Models
CoRL 20252025-06-17

DreamGen: Unlocking Generalization in Robot Learning through Video World Models

Joel Jang, Seonghyeon Ye, Zongyu Lin, Jiannan Xiang, Johan Bjorck, Yu Fang, Fengyuan Hu, Spencer Huang, Kaushil Kundalia, Lin Yen-Chen, Loic Magne, Ajay Mandlekar, Avnish Narayan, You Liang Tan, Guanzhi Wang, Jing Wang, Qi Wang, Yinzhen Xu, Xiaohui Zeng, Kaiyuan Zheng, Ruijie Zheng, Ming-Yu Liu, Luke Zettlemoyer, Dieter Fox

NVIDIA;University of Washington;KAIST

海报机器人学习

针对机器人学习依赖大量人工遥操作数据的问题,本文提出DREAMGEN框架,将视频世界模型用作合成数据生成器而非规划器。通过对目标机器人微调图像到视频模型生成神经轨迹,并用逆动力学模型或潜在动作模型提取伪动作以训练视觉运动策略。实验表明,仅需单环境单任务的少量遥操作数据,即可使人形机器人在已见和未见环境中完成22种新行为,同时提出的DreamGen Bench可有效评估视频世界模型对机器人本体的适应能力。

LocoTouch: Learning Dynamic Quadrupedal Transport with Tactile Sensing
CoRL 20252025-08-30

LocoTouch: Learning Dynamic Quadrupedal Transport with Tactile Sensing

Changyi Lin, Yuxin Ray Song, Boda Huo, Mingyang Yu, Yikai Wang, Shiqi Liu, Yuxiang Yang, Wenhao Yu, Tingnan Zhang, Jie Tan, Yiyue Luo, Ding Zhao

Carnegie Mellon University;University of Washington;Google DeepMind

海报触觉移动/足式机器人感知

针对四足机器人在动态持续接触交互中的不足,本文提出LocoTouch系统,实现无需容器或固定装置的长距离运输无约束圆柱形物体。研究设计了覆盖整个背部的高密度分布式触觉传感器(含221个传感单元),并提出高效的扩展碰撞建模方法,在仿真中生成高保真触觉信号;结合两阶段学习框架与自适应步态奖励,学习出由触觉信号驱动的鲁棒、对称且频率自适应的运动策略。实验表明,该方法可零样本迁移至真实世界,稳定运输多种尺寸、重量及表面特性的日常物体,在60米长距离、不平整地形及强外部扰动下均表现鲁棒。

TopoCut: Learning Multi-Step Cutting with Spectral Rewards and Discrete Diffusion Policies
CoRL 20252025-09-24

TopoCut: Learning Multi-Step Cutting with Spectral Rewards and Discrete Diffusion Policies

Liquan Wang, Jiangjie Bian, Eric Heidden, Animesh Garg

Georgia Institute of Technology;Nvidia

海报扩散/流模型强化学习

现有机器人切割研究多限于固定轨迹的单步操作,而面向目标的多步切割仍因拓扑变化复杂、状态感知稀疏及切割质量评估困难而充满挑战。本文提出TopoCut框架,构建了基于MLS-MPM与损伤驱动拓扑发现的高保真仿真环境,并设计了基于拉普拉斯-贝尔特拉米特征分析的姿态不变谱奖励函数。进一步地,动力学感知模块预测拓扑演化并生成粒子级拓扑感知嵌入,进而驱动离散扩散策略PDDP实现目标条件多步切割。实验表明,该方法在多样的几何形状、姿态与切割目标下均展现出良好的轨迹生成能力与强泛化性。

WoMAP: World Models For Embodied Open-Vocabulary Object Localization
CoRL 20252025-06-02

WoMAP: World Models For Embodied Open-Vocabulary Object Localization

Tenny Yin, Zhiting Mei, Tao Sun, Lihan Zha, Jeremy Bao, Miyu Yamane, Emily Zhou, Ola Shorinwa, Anirudha Majumdar

Princeton University;McGill University

海报机器人学习

针对机器人在部分可观测环境中按自然语言指令主动定位开放词汇物体的挑战,现有模仿学习难以泛化且VLM缺乏物理动作落地能力。本文提出WoMAP,以高斯溅射构建无需专家演示的scalable数据生成流水线,并蒸馏开放词汇检测器的密集奖励信号训练潜空间世界模型;推理时利用该模型优化VLM的高级动作提议。实验表明,该方法在零样本定位任务中的成功率较VLM与扩散策略基线分别提升9倍与2倍以上,并在TidyBot真实平台上验证了良好的sim-to-real迁移与泛化能力。

MirrorDuo: Reflection-Consistent Visuomotor Learning from Mirrored Demonstration Pairs
CoRL 20252025

MirrorDuo: Reflection-Consistent Visuomotor Learning from Mirrored Demonstration Pairs

Zheyu Zhuang, Ruiyu Wang, Giovanni Luca Marchetti, Florian T. Pokorny, Danica Kragic

Department of Mathematics;KTH Royal Institute of Technology, Stockholm, Sweden

海报模仿学习

MirrorDuo针对视觉模仿学习中数据采集成本高、跨工作空间泛化难的问题,利用操作任务中普遍存在的反射对称性,提出了一种将RGB图像、本体感受与完整6自由度末端执行器动作进行联合镜像的通用框架。该方法通过局部坐标重参数化摆脱对相机外参的依赖,并解决了SO(3)旋转镜像带来的不连续性。作为数据增强或反射等变策略先验,它在同等数据量下显著提升双侧分布场景的性能,并能在仅提供单侧演示时,以极少甚至零个目标侧样本实现向镜像工作空间的高效迁移。

First Order Model-Based RL through Decoupled Backpropagation
CoRL 20252025-09-04

First Order Model-Based RL through Decoupled Backpropagation

Joseph Amigo, Rooholla Khorrambakht, Elliot Chane-Sane, Nicolas Mansard, Ludovic Righetti

Machines in Motion Laboratory;New York University, USA;Artificial and Natural Intelligence Toulouse Institute, Toulouse, France

海报强化学习

现有基于模型的强化学习在利用学习模型展开轨迹时存在误差累积,且许多高质量机器人模拟器难以直接提供梯度。本文提出DMO方法,将前向轨迹生成(使用高保真模拟器)与反向梯度计算(通过学习得到的可微模型)解耦,从而在无需模拟器解析梯度的情况下实现稳定高效的一阶策略优化。实验表明,该方法在多个控制基准上将样本效率提升约一个数量级(相对PPO),并减少最多20%的训练时间,且成功部署于Go2四足机器人,实现了四足与双足行走的sim-to-real迁移。

CLASS: Contrastive Learning via Action Sequence Supervision for Robot Manipulation
CoRL 20252025-08-03

CLASS: Contrastive Learning via Action Sequence Supervision for Robot Manipulation

Sung-Wook Lee, Xuhui Kang, Brandon Yang, Yen-Ling Kuo

University of Virginia

海报操作

针对行为克隆在异构演示数据(如相机位姿与物体外观变化)上过拟合单条轨迹、难以捕捉跨样本共享结构的问题,本文提出CLASS方法,利用动态时间规整计算动作序列相似度,并以此作为弱监督信号优化软InfoNCE对比损失,将具有相似未来行为的观察映射到相近的隐空间区域,从而学习更具泛化性的视觉表征。在5项模拟与3项真实机器人操作任务中,该方法在检索式控制下已展现出竞争力;更为显著的是,基于CLASS预训练的Diffusion Policy在视觉偏移场景下平均成功率达75%,而基线方法均难以取得有效表现。

Articulated Object Estimation in the Wild
CoRL 20252025-09-01

Articulated Object Estimation in the Wild

Abdelrhman Werby, Martin B¨uchner, Adrian R¨ofer, Chenguang Huang, Wolfram Burgard, Abhinav Valada

University of Freiburg;University of Stuttgart;University of Technology Nuremberg

海报机器人学习

现有铰接物体估计方法多依赖固定相机或孤立物体等受控条件,难以泛化到动态遮挡的真实场景。本文提出ArtiPoint框架,通过深度点跟踪结合因子图优化,利用人手交互先验直接从原始RGB-D视频中估计物体铰接结构与运动轨迹;并发布首个场景级野外自我中心数据集Arti4D,包含真实相机位姿与铰接标注。实验表明,该方法在野外复杂环境中优于经典与深度学习基线,显著提升了无约束条件下的铰接物体估计鲁棒性。

Multimodal Fused Learning for Solving the Generalized Traveling Salesman Problem in Robotic Task Planning
CoRL 20252026-03-20

Multimodal Fused Learning for Solving the Generalized Traveling Salesman Problem in Robotic Task Planning

Jiaqi Cheng, Mingfeng Fan, Xuefeng Zhang, Jingsong Liang, Yuhong Cao, Guohua Wu, Guillaume Adrien Sartoretti

Central South University;National University of Singapore

海报规划感知

针对移动机器人在仓储物流等场景中的多站点任务规划需求,现有方法在处理广义旅行商问题(GTSP)时或计算代价过高,或忽略全局空间布局信息。该文提出多模态融合学习框架 MMFL,通过坐标-图像构建器与自适应分辨率缩放将 GTSP 实例编码为图像,并与图拓扑信息经瓶颈交叉注意力融合,联合捕捉几何分布与连接关系。实验表明,该方法在多种规模实例上优于现有方法,并在真实移动机器人平台上验证了实时路径规划的有效性。

Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference Scoped Exploration
CoRL 20252025-09-11

Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference Scoped Exploration

Sirui Xu, Yu-Wei Chao, Liuyu Bian, Yu-Xiong Wang, Liang-Yan Gui, Wei Yang, Equal Advising

University of Illinois Urbana-Champaign;NVIDIA

海报操作

现有将人体动作捕捉数据用于机器人灵巧操作的方法多采用重定向、跟踪与残差修正的分阶段流程,容易累积误差且未能充分利用演示数据。本文提出DEXPLORE,以统一单循环优化将MoCap数据作为软参考而非硬约束,通过自适应空间范围引导机器人在参考轨迹附近进行强化学习探索,使其自主发现适配自身本体结构的操纵策略。进一步将该策略蒸馏为仅依赖单视角深度与本体感觉的视觉-技能条件生成控制器,在真实灵巧手上实现了无需运行时动作捕捉参考的闭环部署与跨物体泛化。

PrioriTouch: Adapting to User Contact Preferences for Whole-Arm Physical Human-Robot Interaction
CoRL 20252025-09-22

PrioriTouch: Adapting to User Contact Preferences for Whole-Arm Physical Human-Robot Interaction

Rishabh Madan, Jiawei Lin, Mahika Goel, Amber Li, Angchen Xie, Xiaoyu Liang, Marcus Lee, Justin Guo, Pranav N. Thakkar, Rohan Banerjee, Jose Barreiros, Kate Tsui, Tom Silver, Tapomayukh Bhattacharjee

Cornell University;Toyota Research Institute

海报触觉

全身物理人机交互中,不同身体部位往往存在相互冲突的接触力偏好,单一策略难以同时满足。本文提出PrioriTouch框架,将接触偏好学习转化为控制目标的排序问题,通过LinUCB-Rank上下文赌博机从稀疏反馈中学习优先级,并利用仿真内循环在数字孪生中安全验证策略更新,再由层次化操作空间控制执行。在模拟护理任务和真实世界多接触实验中,该方法能在保证任务性能的同时适应个体偏好;用户研究显示多数参与者认为其比基线更安全舒适。

UnPose: Uncertainty-Guided Diffusion Priors for Zero-Shot Pose Estimation
CoRL 20252025-08-21

UnPose: Uncertainty-Guided Diffusion Priors for Zero-Shot Pose Estimation

Zhaodong Jiang, Ashish Sinha, Tongtong Cao, Yuan Ren, Bingbing Liu, Binbin Xu

Huawei Noah’s Ark Lab, Canada;University of Toronto, Canada

海报扩散/流模型感知

现有6D姿态估计方法多依赖CAD模型,而无模型方法在利用扩散先验时难以处理未观测区域的几何幻觉与不可靠性。本文提出UnPose,利用多视角扩散模型生成初始3D高斯泼溅表示,并估计像素级认知不确定性;在新观测到来时,由不确定性引导自适应融合先验与传感器数据,并通过位姿图优化保证全局一致。实验表明,该方法在零样本6D姿态估计精度与3D重建质量上均优于现有方法,且已在真实机器人操作任务中得到验证。

Distilling On-device Language Models for Robot Planning with Minimal Human Intervention
CoRL 20252025-10-06

Distilling On-device Language Models for Robot Planning with Minimal Human Intervention

Zachary Ravichandran, Ignacio Hounie, Fernando Cladera, Alejandro Ribeiro, George J. Pappas, Vijay Kumar

University of Pennsylvania

海报视觉语言动作/视觉语言模型规划

现有LLM机器人规划器依赖云端模型,难以在通信不稳的户外或工业场景部署,而端侧小模型性能通常仅为GPT-4o的10%-20%。本文提出PRISM框架,无需人工标注或模拟器,通过自动合成多样化任务与环境来诱导源LLM生成计划,并以此合成数据蒸馏出可即插即用的端侧小模型。实验表明,Llama-3.2-3B经蒸馏后在映射探索、家庭辅助与操作三类任务上的成功率达到GPT-4o的93%以上,且能零样本泛化至空地异构平台与室内外环境。

Mechanistic Interpretability for Steering Vision-Language-Action Models
CoRL 20252025-08-30

Mechanistic Interpretability for Steering Vision-Language-Action Models

Bear H¨aon, Kaylene Stocking, Ian Chuang, Claire Tomlin

Department of Electrical Engineering and Computer Sciences;University of California, Berkeley

海报视觉语言动作/视觉语言模型

针对VLA模型部署中缺乏机械层面可解释性与安全控制手段的问题,该工作受LLM机械可解释性启发,首次提出在推理时直接干预VLA内部表示的框架。通过将Transformer前馈层激活投影至token嵌入空间,作者识别出与动作选择因果关联的稀疏语义方向(如速度、方向),并据此实现无需微调或环境交互的激活引导。实验表明,VLA内部超过75%的FFN神经元仍保留语义可解释性,且概念如“慢”与末端执行器速度存在因果联系;该方法在π0与OpenVLA上均实现了仿真与真实UR5机器人的零样本行为调控。

FFHFlow: Diverse and Uncertainty-Aware Dexterous Grasp Generation via Flow Variational Inference
CoRL 20252025-09-04

FFHFlow: Diverse and Uncertainty-Aware Dexterous Grasp Generation via Flow Variational Inference

Qian Feng, Jianxiang Feng, Zhaopeng Chen, Rudolph Triebel, Alois Knoll

School of Information Computation and Technology;Technical University of Munich (TUM);Institute of Robotics and Mechatronics, German Aerospace Center (DLR);Department of Informatics;Karlsruhe Institute of Technology (KIT);Aerospace Center (DLR)

海报操作

针对部分点云观测下灵巧手抓取生成中cVAE易模式坍塌、扩散模型推理慢且缺乏不确定性建模的问题,本文提出基于标准化流的深度潜变量模型FFHFlow。该方法以输入相关的Prior Flow和弹性非高斯Grasp Flow学习层次化抓取流形,克服简单先验与似然限制;并利用流的精确似然显式量化视角不确定性与OOD物体不确定性,结合判别式评估器实现风险感知抓取排序。仿真与真实实验表明,该方法在抓取多样性和成功率上优于包括扩散模型在内的SOTA方法,且采样效率高,在杂乱和狭窄环境中表现突出。

Tool-as-Interface: Learning Robot Policies from Observing Human Tool Use
CoRL 20252025-09-14

Tool-as-Interface: Learning Robot Policies from Observing Human Tool Use

Observing Human Tool Use, Haonan Chen, Cheng Zhu, Shuijing Liu, Yunzhu Li, Katherine Driggs-Campbell, UT Austin

University of Illinois, Urbana-Champaign;Columbia University

海报模仿学习

针对机器人工具操作数据采集成本高、遥操作难以胜任动态任务的问题,本文提出通过观察人类自然使用工具的视频来训练机器人策略。该方法利用双视角RGB视频重建3D场景并通过高斯泼溅合成新视角,同时分割去除人体等本体特征并采用工具中心任务空间动作,弥合人与机器人的视角和本体差异。在钉锤、舀取、颠锅等真实任务中,该方法较遥操作扩散策略成功率提升71%,数据采集时间减少77%,且对相机与基座移动、人类扰动表现出强鲁棒性。

DiWA: Diffusion Policy Adaptation with World Models
CoRL 20252025-08-05

DiWA: Diffusion Policy Adaptation with World Models

Akshay L Chandra, Iman Nematollahi, Chenguang Huang, Tim Welschehold, Wolfram Burgard, Abhinav Valada

University of Freiburg;University of Technology Nuremberg

海报扩散/流模型

针对扩散策略在模仿学习后易受分布偏移影响、且现有在线强化学习微调需数百万次真实交互导致样本效率低下与安全性差的问题,DiWA提出在离线学习的世界模型中进行完全离线的策略微调。该方法将世界模型视为数据驱动的安全模拟器,在潜空间中生成长期想象轨迹以执行策略梯度更新,仅需约数十万条离线交互数据训练世界模型一次,即可在CALVIN基准的八项任务上提升性能,并支持零样本部署至真实机器人。

Self-supervised Learning Of Visual Pose Estimation Without Pose Labels By Classifying LED States
CoRL 20252025-09-12

Self-supervised Learning Of Visual Pose Estimation Without Pose Labels By Classifying LED States

Nicholas Carlotti, Mirko Nava, and Alessandro Giusti

All authors are with the Dalle Molle Institute for Artificial Intelligence (IDSIA), USI-SUPSI, Lugano, 6962, Switzerland . This work is supported by the Swiss National Science Foundation, grant number 213074.

海报操作感知

针对单目机器人位姿估计依赖昂贵位姿标注或精确CAD模型的痛点,该研究提出一种完全自监督的方法:训练时仅利用机器人身上多盏独立LED的开关状态作为监督信号,让成对机器人在无外部基础设施的情况下随机采集数据。模型通过解决LED状态多标签分类这一前置任务,被迫理解机器人几何结构与视角关系,从而隐式习得图像中的机器人位置、相对距离及方位角;推理时LED状态无需已知且不影响估计。实验表明,该方法在无需位姿标签和CAD先验的条件下,性能可与现有监督方法竞争,并具备跨域泛化与多机器人位姿估计能力。

Diffusion-Guided Multi-Arm Motion Planning
CoRL 20252025-09-09

Diffusion-Guided Multi-Arm Motion Planning

Viraj Parimi, Brian Williams

Massachusetts Institute of Technology

海报扩散/流模型规划

多臂运动规划因状态空间维度指数增长而难以扩展,且现有学习方法依赖大量多臂交互数据。本文提出DG-MAP,借鉴多智能体路径寻找的分解思路,训练两个条件扩散模型分别生成单臂可行轨迹与处理双臂冲突消解,从而避免对高阶多臂数据的依赖。在3至8臂的实验中,该方法仅用单双臂数据即显著优于同等数据规模的端到端学习基线,且能匹敌甚至超越使用更多臂交互数据训练的基线,成功率普遍保持在90%以上。

GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering
CoRL 20252025-09-24

GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering

Saumya Saxena✉, Blake Buchanan, Chris Paxton, Peiqi Liu, Bingqing Chen, Narunas Vaskevicius, Luigi Palmieri, Jonathan Francis, Oliver Kroemer

Carnegie Mellon University;Bosch Center for AI;@andrew.cmu.edu

海报感知

针对具身问答中语义记忆难以同时实现在线更新、紧凑表达与丰富语义的问题,本文提出GraphEQA,以实时三维度量语义场景图与任务相关图像构建多模态记忆,将视觉语言模型锚定于当前环境,并基于场景图的层次化结构实现结构化规划与语义引导探索。该方法在HM-EQA与OpenEQA仿真基准上取得了更高的成功率并显著减少了规划步数,同时在家居与办公真实场景中验证了有效性。

Enter the Mind Palace: Reasoning and Planning for Long-term Active Embodied Question Answering
CoRL 20252025-09-25

Enter the Mind Palace: Reasoning and Planning for Long-term Active Embodied Question Answering

M. Fadhil Ginting, Dong-Ki Kim, Xiangyun Meng, Andrzej Reinke, Bandi Jai Krishna, Navid Kayhani, Oriana Peltzer, David D. Fan, Amirreza Shaban, Sung-Kyun Kim, Mykel J. Kochenderfer, Ali Agha, Shayegan Omidshafiei

Stanford University

海报规划

现有具身问答方法难以在长期运行中同时利用多段历史记忆与主动探索来回答跨时间问题。本文受"记忆宫殿"启发,提出将长期经历编码为分层场景图构成的时空世界实例,并基于信息价值准则动态平衡记忆回忆与环境探索。在模拟及真实场景(含6个月、2.4公里轨迹的真实部署)中的实验表明,该方法较现有基线答案正确率提升12–28%,探索效率提高16%,并在减少77%图像检索量的同时保持性能优势。

Steerable Scene Generation with Post Training and Inference-Time Search
CoRL 20252025-08-26

Steerable Scene Generation with Post Training and Inference-Time Search

Nicholas Pfaff, Hongkai Dai, Sergey Zakharov, Shun Iwase, Russ Tedrake

Massachusetts Institute of Technology;Toyota Research Institute;Carnegie Mellon University

海报机器人学习

机器人仿真训练亟需与下游任务对齐的多样化3D场景,但满足高杂乱度等特定要求的手工场景制作成本高昂且难以扩展。本文训练了一个统一的扩散式SE(3)场景生成模型,将大规模程序化数据蒸馏为可适配的场景先验,并通过强化学习后训练、条件生成以及新颖的基于MCTS的推理时搜索三种策略,把生成分布灵活地引导至特定下游目标。实验表明,该方法在五种场景类型中均能产生物理可行、可直接用于机器人数据收集的场景,后训练显著提升了杂乱度等指标,推理时搜索无需重训练即可优化任务奖励,并在KUKA iiwa机器人的遥操作交互中得到了验证。

RICL: Adding In-Context Adaptability to Pre-Trained Vision-Language-Action Models
CoRL 20252025-08-04

RICL: Adding In-Context Adaptability to Pre-Trained Vision-Language-Action Models

Kaustubh Sridhar, Souradeep Dutta, Dinesh Jayaraman, Insup Lee

University of Pennsylvania;University of British Columbia

海报视觉语言动作/视觉语言模型

现有视觉-语言-动作(VLA)模型虽能泛化到新任务,却缺乏大语言模型那样的上下文学习能力,导致用户只能通过参数微调来教授新技能。本文提出RICL,通过针对性的二次训练将检索增强的上下文学习能力注入预训练VLA。在π0-FAST上的实验表明,仅需10–20条新任务演示且无需任何参数更新,模型即可适应未见物体、新颖动作与新场景;若允许进一步微调,性能还可再度提升。

ARCH: Hierarchical Hybrid Learning for Long-Horizon Contact-Rich Robotic Assembly
CoRL 20252025-09-08

ARCH: Hierarchical Hybrid Learning for Long-Horizon Contact-Rich Robotic Assembly

Jiankai Sun, Aidan Curtis, Yang You, Yan Xu, Michael Koehle, Qianzhong Chen, Suning Huang, Leonidas Guibas, Sachin Chitta, Mac Schwager, Hui Li, 4Autodesk Research

Stanford University;MIT;University of Michigan;stanford.edu

海报操作

针对长程接触丰富装配中模仿学习数据需求大且精度不足、强化学习样本效率低的问题,本文提出分层混合框架ARCH。该方法构建低层参数化技能库(融合运动规划与RL策略),并由基于Diffusion Transformer的高层模仿学习策略进行调度,仅需少量演示即可完成长程高精度装配。实验表明,单物体训练的ARCH可泛化至未见物体,在仿真与真实平台上均优于基线,且仅需10次演示即达较高成功率。

Pointing3D: A Benchmark for 3D Object Referral via Pointing Gestures
CoRL 20252025

Pointing3D: A Benchmark for 3D Object Referral via Pointing Gestures

Pointing Gestures, Mert Arslanoglu,⋆Kadir Yilmaz,⋆Cemhan Kaan ¨Ozaltan, Timm Linder, Bastian Leibe

RWTH Aachen University, Germany;Bosch Center for AI, Germany

海报数据集/基准感知

针对传统3D物体指代依赖坐标输入且不自然的问题,本文提出仅通过人类指向手势实现3D物体指代的新任务,即基于指向的3D分割。现有方法多仅估计指向方向而无法推断物体完整三维范围,且缺乏真实场景下的对应数据。为此,作者构建了POINTR3D数据集,包含约65,000帧多视角室内场景指向图像及3D点云实例分割标注,并设计两阶段模型Pointing3D:先由人体骨骼关节预测指向向量,再将其作为prompt输入Transformer模块完成3D点云分割。实验表明该模型优于所提强基线,证明仅利用自然指向手势即可有效实现3D物体指代。

Merging and Disentangling Views in Visual Reinforcement Learning for Robotic Manipulation
CoRL 20252025-08-29

Merging and Disentangling Views in Visual Reinforcement Learning for Robotic Manipulation

Abdulaziz Almuzairee, Rohan Patil, Dwait Bhatt, Henrik I. Christensen, UC San Diego

海报操作触觉强化学习

针对视觉强化学习中多视角策略虽样本效率高、但部署依赖全部相机且对传感器故障敏感的问题,本文提出Merge And Disentangle (MAD)方法。其核心洞察在于:训练时通过共享编码器提取各视角特征并以求和方式融合,同时将单视角特征作为特征级数据增强注入Actor与Critic,使策略在享受多视角信息增益的同时解耦各视角依赖。在Meta-World与ManiSkill3共20项机器人操作任务上的实验表明,MAD在保持高样本效率的同时,可实现单视角轻量部署,且无需辅助损失或额外可学习参数。

Learning Deployable Locomotion Control via Differentiable Simulation
CoRL 20252025-08-27

Learning Deployable Locomotion Control via Differentiable Simulation

Differentiable Simulation, Clemens Schwarke, Victor Klemm, Joshua Bagajo, Jean-Pierre Sleiman, Ignat Georgiev, Jesus Tordesillas, Marco Hutter

ETH Zurich;NVIDIA;RAI Institute;Georgia Institute of Technology;Comillas Pontifical University

海报移动/足式机器人

可微分模拟器虽能通过解析梯度提升机器人学习的样本效率,但接触动力学的不连续性使现有软接触模型(梯度平滑却物理失真)或硬接触模型(物理真实却梯度失效)均难以支撑真实场景的腿部运动控制。本文提出一种解析平滑的硬接触建模方法,在保持高物理保真度的同时提供信息丰富的梯度;基于该可微分模拟器训练的四足运动策略首次实现了零样本 sim-to-real 部署,验证了可微分仿真直接用于真实世界运动控制的可行性。

BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities
CoRL 20252025-08-24

BEHAVIOR Robot Suite: Streamlining Real-World Whole-Body Manipulation for Everyday Household Activities

for Everyday Household Activities, Yunfan Jiang, Ruohan Zhang, Josiah Wong, Chen Wang, Yanjie Ze, Hang Yin, Cem Gokmen, Shuran Song, Jiajun Wu, Li Fei-Fei

Stanford University

海报操作人形机器人移动/足式机器人

针对日常家务对机器人全身操作的需求,本文基于BEHAVIOR-1K分析指出,双手协调、稳定导航与广泛可达性是关键能力,但现有系统难以兼顾硬件复杂性与策略学习。为此提出BEHAVIOR Robot Suite(BRS),包含低成本全身遥操作界面JoyLo与自回归视觉运动策略WB-VIMA。在五项真实家庭任务中,WB-VIMA取得平均88%子任务成功率与93%的完整任务峰值成功率,显著优于基线方法;JoyLo在数据质量与操作效率上也优于VR控制器和Apple Vision Pro方案。

GraspQP: Differentiable Optimization of Force Closure for Diverse and Robust Dexterous Grasping
CoRL 20252025-08-20

GraspQP: Differentiable Optimization of Force Closure for Diverse and Robust Dexterous Grasping

René Zurbrügg, Andrei Cramariuc, Marco Hutter, Ability Hand

ETH Zürich and ETH AI Center;ETH Zürich

海报操作触觉数据集/基准

现有灵巧抓取数据集生成方法常因采样或简化力闭合分析而陷入模式坍塌,仅能收敛到力量型抓取,多样性受限。本文提出GraspQP,将力闭合条件严格建模为隐式二次规划并导出可微能量项,在保持物理精确的同时支持梯度优化;并设计MALA*策略,依据全局样本能量分布动态拒绝劣质梯度步以缓解模式坍塌。实验表明,该方法显著提升了抓取多样性与稳定性,并发布了覆盖5700个物体、五种夹爪及三种抓取类型的大规模数据集与基于IsaacLab的评测环境。

Adapting by Analogy: OOD Generalization of Visuomotor Policies via Functional Correspondence
CoRL 20252025-06-15

Adapting by Analogy: OOD Generalization of Visuomotor Policies via Functional Correspondence

Pranay Gupta, Henny Admoni, Andrea Bajcsy

The Robotics Institute;Carnegie Mellon University, United States

海报模仿学习

现有视觉运动策略在分布外(OOD)场景中常因物体或背景变化而失效,但为每种新环境重采专家演示成本高昂。该研究的核心洞察是:许多OOD任务无需全新行为,只需建立与训练分布(ID)的功能对应关系。作者提出Adapting by Analogy方法,在部署时检测OOD与行为分歧,通过专家文本描述建立功能对应,并用对应ID观察替换OOD输入以复用已有策略。在Franka Panda真实机器人上的实验表明,仅需少量交互反馈即可将扩散策略在OOD环境中的成功率提升76%。

Long Range Navigator (LRN): Extending robot planning horizons beyond metric maps
CoRL 20252025-04-17

Long Range Navigator (LRN): Extending robot planning horizons beyond metric maps

Matt Schmittle, Rohan Baijal, Nathan Hatch, Rosario Scalise, Mateo Guaman Castro, Sidharth Talia, Khimya Khetarpal, Byron Boots, Siddhartha Srinivasa

University of Washington;Google DeepMind

海报规划

针对户外大范围越野导航中局部代价地图视界受限导致短视决策的问题,该研究提出 Long Range Navigator(LRN),其核心洞察是长程导航无需完整地图,只需从视觉中识别远处可通行的前沿方向作为中间目标。LRN 基于 SAM2 从第一人称行走视频中自动标注学习 affordance 热图,将高维图像映射为与目标对齐的可通行航向,扩展现有局部导航栈的规划视界。在 Spot 与大型车辆上的越野实验表明,该方法显著减少人工干预并提升决策速度,行驶距离超过一公里。

Toward Real-World Cooperative and Competitive Soccer with Quadrupedal Robot Teams
CoRL 20252025-08-30

Toward Real-World Cooperative and Competitive Soccer with Quadrupedal Robot Teams

Zhi Su, Yuman Gao, Emily Lukas, Yunfei Li, Jiaze Cai, Faris Tulbah, Fei Gao, Chao Yu, Zhongyu Li, Yi Wu, Koushil Sreenath

University of California, Berkeley;Tsinghua University;Zhejiang University;Shanghai Qi Zhi Institute

海报多智能体移动/足式机器人

现有腿式机器人足球研究多局限于仿真、规则驱动或简化的一对一场景。该工作提出分层多智能体强化学习框架:先学习行走、运球、踢球等底层运动技能,再通过基于虚构自博弈(FSP)的 MAPPO 训练去中心化高层策略,使机器人自发涌现出传球、拦截与动态角色分配等协作对抗行为。策略在仿真中验证后零样本迁移至真实四足机器人,仅凭机载传感即可在室内外场地完成自主机器人对战与人机对战。

Multi-critic Learning for Whole-body End-effector Twist Tracking
CoRL 20252025-08-28

Multi-critic Learning for Whole-body End-effector Twist Tracking

Twist Tracking, Aravind Elanjimattathil Vijayan, Andrei Cramariuc, Mattia Risiglione, Christian Gehring, Marco Hutter

ETH Zurich, ANYbotics AG

海报人形机器人

针对四足机器人运动与操作目标冲突、现有姿态跟踪难以直接控制末端速度的问题,该研究提出多critic强化学习架构与基于twist的末端执行器任务表述,将运动、操作与接触调度奖励解耦,使单一策略在优化全身控制时能有效协调冲突目标并直接控制末端速度。仿真与硬件实验表明,机器人可在行走中精确跟踪末端轨迹,且涌现出基座倾斜辅助手臂扩展工作空间的全身协调行为。

SIREN: Semantic, Initialization-Free Registration of Multi-Robot Gaussian Splatting Maps
CoRL 20252025-02-10

SIREN: Semantic, Initialization-Free Registration of Multi-Robot Gaussian Splatting Maps

Ola Shorinwa, Jiankai Sun, Mac Schwager, Anirudha Majumdar, Submap 𝑅!

海报多智能体感知

针对多机器人高斯溅射地图融合时现有方法依赖相机位姿或初始猜值的痛点,本文提出SIREN,利用嵌入地图的语义特征自动定位特征丰富区域,建立高斯原语间的语义对应以完成闭式粗配准,再通过新视角合成与语义图像滤波实现光度精修,从而在无需原始图像、位姿及任何初始化的条件下生成高保真融合地图。在机械臂、无人机和四足机器人采集的真实数据集上,该方法在最具挑战性的场景中将旋转误差降低约90倍,平移误差降低约300倍,尺度误差降低约44倍。

Rapid Mismatch Estimation via Neural Network Informed Variational Inference
CoRL 20252025-08-28

Rapid Mismatch Estimation via Neural Network Informed Variational Inference

Informed Variational Inference, Mateusz Jaszczuk, Nadia Figueroa

GRASP Lab, University of Pennsylvania

海报机器人学习

针对阻抗控制机器人依赖精确动力学模型、模型失配易破坏无源性与安全性的问题,本文提出Rapid Mismatch Estimation(RME):一种无需外力传感器、控制器无关的概率化在线失配估计框架。该方法利用神经网络基于本体感受反馈生成先验,再通过变分推断在约400毫秒内快速收敛并量化末端质量与质心的未知失配参数。在7自由度机械臂上的实验表明,RME能在静态与动态环境下迅速适应突变负载,并在人机协作场景中保持系统无源性与任务安全性。

In-Context Iterative Policy Improvement for Dynamic Manipulation
CoRL 20252025-08-20

In-Context Iterative Policy Improvement for Dynamic Manipulation

Mark Van der Merwe, Devesh K. Jha

Department of Robotics, University of Michigan

海报操作

针对动态操作因涉及难以直接观测的物理隐变量、高维复杂动力学而难以通过文本或视觉输入直接利用大模型的问题,本文提出一种上下文迭代策略改进方法:将历史交互与策略参数标记化后输入预训练大语言模型,以少量(≤300)相似任务样本为上下文示例,让模型在推理时直接预测参数化策略的调整量,无需任何微调或训练。在仿真与真实机器人上的多个动态操作任务中,该方法在低数据量下显著优于基于权重内推理、贝叶斯优化及其他替代方案。

Cost-aware Discovery of Contextual Failures using Bayesian Active Learning
CoRL 20252025

Cost-aware Discovery of Contextual Failures using Bayesian Active Learning

Anjali Parashar, Joseph Zhang, Yingke Li, Chuchu Fan

Laboratory for Information & Decision Systems (LIDS);Massachusetts Institute of Technology, United States;@mit.edu

海报机器人学习

现有机器人系统失效发现方法多依赖预定义的成本函数与精确模型,难以应对高评估成本且缺乏明确解析形式的情境化失效。本文提出一种成本感知的贝叶斯主动学习框架,将系统与评估过程视为黑箱,引入人在回路(人类专家或LLM)对多模态情境失效进行归因,通过贝叶斯推断迭代构建概率代理模型,并以覆盖参数空间与度量空间的主动学习策略定向生成多样化失效场景。在机器人操作与自动驾驶任务中,该方法发现的失效数量可达随机采样的6倍,并能覆盖从轻微到严重的全范围失效等级,在高维场景下仍具可扩展性。

KDPE: A Kernel Density Estimation Strategy for Diffusion Policy Trajectory Selection
CoRL 20252025-08-15

KDPE: A Kernel Density Estimation Strategy for Diffusion Policy Trajectory Selection

Andrea Rosasco, Federico Ceola, Giulia Pasquale, Lorenzo Natale

University of Genoa

海报扩散/流模型规划

Diffusion Policy在推理时因去噪随机性容易采样到偏离训练分布的异常轨迹。本文提出KDPE,在测试时并行生成多条候选轨迹,利用核密度估计评估末端动作的概率密度,并设计了能联合建模末端位姿与夹爪状态的流形感知核函数,从而筛选出最具代表性的轨迹。在RoboMimic与MimicGen的模拟任务及三项真实机器人操作中,该方法均提升了成功率与鲁棒性,且在低演示质量和高精度要求的任务上优势更显著。

SocialNav-SUB: Benchmarking VLMs for Scene Understanding in Social Robot Navigation
CoRL 20252025-09-10

SocialNav-SUB: Benchmarking VLMs for Scene Understanding in Social Robot Navigation

Michael J. Munje, Chen Tang, Shuijing Liu, Zichao Hu, Yifeng Zhu, Jiaxun Cui, Garrett Warnell, Joydeep Biswas, Peter Stone

Department of Computer Science;The University of Texas at Austin;Army Research Laboratory

海报视觉语言动作/视觉语言模型数据集/基准移动/足式机器人

针对现有视觉语言模型在社交机器人导航场景中缺乏系统评测的问题,本文基于SCAND数据集提出SocialNav-SUB视觉问答基准,从空间、时空及社会意图三个维度评估VLM的场景理解能力。该基准涵盖60个真实场景的4968条人工标注问题。实验表明,即便是最先进的VLM也显著落后于规则基线与人类共识基线,暴露出当前模型在动态社交场景理解上的关键不足。

Generating Robot Constitutions & Benchmarks for Semantic Safety
CoRL 20252025-03-11

Generating Robot Constitutions & Benchmarks for Semantic Safety

Pierre Sermanet, Anirudha Majumdar, Alex Irpan, Dmitry Kalashnikov, Vikas Sindhwani, Until recently

Google DeepMind

海报数据集/基准

随着大视觉语言模型被直接用于控制物理机器人,语义层面的安全问题日益紧迫。本文构建了首个大规模多模态评测集ASIMOV,通过从真实视觉场景与医院伤害报告中生成危险情境,系统评估基础模型的物理安全理解能力;进而提出从真实数据自下而上自动生成机器人宪法的框架,并设计自动修正机制细化行为规则。实验表明,生成宪法在ASIMOV上达到84.3%的人类偏好对齐率,优于无宪法基线与人类手写宪法,并能有效拦截对抗攻击中的违规指令。

Few-Shot Neuro-Symbolic Imitation Learning for Long-Horizon Planning and Acting
CoRL 20252025-08-29

Few-Shot Neuro-Symbolic Imitation Learning for Long-Horizon Planning and Acting

Pierrick Lorang, Hong Lu, Johannes Huemer

Human-Robot Interaction Lab;Tufts University, United States;& Austrian Institute of Technology, Austria;Austrian Institute of

海报模仿学习规划

现有模仿学习多聚焦短程技能且需要大量数据,在长程任务与分布外泛化上存在不足。本文提出一种神经符号模仿学习框架,无需预定义符号状态与谓词,仅通过少量原始技能演示即可联合学习高层符号领域抽象与底层连续控制策略:先将演示构建为转移图以捕捉非空间与时间关系,再利用ASP求解器自动提取PDDL符号模型,进而以扩散策略训练低级控制器,并由高层oracle过滤无关信息以精简观察-动作空间。实验涵盖机械臂操作与自动叉车共六个领域,结果表明仅需五个演示即可实现高效的零样本与少样本泛化,并生成可解释的符号规划。

Capability-Aware Shared Hypernetworks for Flexible Heterogeneous Multi-Robot Coordination
CoRL 20252025-09-10

Capability-Aware Shared Hypernetworks for Flexible Heterogeneous Multi-Robot Coordination

Kevin Fu, Shalin Anand Jain, Pierce Howell, Harish Ravichandar

Georgia Institute of Technology, Atlanta, USA

海报多智能体

现有异构多机器人协调架构常被迫在表达性与效率间取舍:共享参数省样本但行为同质化,独立策略虽多样却难泛化且参数量大。本文提出CASH,以超网络根据机器人能力与观测动态生成解码器权重,在单一共享架构内实现软参数共享,兼顾样本效率、行为多样性与泛化性。实验涵盖四种任务、三种学习范式及仿真与硬件平台,结果表明CASH在训练与零样本泛化上均优于基线,且减少60%–80%的可学习参数,并能在线适应能力变化。

AimBot: A Simple Auxiliary Visual Cue to Enhance Spatial Awareness of Visuomotor Policies
CoRL 20252025-08-11

AimBot: A Simple Auxiliary Visual Cue to Enhance Spatial Awareness of Visuomotor Policies

Yinpei Dai, Jayjun Lee, Yichi Zhang, Ziqiao Ma, Jianing Yang, Amir Zadeh♢, Chuan Li♢, Nima Fazeli⋆, Joyce Chai⋆

Computer Science and Engineering Department, University of Michigan;Robotics Department, University of Michigan;♢Lambda Labs

海报模仿学习

现有视觉运动策略缺乏对末端执行器空间位置的显式感知,导致长程操作任务中夹爪与物体的对齐困难。本文提出AimBot,一种无需修改模型架构的轻量级视觉增强方法:利用深度图、相机外参和末端执行器位姿,在多视角RGB图像上实时叠加十字准星与射击线,将夹爪的空间朝向和抓取意图直接编码为像素级线索。该方法计算开销低于1毫秒,在仿真与真实机器人实验中均持续提升多种视觉-语言-动作策略的任务成功率,尤其在需要精细空间对齐的复杂长程任务上增益显著。

Beyond Constant Parameters: Hyper Prediction Models and HyperMPC
CoRL 20252025-08-08

Beyond Constant Parameters: Hyper Prediction Models and HyperMPC

Jan W˛egrzynowski, Piotr Kicki, Grzegorz Czechmanowski, Maciej Krupka, Krzysztof Walas, 3IDEAS NCBR, Warsaw Poland

Institute of Robotics and Machine Intelligence;Poznan University of Technology, Poland;IDEAS Research Institute, Warsaw, Poland

海报机器人学习

现有基于梯度优化的模型预测控制(MPC)常受限于解析动力学模型难以刻画未建模动态且计算开销与精度难以兼顾。本文提出Hyper Prediction Model(HyperPM),利用历史观测与规划控制序列,通过神经网络预测模型参数在预测时域上的时变轨迹,从而在不增加优化复杂度的前提下补偿未建模效应;进一步将其嵌入MPC得到HyperMPC。实验表明,该方法在摆锤、带载无人机及真实F1TENTH赛车任务中显著降低长程预测误差,并在控制性能上分别取得300%、9%和近19%的提升。

FLOWER: Democratizing Generalist Robot Policies with Efficient Vision-Language-Flow Models
CoRL 20252025-09-05

FLOWER: Democratizing Generalist Robot Policies with Efficient Vision-Language-Flow Models

Moritz Reuss, Hongyi Zhou, Marcel R¨uhle, ¨Omer Erdinc¸ Ya˘gmurlu, Fabian Otto, Rudolf Lioutikov, 2Microsoft Research

Intuitive Robots Lab;Karlsruhe Institute of Technology, Germany

海报视觉语言动作/视觉语言模型

针对现有视觉-语言-动作策略参数量过大、预训练成本高昂的问题,本文提出中间层模态融合与动作空间Global-AdaLN条件机制,通过剪枝30%至50%的大语言模型层来释放容量并强化Flow扩散头,在保留语义理解的同时将模型压缩至9.5亿参数。所得FLOWER模型仅需200 H100 GPU小时预训练,便在10个基准的190项任务上达到与主流大模型相当的性能,并在CALVIN ABC基准上取得4.53的新SOTA,显存占用仅1.85 GB。

Subteaming and Adaptive Formation Control for Coordinated Multi-Robot Navigation
CoRL 20252025-09-19

Subteaming and Adaptive Formation Control for Coordinated Multi-Robot Navigation

Zihao Deng, Peng Gao, Williard Joshua Jose, Maggie Wigness, John Rogers, Brian Reily, Christopher Reardon, and Hao Zhang

University of Massachusetts Amherst;North Carolina State University;U.S. Army DEVCOM Army Research Laboratory;University of Denver

海报多智能体移动/足式机器人

针对多机器人在狭窄走廊等复杂环境中严格保持队形不可行的问题,该研究提出STAF分层学习方法,通过高层深度图切割动态拆分子团队、中层图学习协调子团队导航并生成嵌入、底层强化学习控制个体机器人避障与队形保持,实现子团队划分、队形自适应与团队重组。室内外仿真及真实机器人实验表明,该方法能有效应对狭窄通道等挑战性场景,且对团队规模和子团队数量具有良好泛化性。

Force-Modulated Visual Policy for Robot-Assisted Dressing with Arm Motions
CoRL 20252025-09-16

Force-Modulated Visual Policy for Robot-Assisted Dressing with Arm Motions

Alexis Yihong Hao, Yufei Wang, Navin Sriram Ravie, Bharath Hegde, David Held, Zackory Erickson, Equal Advising

Robotics Institute;Carnegie Mellon University;Department of Engineering Design;Indian Institute of Technology, Madras

海报触觉

现有辅助穿衣机器人多假设人体静止或仅协作运动,难以应对真实场景中用户的非合作性肢体活动。本文提出力调制视觉策略FMVP:先在仿真中训练视觉策略以泛化不同体型与衣物,再在现实世界利用少量数据与多模态(视觉+力觉)反馈进行微调,将力信号直接嵌入策略条件而非单独过滤动作。在12名参与者共264次试验中,该系统成功为不同用户穿上两种长袖衣物,对各类手臂运动具有鲁棒性,平均覆盖85%臂长,任务完成度与用户反馈均显著优于基线。

ComposableNav: Instruction-Following Navigation in Dynamic Environments via Composable Diffusion
CoRL 20252025-09-22

ComposableNav: Instruction-Following Navigation in Dynamic Environments via Composable Diffusion

Zichao Hu, Chen Tang, Michael J. Munje, Yifeng Zhu, Alex Liu, Shuijing Liu, Garrett Warnell, Peter Stone, Joydeep Biswas

Department of Computer Science;The University of Texas at Austin;Army Research Laboratory

海报扩散/流模型移动/足式机器人

动态环境中的指令跟随导航面临规范组合指数爆炸的难题,传统方法难以扩展。本文提出 ComposableNav,利用扩散模型可组合的概率分布特性,将指令解耦为独立运动基元,通过监督预训练联合 RL 微调的两阶段策略免除逐基元演示采集,部署时并行组合基元生成同时满足多规范的轨迹。实验表明,仅六个基元即可泛化至二十四种未见指令组合,在仿真和真实机器人上均显著优于 VLM 策略与代价图基线。

Train-Once Plan-Anywhere Kinodynamic Motion Planning via Diffusion Trees
CoRL 20252025-09-05

Train-Once Plan-Anywhere Kinodynamic Motion Planning via Diffusion Trees

Yaniv Hassidof, Tom Jurgenson, Kiril Solovey, Viterbi Faculty of Electrical, Computer Engineering

Technion–Israel Institute of Technology, Haifa, Israel

海报扩散/流模型规划

针对复杂动力学约束下的运动规划问题,传统采样规划器因盲目探索而效率低下,纯扩散模型则缺乏安全保证且难以泛化至未知环境。该研究提出 Diffusion Tree(DiTree),将扩散策略作为有信息的动作采样器嵌入采样规划器的树搜索中,以学习到的运动先验引导节点扩展,在保留碰撞避免与动力学可行性保证的同时提升搜索效率。实验表明,仅在单一环境中训练即可泛化至分布外场景,在动态小车与 Mujoco Ant 任务中将平均成功率较独立基线提升 30%,且在高维系统及真实车辆实验中验证了鲁棒性。

ZipMPC: Compressed Context-Dependent MPC Cost via Imitation Learning
CoRL 20252025-07-17

ZipMPC: Compressed Context-Dependent MPC Cost via Imitation Learning

Rahel Rickenbach, Alan A. Lahoud, Erik Schaffernicht, Melanie N. Zeilinger, Johannes A. Stork

Institute for Dynamic Systems and Control, ETH Zurich, Switzerland.;Center for Applied Autonomous Sensor Systems (AASS), ¨Orebro University, Sweden. These authors contributed equally (shared first authorship). These authors contributed equally (shared last authorship).

海报模仿学习

针对MPC在长预测时域下实时性不足、短时域下性能受限且代价函数设计困难的问题,本文提出ZipMPC方法:利用可微分MPC与神经网络,通过模仿学习将长时域上下文信息压缩进短时域MPC的代价函数中,在保持短时域计算开销的同时逼近长时域控制性能。仿真与真实赛车实验表明,该方法不仅显著优于显式近似MPC与自动调参基线,能在短时域基线失效的复杂场景下完成赛道,且对训练时未见过的环境具有良好泛化能力。

EndoVLA: Dual-Phase Vision-Language-Action for Precise Autonomous Tracking in Endoscopy
CoRL 20252025-05-21

EndoVLA: Dual-Phase Vision-Language-Action for Precise Autonomous Tracking in Endoscopy

Chi Kit Ng, Long Bai, Guankun Wang, Yupeng Wang, Huxin Gao, Kun Yuan, Chenhan Jin, Tieyong Zeng, Hongliang Ren

The Chinese University of Hong Kong;Technical University of Munich

海报视觉语言动作/视觉语言模型

针对胃肠道内窥镜中动态非结构化环境导致传统视觉跟踪流水线脆弱且难以泛化的问题,本文提出专为连续体机器人设计的双阶段VLA框架EndoVLA,通过视觉-语言-运动数据集上的监督微调与任务感知强化微调相结合,将外科医生的自然语言指令直接映射为内镜末端运动,实现了息肉跟踪、异常区域跟随及环形切割标记跟踪三项核心任务,并在真实系统上取得先进性能与跨场景零样本泛化能力。

Morphologically Symmetric Reinforcement Learning for Ambidextrous Bimanual Manipulation
CoRL 20252025-09-01

Morphologically Symmetric Reinforcement Learning for Ambidextrous Bimanual Manipulation

Zechu Li, Yufeng Jin, Daniel Ordo˜nez Apraez, Claudio Semini, Puze Liu, Georgia Chalvatzaki, TU Darmstadt, Istituto Italiano di Tecnologia

Honda Research Institute Europe 2

海报操作触觉强化学习

人类有惯用手,但具备形态对称性的双臂机器人应突破左右偏好,实现双手同等灵巧的操作。本文提出SYMDEX框架,将复杂任务分解为单手子任务,利用等变神经网络把形态对称性作为归纳偏置嵌入策略学习,使单臂经验自然迁移至对侧,再蒸馏为与手-任务分配无关的全局策略。在六项高仿真操作任务中成功率超80%,显著优于联合控制与数据增强基线,并在两项任务上实现零样本真机部署,且可扩展至四臂协同。

Robot Operating Home Appliances by Reading User Manuals
CoRL 20252025-07-23

Robot Operating Home Appliances by Reading User Manuals

Jian Zhang, Hanbo Zhang, Anxing Xiao, David Hsu

School of Computing & Smart System Institute;National University of Singapore

海报机器人学习

家用家电操作是辅助机器人的关键能力,但说明书非结构化且家电工作流约束强,直接使用大模型难以保证可靠性。本文提出ApBot,通过VLM将用户手册转化为符号化的状态机模型,实现动作在控制面板上的视觉落地,并在执行中根据视觉反馈迭代修正模型。实验涵盖6类共30个模拟及真实家电实例,结果显示ApBot的任务成功率显著优于直接将VLM用作策略的基线,验证了结构化内部表示对复杂家电鲁棒操作的重要性。

CARE: Enhancing Safety of Visual Navigation through Collision Avoidance via Repulsive Estimation
CoRL 20252025-08-08

CARE: Enhancing Safety of Visual Navigation through Collision Avoidance via Repulsive Estimation

Joonkyung Kim, Joonyeol Sim, Woojun Kim, Katia Sycara, Changjoo Nam

Department of Electronic Engineering;Sogang University;Robotics Institute;Carnegie Mellon University

海报移动/足式机器人

视觉导航基础模型虽能仅凭RGB生成轨迹,但在分布外场景或相机配置变化时易因缺乏几何理解而产生碰撞轨迹,且适配新平台常需重新训练。为此,本文提出即插即用的CARE模块,通过单目深度估计从RGB构建局部俯视障碍物图,并以人工势场计算排斥力实时调整预训练策略的轨迹。在三种真实机器人平台上的实验表明,该方法在目标导航中最高可将碰撞降低100%而不影响任务性能,并在探索任务中将无碰撞行驶距离提升最高10.7倍。

MimicFunc: Imitating Tool Manipulation from a Single Human Video via Functional Correspondence
CoRL 20252025-08-19

MimicFunc: Imitating Tool Manipulation from a Single Human Video via Functional Correspondence

Chao Tang, Anxing Xiao, Yuhong Deng, Tianrun Hu, Wenlong Dong, Hanbo Zhang, David Hsu, Hong Zhang

Southern University of Science and Technology1;National University of Singapore2

海报操作

现有方法多基于几何或视觉相似性建立对应,难以处理功能等价但形状、尺寸和拓扑差异显著的工具泛化问题。本文提出 MimicFunc,通过构建以功能为中心的局部坐标系“function frame”,利用功能关键点捕捉工具-目标交互、手-工具交互及对象无关参考,从而在功能层面建立不变对应,忽略功能无关的几何细节。真实机器人实验表明,仅凭单条 RGB-D 人类视频,即可将技能泛化至具有显著 intra-function 变异的新工具、新空间配置及不同本体;生成的 rollout 还可直接用于训练视觉运动策略,无需额外的遥操作数据采集。

CogniPlan: Uncertainty-Guided Path Planning with Conditional Generative Layout Prediction
CoRL 20252025-08-05

CogniPlan: Uncertainty-Guided Path Planning with Conditional Generative Layout Prediction

Yizhuo Wang, Haodong He, Jingsong Liang, Yuhong Cao, Ritabrata Chakraborty, Guillaume Sartoretti, 3BITS Pilani

National University of Singapore;Tongji University

海报规划

现有路径规划方法在未知环境中往往受限于贪婪启发式或隐式策略的短视性,难以有效利用对未观测区域的空间预测。本文提出CogniPlan,以轻量条件生成修复模型产生多种合理的布局假设,再通过图注意力网络在不确定条件下显式推理下一航点,实现生成式空间预测与图规划策略的深度协同。在数百张模拟地图上的探索与导航任务中,该方法较SOTA分别减少7.0%与12.5%的行走路径;且无需重新训练即可直接迁移至真实室内平面图、高保真仿真及实体机器人平台。

Fast Flow-based Visuomotor Policies via Conditional Optimal Transport Couplings
CoRL 20252025-05-02

Fast Flow-based Visuomotor Policies via Conditional Optimal Transport Couplings

Andreas Sochopoulos, Nikolay Malkin, Nikolaos Tsagkas, Jo˜ao Moura, Michael Gienger, Sethu Vijayakumar

University of Edinburgh;Honda Research Institute Europe

海报模仿学习

扩散与流匹配策略虽能捕捉机器人动作的多模态分布,但ODE数值积分导致推理延迟高,难以实时控制。本文提出COT Policy,核心洞察是:在条件生成任务中,直接将最优传输用于噪声与动作配对会引入有偏流,因此需将观测条件纳入耦合过程;对连续高维观测则先降维聚类再计算条件最优传输,从而强制流路径更直。实验表明,该方法在模拟任务上以少10倍的推理步数取得比Diffusion Policy高4%的成功率,并在真实机器人任务中仅用1–2步即可生成高质量多样轨迹,且无需额外蒸馏,训练复杂度与标准流匹配相当。

Enabling Long(er) Horizon Imitation for Manipulation Tasks by Modeling Subgoal Transitions
CoRL 20252025

Enabling Long(er) Horizon Imitation for Manipulation Tasks by Modeling Subgoal Transitions

Shivam Jain, Sachit Sachdeva, Rohan Paul

Indian Institute of Technology Delhi

海报操作模仿学习

长程操作任务中,子目标切换的启发式阈值方法易因误差累积导致策略进入分布外状态。为此,本文提出ST-GPT与SGPT两种架构:前者自回归显式建模离散的子目标切换时机,后者通过交叉注意力隐式实现连续平滑的子目标过渡。实验在Franka Kitchen、真实桌面任务及新提出的FrankaLHT基准上开展,结果表明所提方法在任务成功率、学习效率及分布外泛化方面均有显著提升。

Search-TTA: A Multi-Modal Test-Time Adaptation Framework for Visual Search in the Wild
CoRL 20252025-11-07

Search-TTA: A Multi-Modal Test-Time Adaptation Framework for Visual Search in the Wild

Derek Ming Siang Tan

National University of Singapore;University of Toronto

海报机器人学习

针对户外视觉搜索中卫星先验易受VLM幻觉与域偏移影响的问题,本文提出Search-TTA:先预训练卫星图像编码器与CLIP对齐生成概率图,再在搜索过程中基于空间泊松点过程与不确定性加权梯度在线修正预测。在自建的38万图像数据集AVS-Bench上,该方法将规划器性能提升最多30.0%,并支持文本、声音等模态的零样本涌现对齐,且已完成真实无人机的硬件在环部署验证。

Mastering Multi-Drone Volleyball through Hierarchical Co-Self-Play Reinforcement Learning
CoRL 20252026-02-26

Mastering Multi-Drone Volleyball through Hierarchical Co-Self-Play Reinforcement Learning

Ruize Zhang, Sirui Xiang, Zelai Xu, Feng Gao, Shilong Ji, Wenhao Tang, Wenbo Ding, Chao Yu, Yu Wang

Tsinghua University;@mail.tsinghua.edu.cn

海报触觉强化学习

针对3v3无人机排球任务缺乏专家示范、且需同时满足团队战术与敏捷控制的挑战,本文提出分层协同自博弈框架HCSP,将集中式高层战术决策与分布式低层运动控制解耦,并通过三阶段渐进训练使策略与技能从零涌现:先训练底层技能,再固定底层学习高层策略,最后通过co-self-play联合微调实现层级互适应。实验表明,该框架以平均82.9%胜率击败非分层自博弈及规则基线,第三阶段更涌现出角色切换与协同阵型等团队行为,相较第二阶段策略胜率提升达71.5%。

Wheeled Lab: Modern Sim2Real for Low-cost, Open-source Wheeled Robotics
CoRL 20252025-08-30

Wheeled Lab: Modern Sim2Real for Low-cost, Open-source Wheeled Robotics

Tyler Han, Preet Shah, Sidharth Rajagopal, Yanda Bao, Sanghun Jung, Sidharth Talia, Gabriel Guo, Bryan Xu, Bhaumik Mehta, Emma Romig, Rosario Scalise, Byron Boots

University of Washington

海报仿真到现实

针对现有Sim2Real研究多依赖昂贵硬件、广大社区难以触及前沿方法的问题,本文提出Wheeled Lab,将低成本开源轮式机器人与Isaac Lab集成,构建了涵盖大规模并行训练、域随机化和传感器仿真的完整生态。研究在千元级HOUND与MuSHR平台上首次实现了漂移控制、高程地形穿越与视觉导航三种零样本策略的直接部署验证,其中漂移策略无需在线微调即可完成高滑移角过弯,显著优于无法稳定过弯的基线,证明现代机器人学习方法可在低成本轮式平台上直接落地。

DexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot Control
CoRL 20252025-08-09

DexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot Control

Junjie Wen, Yichen Zhu, Jinming Li, Zhibin Tang, Chaomin Shen, Feifei Feng

East China Normal University;Shanghai University

海报扩散/流模型视觉语言动作/视觉语言模型

现有视觉-语言-动作(VLA)模型多聚焦于视觉-语言模型(VLM)的缩放,却忽视了动作表示的瓶颈。DexVLA提出了一种可插拔的十亿参数扩散动作专家,采用多头架构处理跨本体数据,并设计了三阶段具身课程学习:先在跨本体数据上预训练动作专家,再对齐特定本体,最后适应新任务。该方法无需外部高层策略,仅通过语言提示即可完成叠衣等复杂长程任务,在单臂、双臂及灵巧手等多本体上超越了OpenVLA与π0,且仅用100小时演示数据预训练即可实现60Hz实时推理。

From Space to Time: Enabling Adaptive Safety with Learned Value Functions via Disturbance Recasting
CoRL 20252025-09-23

From Space to Time: Enabling Adaptive Safety with Learned Value Functions via Disturbance Recasting

Sander Tonkens, Nikhil Uday Shinde, Azra Begzadi´c, Michael C. Yip, Jorge Cort´es, Sylvia L. Herbert

University of California San Diego

海报机器人学习

现有基于离线学习价值函数的安全滤波器通常假设对环境中所有干扰具有精确先验,难以应对城市峡谷等场景中的未知空间变化扰动。本文提出SPACE2TIME,其核心洞察是将空间变化的扰动重新参数化为沿轨迹的时间变化,从而利用离线预计算的价值函数构建在线自适应安全滤波器;所设计的价值函数显式基于扰动的时间变化率进行条件设定,对当前保持现实估计、对未来保持悲观。在四旋翼平台上的仿真与硬件实验表明,该方法在未知空间变化干扰下显著提升了安全性,且未明显牺牲任务性能。

Mobi-: Mobilizing Your Robot Learning Policy
CoRL 20252025-09-26

Mobi-: Mobilizing Your Robot Learning Policy

Jingyun Yang, Isabella Huang, Brandon Vu, Max Bajracharya, Rika Antonova, Jeannette Bohg

Stanford University;Toyota Research Institute;University of Cambridge

海报机器人学习

现有视觉运动操作策略多在固定基座与有限视角下训练,直接用于移动平台易因视角与工作空间分布外而失效。本文提出“策略移动化”问题,通过在新型环境中寻找与策略训练分布对齐的基座姿态,实现无需额外演示的固定策略移动部署。方法利用3D高斯溅射重建场景,结合可微渲染与评分函数评估候选姿态,再经采样优化确定最优基座位置。在RoboCasa仿真与真实任务中,该方法均优于基线,有效验证了将固定策略“移动化”的可行性。

Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-top Manipulation
CoRL 20252025-08-30

Generative Visual Foresight Meets Task-Agnostic Pose Estimation in Robotic Table-top Manipulation

Chuye Zhang, Xiaoxiong Zhang, Wei Pan, Linfang Zheng, Wei Zhang, 2LimX Dynamics

Southern University of Science and Technology;The University of Hong Kong

海报操作感知

现有机器人操作模型依赖人工标注的动作数据,难以扩展。本文提出GVF-TAPE框架,将生成式视觉预见与任务无关的位姿估计解耦结合:先用生成视频模型根据单视角RGB图像和任务描述预测未来RGB-D帧,再从预测帧中提取末端执行器6-DoF位姿,通过逆运动学闭环执行。该方法无需动作标签,位姿估计仅需随机探索数据即可训练。仿真与真实实验表明,该方法在多样任务上实现了实时自适应操作,且显著优于现有依赖动作标注或自探索的方法。

Diffusion Dynamics Models with Generative State Estimation for Cloth Manipulation
CoRL 20252025-08-29

Diffusion Dynamics Models with Generative State Estimation for Cloth Manipulation

Tongxuan Tian, Haoyang Li

University of California San Diego, USA;Hillbot Inc, USA

海报操作扩散/流模型

布料操作因严重自遮挡与高度非线性动力学而难以实现精确的状态估计与前瞻规划。本文将状态估计与动力学预测统一为条件生成问题,提出基于Transformer的扩散框架UniClothDiff:通过扩散感知模型从稀疏RGB-D点云补全完整布料状态,并借助扩散动力学模型实现长程状态转移预测。相较于图网络基线,该方法将长程预测误差降低一个量级;结合模型预测控制,可在真实机器人上完成布料折叠,且支持平行夹爪与灵巧手跨形态部署。

Contrastive Forward Prediction Reinforcement Learning for Adaptive Fault-Tolerant Legged Robots
CoRL 20252025

Contrastive Forward Prediction Reinforcement Learning for Adaptive Fault-Tolerant Legged Robots

Yangqing Fu, Yang Zhang, Qiyue Yang, Liyun Yan, Zhanxiang Cao, Yue Gao

Shanghai Jiao Tong University;Shanghai Innovation Institute

海报触觉强化学习移动/足式机器人

针对腿式机器人在复杂环境中易受关节损伤影响、现有模型驱动方法难以应对未建模故障且传统深度强化学习策略泛化不足的问题,该研究提出了一种融合对比学习与正向预测的强化学习框架:通过对比学习增强策略对损伤模式的表征能力,利用前向模型与比较器生成状态预测误差,并将该误差作为反馈信号动态调整控制策略,同时辅以课程学习逐步提升鲁棒性。实验表明,该方法在四足与六足机器人上均能在多种地形及关节损伤场景下实现稳定运动,且对未在训练中出现的关节锁定故障具备零样本适应能力。

Action-Free Reasoning for Policy Generalization
CoRL 20252025-02-11

Action-Free Reasoning for Policy Generalization

Jaden Clark, Suvir Mirchandani, Dorsa Sadigh, Suneel Belkhale

Department of Computer Science;Stanford University;@stanford.edu

海报机器人学习

现有模仿学习难以泛化至新场景,且机器人数据采集成本高,而丰富的人类视频缺乏动作标签、存在具身差异。本文提出RAD,其洞察是从人类视频中提取高层语言推理而非底层动作作为共享表征:利用带推理与动作标签的机器人数据学习“推理到动作”的映射,同时用仅有推理标签的人类视频增强推理能力。实验表明,RAD在仅见于人类视频的任务上较基线提升20%,并在完全未见过的新任务上提升15%,验证了无需动作监督的推理驱动学习可有效跨越具身差距并改善泛化。

Learn from What We HAVE: History-Aware VErifier that Reasons about Past Interactions Online
CoRL 20252025-08-29

Learn from What We HAVE: History-Aware VErifier that Reasons about Past Interactions Online

Yishu Li, Xinyi Mao, Ying Yuan, Kyutae Sim, Ben Eisner, David Held

Robotics Institute;Carnegie Mellon University;Tsinghua University

海报机器人学习

针对视觉歧义导致机器人难以仅凭单帧观测判断操作策略的问题,本文提出历史感知验证器HAVE,将动作生成与验证显式解耦:由无条件扩散模型生成候选动作,再利用历史交互信息评估并筛选最优动作。理论分析表明,即使略优于随机的验证器也能提升生成策略的期望表现,且在关节物体、多模态门及质量不均物体抓取等仿真与真实任务中验证了该方法的有效性。

KineDex: Learning Tactile-Informed Visuomotor Policies via Kinesthetic Teaching for Dexterous Manipulation
CoRL 20252025-05-04

KineDex: Learning Tactile-Informed Visuomotor Policies via Kinesthetic Teaching for Dexterous Manipulation

Di Zhang, Chengbo Yuan, Chuan Wen, Hai Zhang, Junqiao Zhao, Yang Gao

Tongji University;Tsinghua University;Shanghai Jiao Tong University;University of Hong Kong;Shanghai Qi Zhi Institute;Shanghai AI Lab

海报操作模仿学习触觉

现有遥操作或视频重定向采集灵巧操作示范时,常因人机运动学不匹配且缺乏实时触觉反馈而难以获得高精度数据。本文提出KineDex框架,通过手把手动觉示教将操作者动作直接传递至灵巧手,消除重定向误差并采集富含真实触觉反馈的示范;利用图像修复解决人手遮挡的视觉域差异,训练触觉增强的视觉运动策略,并在推理时引入指尖力控制。在九项接触丰富任务中,平均成功率74.4%,较无力控制版本提升57.7%,数据采集速度达遥操作两倍以上且近100%成功。

FlashBack: Consistency Model-Accelerated Shared Autonomy
CoRL 20252025-05-27

FlashBack: Consistency Model-Accelerated Shared Autonomy

Shared Autonomy, Luzhe Sun, Jingtian Ji, Xiangshan Tan, Matthew R. Walter

Toyota Technological Institute at Chicago, United States

海报机器人学习

现有共享自主方法或依赖已知目标与奖励假设,或受限于扩散模型的高计算开销而难以实时部署。本文提出Consistency Shared Autonomy (CSA),将一致性模型引入共享自主框架,通过蒸馏概率流ODE实现单步高质量动作生成,在保留用户意图的同时将推理压缩至微秒级;并可在ODE中间状态灵活干预以调节辅助强度。实验表明,该方法在模拟与真实机器人任务中均显著优于现有扩散基线,兼顾性能与实时性。

Granular loco-manipulation: Repositioning rocks through strategic sand avalanche
CoRL 20252025-05-19

Granular loco-manipulation: Repositioning rocks through strategic sand avalanche

Haodi Hu, Yue Wu, Feifei Qian, Daniel Seita, Equal Advising

University of Southern California, United States

海报操作人形机器人

针对现有障碍物辅助移动依赖特定接触位点、且在密集障碍物与颗粒介质中难以联合规划操控与移动的问题,本研究提出 DiffusiveGRAIN,利用基于扩散模型的环境预测器建模颗粒流中多障碍物运动的相互干扰,并通过机器人状态预测器估计多腿挖掘动作对自身位姿的影响,引入有效动作调整弥合机械臂采集数据与真实机器人执行之间的差异,实现操控与移动的联合规划,在90次部署试验中成功将密集分布的岩石移至目标位置的比例超过65%。

D-CODA: Diffusion for Coordinated Dual-Arm Data Augmentation
CoRL 20252025-08-16

D-CODA: Diffusion for Coordinated Dual-Arm Data Augmentation

I-Chun Arthur Liu, Jason Chen, Gaurav S. Sukhatme, Daniel Seita

Department of Computer Science, University of Southern California

海报操作扩散/流模型

针对眼在手双臂模仿学习中数据收集昂贵、现有增强方法仅限单臂的问题,本文提出基于扩散的离线数据增强框架D-CODA。该方法利用扩散模型同时合成视角一致的双臂腕部相机图像与关节空间动作标签,并通过SAM2将任务分解为无接触与接触丰富状态,后者采用约束优化确保双臂协调。在5项模拟和3项真实任务、共2250次模拟与300次真实试验中,该方法优于基线,展现出可扩展的双臂数据增强潜力。

JaxRobotarium: Training and Deploying Multi-Robot Policies in 10 Minutes
CoRL 20252025-11-10

JaxRobotarium: Training and Deploying Multi-Robot Policies in 10 Minutes

Shalin Anand Jain, Jiazhen Liu, Siva Kailas, Harish Ravichandar

Georgia Institute of Technology, United States

海报多智能体

现有MARL平台往往脱离真实机器人动力学且难以部署硬件,而连接Robotarium的MARBLER又缺乏GPU/TPU并行支持导致效率低下。本文提出基于JAX的端到端平台JaxRobotarium,在保留真实机器人动力学与安全约束的同时,通过并行化和硬件加速实现仿真与训练的大幅提速,并内置8个标准化协调任务与易用的SOTA MARL库接口。实验表明,该平台在仿真和训练上分别获得150倍与20倍加速,并通过逾200次真实机器人部署验证了有效的sim2real迁移。

Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures
CoRL 20252025-09-23

Uncertainty-aware Latent Safety Filters for Avoiding Out-of-Distribution Failures

Junwon Seo, Kensuke Nakamura, Andrea Bajcsy

Carnegie Mellon University;@andrew.cmu.edu

海报机器人学习

现有基于世界模型的潜空间安全滤波器因训练数据覆盖不全,常对分布外(OOD)状态过度自信而漏判危险。本文提出UNISafe,以世界模型的认知不确定性识别未见风险,并通过共形预测校准阈值以检测不可靠的OOD想象。该框架在潜状态与不确定性构成的扩展空间中进行可达性分析,为任意策略合成安全滤波器,主动规避已知与未知故障。在Franka机械臂的视觉控制仿真与硬件实验中,该方法能提前识别潜在危险并提供安全的分布内备用动作。

ATK: Automatic Task-driven Keypoint Selection for Robust Policy Learning
CoRL 20252025-10-04

ATK: Automatic Task-driven Keypoint Selection for Robust Policy Learning

Yunchu Zhang, Shubham Mittal, Zhengyu Zhang, Liyiming Ke, Siddhartha Srinivasa, Abhishek Gupta

Paul G. Allen School of Computer Science and Engineering;University of Washington

海报机器人学习

针对端到端视觉运动策略在视觉域差异下易失效、而6D姿态估计难以扩展的问题,本文提出ATK,通过任务驱动的自动关键点选择,将专家数据蒸馏为基于最小化任务相关2D关键点集合的策略表征。该方法联合优化关键点掩码与策略网络,在sim-to-real迁移与真实世界模仿学习中,对透明物体、可变形物体及背景光照变化等显著提升了鲁棒性与泛化性。

ManipBench: Benchmarking Vision-Language Models for Low-Level Robot Manipulation
CoRL 20252025-08-30

ManipBench: Benchmarking Vision-Language Models for Low-Level Robot Manipulation

Enyu Zhao, Vedant Raval, Hejia Zhang, Jiageng Mao, Zeyu Shangguan, Stefanos Nikolaidis, Yue Wang, Daniel Seita

Department of Computer Science, University of Southern California

海报操作视觉语言动作/视觉语言模型数据集/基准感知

针对视觉-语言模型(VLMs)在机器人低级操作推理中缺乏统一评估标准的问题,本文提出ManipBench基准。该基准包含超过12,000道多选题,覆盖抓取放置、关节物体、可变形物体及动态操作等任务,通过无需轨迹推出的高效方式评估VLMs对精确机器人动作的低级物理推理能力。作者对33个主流VLM进行了系统评测,发现模型性能在不同任务间差异显著,且基准得分与真实世界机器人操作表现呈显著正相关;即便最优模型仍与人类水平存在明显差距,表明当前VLMs在低级操作推理上仍有较大提升空间。

IRIS: An Immersive Robot Interaction System
CoRL 20252025-10-23

IRIS: An Immersive Robot Interaction System

Xinkai Jiang, Qihao Yuan, Enes Ulas Dincer, Hongyi Zhou, Ge Li, Xueyin Li, Xiaogang Jia, Timo Schnizer, Nicolas Schreiber, Weiran Liao, Julius Haag, Kailai Li, Gerhard Neumann, Rudolf Lioutikov

Karlsruhe Institute of Technology;University of Groningen

海报机器人学习

现有基于扩展现实(XR)的机器人数据收集系统往往受限于特定资产、模拟器或头显设备,难以复用和扩展。本文提出IRIS,一个通用可扩展的沉浸式机器人交互框架,通过统一场景规范支持跨场景(含可变形物体)、跨具身、跨模拟器(MuJoCo/IsaacSim/CoppeliaSim/Genesis)和跨虚实环境的可视化与交互,并兼容Quest 3、HoloLens 2等多种XR设备及多用户协同。实验表明,该系统在仿真与真实场景中均能实现高效直观的沉浸式数据收集。

ActLoc: Learning to Localize on the Move via Active Viewpoint Selection
CoRL 20252025-08-28

ActLoc: Learning to Localize on the Move via Active Viewpoint Selection

Viewpoint Selection, Jiajie Li, Boyang Sun, Luca Di Giammarino, Hermann Blum, Marc Pollefeys

ETH Z¨urich;Sapienza University of Rome

海报机器人学习

现有视觉定位系统常假设同一位置各朝向信息量相同,但在特征贫乏或歧义区域定位易失效。本文提出ActLoc,以注意力模型编码场景地图与建图位姿,单次前向推断即可预测任意三维点各偏航−俯仰角上的定位精度分布,并将其嵌入路径规划器,使机器人在线选择能最大化定位鲁棒性的朝向。实验表明,该方法在单视角选择与长程轨迹规划中均优于现有基线,且模块化设计便于迁移。

AnyPlace: Learning Generalizable Object Placement for Robot Manipulation
CoRL 20252025-09-24

AnyPlace: Learning Generalizable Object Placement for Robot Manipulation

Yuchi Zhao, Miroslav Bogdanovic, Chengyuan Luo, Steven Tohme, Kourosh Darvish, Alán Aspuru-Guzik, Florian Shkurti, Animesh Garg

University of Toronto;Vector Institute;Shanghai Jiao Tong University;Wilfrid Laurier University;Georgia Institute of Technology

海报操作

针对机器人放置任务中物体几何与配置多样性带来的挑战,该研究提出AnyPlace——一种完全基于合成数据训练的两阶段方法。其核心洞察在于利用视觉语言模型先定位粗略放置区域,再基于局部点云以扩散模型预测精细且多模态的放置姿态,从而降低学习难度并提升泛化性。实验表明,该方法在高保真仿真中成功率与覆盖率均优于基线;在真实世界的插入、堆叠、悬挂等任务中平均成功率与覆盖率达76%,并能零样本泛化至16种未见过的新物体放置任务。

AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Real World
CoRL 20252025-04-02

AutoEval: Autonomous Evaluation of Generalist Robot Manipulation Policies in the Real World

Zhiyuan Zhou, Pranav Atreya, You Liang Tan, Karl Pertsch, Sergey Levine

UC Berkeley;NVIDIA

海报操作数据集/基准

针对通用机器人策略真实评估中人工成本高、难以规模化的问题,本文提出AutoEval系统,通过类集群调度的队列机制实现7×24小时自主评估。其核心在于利用大预训练模型习得自动场景重置与成功检测策略,并针对具体任务微调,从而几乎无需人工干预。实验表明,该系统在BridgeData V2环境下每日可完成500次评估,结果与人工评估高度一致,且比仿真基准更可靠;作者已将系统开源并开放公共AutoEval单元供社区提交策略。

Poke and Strike: Learning Task-Informed Exploration Policies
CoRL 20252025-08-29

Poke and Strike: Learning Task-Informed Exploration Policies

Marina Y. Aoyama, Jo˜ao Moura, Juan Del Aguila Ferrandis, Sethu Vijayakumar

School of Informatics;The University of Edinburgh, UK

海报机器人学习

针对动态操作中机器人需先辨识未知物理属性且失败不可逆的问题,本文提出任务引导的强化学习探索框架:利用特权任务策略对属性估计误差的敏感度自动生成探索奖励,并联合训练在线估计器与基于不确定性的切换机制,实现自适应探索与探索后立即执行,无需测试时重训练。在击打任务中成功率达90%、平均探索时间低于1.2秒,显著优于基线,并在KUKA iiwa实体平台上验证有效。

Ensuring Force Safety in Vision-Guided Robotic Manipulation via Implicit Tactile Calibration
CoRL 20252025-11-29

Ensuring Force Safety in Vision-Guided Robotic Manipulation via Implicit Tactile Calibration

Lai Wei, Jiahua Ma, Yibo Hu, Ruimao Zhang

Sun Yat-sen University; UC San Diego;Sun Yat-sen University;Zhejiang University

海报操作触觉

针对视觉引导的机器人操作(如开门)中,末端执行器轨迹与物体约束运动路径偏差导致有害力的问题,本文提出扩散模型SafeDiff。该方法不同于传统视觉与触觉的顺序融合,而是将实时力反馈作为校准信号,隐式修正视觉生成的未来状态序列,从而在纯位置控制框架下实现力安全。在仿真与真实场景的开门实验中,该方法显著降低了有害力并提升成功率,此外还构建了大规模仿真数据集SafeDoorManip50k并提出了多维力安全评估指标。

Off Policy Lyapunov Stability in Reinforcement Learning
CoRL 20252026-01-16

Off Policy Lyapunov Stability in Reinforcement Learning

Sarvan Gill, Daniela Constantiescu

Department of Mechanical Engineering;University of Victoria, Canada

海报触觉强化学习

针对现有神经Lyapunov函数只能利用on-policy数据导致样本效率低下的问题,本文提出一种off-policy框架:将Lyapunov函数建模为状态与动作的联合函数,通过当前策略的动作期望满足稳定性条件以兼容历史数据;并将其嵌入Soft Actor-Critic与PPO。仿真实验表明,在倒立摆与Mujoco四旋翼任务中,该方法显著提升了样本效率且性能优于现有稳定RL基线。

ReCoDe: Reinforcement Learning-based Dynamic Constraint Design for Multi-Agent Coordination
CoRL 20252025-08-02

ReCoDe: Reinforcement Learning-based Dynamic Constraint Design for Multi-Agent Coordination

Michael Amir, Guang Yang, Zhan Gao, Keisuke Okumura, Heedo Woo, Amanda Prorok

海报触觉强化学习多智能体

针对多智能体导航中手工约束难以应对复杂协调(如拥堵、死锁)的问题,本文提出ReCoDe:在保留专家优化控制器的基础上,通过多智能体强化学习为其动态叠加可学习的二次约束。核心洞察在于利用GNN策略输出约束参数(参考动作与不确定半径),使智能体在拥堵时收紧约束实现精细控制、在空旷时放松约束以信赖专家,从而动态分配控制权。实验显示,该方法在四项任务中平均回报比次优基线高18%,样本量仅需端到端MARL的5%,并在真实机器人窄走廊对穿实验中避免了基线QP的死锁。

Human-like Navigation in a World Built for Humans
CoRL 20252025-09-25

Human-like Navigation in a World Built for Humans

Bhargav Chandaka, Gloria X. Wang, Haozhe Chen, Henry Che, Albert J. Zhai, Shenlong Wang

University of Illinois Urbana-Champaign

海报移动/足式机器人

现有机器人导航系统难以利用人类环境中的指示牌、房间标签或向人问路等高阶信息,导致在陌生大型建筑中效率低下。本文提出ReasonNav,其关键洞察是将这些类人导航技能统一整合进VLM智能体框架:系统通过低层流构建包含门牌、指示牌、行人等地标的记忆库,并以紧凑的JSON抽象输入VLM,使其专注于高层推理与规划;高层流根据VLM选择的地标调用预设行为原语执行。在真实与模拟环境的房间搜索任务中,该方法成功让机器人利用环境语言线索进行高效导航,并验证了高阶技能对大型场景导航性能的显著增益。

Efficient Evaluation of Multi-Task Robot Policies With Active Experiment Selection
CoRL 20252025-02-14

Efficient Evaluation of Multi-Task Robot Policies With Active Experiment Selection

Abrar Anwar, Rohan Gupta, Zain Merchant, Sayan Ghosh, Willie Neiswanger, Jesse Thomason

University of Southern California

海报数据集/基准

针对多任务机器人策略评估中实验成本高昂、穷举测试不现实的痛点,本文将评估形式化为主动测试问题:利用自然语言先验刻画任务间相似性,构建跨任务与策略的性能分布替代模型,并基于成本感知的期望信息增益启发式,顺序选择信息量最大的试验。在真实机器人与仿真数据上的验证表明,该方法能显著降低评估开销,同时有效估计各策略在不同任务上的性能表现。

Fail2Progress: Learning from Real-World Robot Failures with Stein Variational Inference
CoRL 20252025-09-01

Fail2Progress: Learning from Real-World Robot Failures with Stein Variational Inference

Yixuan Huang, Novella Alvina, Mohanraj Devendran Shanthi, Tucker Hermans

University of Utah;NVIDIA Research

海报机器人学习

针对真实世界长程操作中技能效果模型在分布外场景频繁失败的问题,本文提出Fail2Progress框架,将失败案例学习形式化为变分推断问题,利用Stein变分推断并行生成与真实失败匹配的多模态低保真仿真数据,在避免真实环境探索风险的同时高效扩充针对性训练样本以微调模型。在包括多物体运输、受限货架与桌面整理等移动操作任务的大规模仿真与真实世界实验中,该方法展现出优于多个基线的失败恢复与未来失败最小化能力,真实部署成功率约为80%。

ControlVLA: Few-shot Object-centric Adaptation for Pre-trained Vision-Language-Action Models
CoRL 20252025-06-19

ControlVLA: Few-shot Object-centric Adaptation for Pre-trained Vision-Language-Action Models

Puhao Li, Yingying Wu, Ziheng Xi, Wanlin Li, Yuzhe Huang, Zhiyuan Zhang, Yinghan Chen, Jianan Wang, Song-Chun Zhu, Tengyu Liu, Siyuan Huang

Tsinghua University;State Key Lab of General Artificial Intelligence, BIGAI;Peking University;Astribot Inc.

海报视觉语言动作/视觉语言模型

针对真实场景下机器人操作演示数据稀缺的难题,现有少样本方法常依赖仿真增强或预构建模块,难以跨越sim-to-real鸿沟,而直接微调预训练VLA模型又需大量数据。ControlVLA提出一种ControlNet风格的微调框架,通过零初始化的键值投影层将物体中心表示注入预训练VLA模型,在保留通用先验的同时逐步适应任务特定的物体属性,实现稳定且高效的少样本迁移。实验表明,该方法在8项真实世界操作任务中仅用10–20条演示即达到76.7%的成功率,显著优于基线方法,并在长程任务及未见物体与背景上展现出良好的扩展性与鲁棒性。

SafeBimanual: Diffusion-based trajectory optimization for safe bimanual manipulation
CoRL 20252025-08-25

SafeBimanual: Diffusion-based trajectory optimization for safe bimanual manipulation

Haoyuan Deng, Wenkai Guo, Qianzhun Wang, Zhenyu Wu, Ziwei Wang

Nanyang Technological University;Beijing University of Posts and Telecommunications

海报操作扩散/流模型规划

现有扩散策略在双臂操作中忽视物理安全约束,易导致机械臂碰撞或撕裂物体。本文提出SafeBimanual,一种即插即用的测试时轨迹优化框架:针对不同协作模式设计多样化安全代价函数,并通过视觉语言模型动态调度关键点关系生成最优约束;在模拟和真实任务中分别将成功率提升13.7%与32.5%,不安全交互降低18.8%与30.0%。

Junction State Estimation for Efficient Exploration in Reinforcement Learning
CoRL 20252025

Junction State Estimation for Efficient Exploration in Reinforcement Learning

Benjamin Fele, Jan Babiˇc, Jamova cesta

Joˇzef Stefan Institute

海报触觉强化学习

针对强化学习在稀疏奖励下探索效率低的问题,本文指出现有基于赋权(empowerment)的方法需精确建模长程动作序列的环境转移,样本效率受限。为此,作者提出Door(s)启发式度量,通过估计状态占用分布的熵来识别状态空间中的交汇状态(junction states),无需依赖动作序列即可近似未来状态可达性,显著降低长程估计的样本需求。实验表明,该方法在倒立摆和迷宫环境中以更少数据达到与长程赋权相当的效果,能检测死胡同并提升状态访问均匀性,且其编码的交汇状态行为有助于下游机器人操作任务的学习。

QuaDreamer: Controllable Panoramic Video Generation for Quadruped Robots
CoRL 20252025-10-15

QuaDreamer: Controllable Panoramic Video Generation for Quadruped Robots

Sheng Wu, Fei Teng, Hao Shi, Qi Jiang, Kai Luo, Kaiwei Wang, Kailun Yang

Hunan University;Zhejiang University;Nanyang Technological University

海报移动/足式机器人感知

针对四足机器人全景感知数据稀缺且采集困难的问题,本文提出首个专为四足机器人设计的可控全景视频生成引擎QuaDreamer。该方法通过垂直抖动编码提取高频振动信号,并设计场景-物体控制器实现抖动与物体运动的精准控制,同时以双流全景增强器矫正宽视场畸变并保障全局一致性。实验表明,该方法在可控性指标上较基线提升43.86%,且生成的合成数据能显著增强下游多目标跟踪性能,HOTA与MOTA分别提升10.14%和14.75%。

COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping
CoRL 20252025-02-14

COMBO-Grasp: Learning Constraint-Based Manipulation for Bimanual Occluded Grasping

Jun Yamada, Alexander L. Mitchell, Jack Collins, Ingmar Posner

University of Oxford

海报操作

针对物体与支撑面接触导致抓取姿态被遮挡的问题,现有强化学习因双臂协调复杂而样本效率低,模仿学习又需大量专家示教。本文提出COMBO-Grasp,将任务分解为约束策略与抓取策略的协同:前者基于力闭合信号自监督学习生成稳定姿态,后者通过强化学习完成重定向与抓取。核心创新在于值函数引导的策略协调,利用联合训练的值函数梯度优化约束姿态以提升双臂配合,并通过教师-学生蒸馏实现点云策略的虚实迁移。实验表明,该方法在仿真和真实环境中对已知及未知物体均显著提高了遮挡抓取成功率。

D-Cubed: Latent Diffusion Trajectory Optimisation for Dexterous Deformable Manipulation
CoRL 20252024-03-19

D-Cubed: Latent Diffusion Trajectory Optimisation for Dexterous Deformable Manipulation

Jun Yamada, Shaohong Zhong, Jack Collins, Ingmar Posner

Applied A2I Lab;University of Oxford

海报操作扩散/流模型规划

现有轨迹优化因搜索空间巨大与代价函数信号稀疏而难以胜任灵巧手可变形物体操作。D-Cubed利用与任务无关的play数据训练潜扩散模型,先以VAE学习技能隐空间表征短程动作,再在反向扩散中引入交叉熵方法进行无梯度引导采样,迭代筛选低代价轨迹完成长程优化。在公开基准上,该方法显著优于传统梯度与采样优化方法,所得轨迹可直接迁移至真实LEAP手执行折叠任务。

Long-VLA: Unleashing Long-Horizon Capability of Vision Language Action Model for Robot Manipulation
CoRL 20252025-08-27

Long-VLA: Unleashing Long-Horizon Capability of Vision Language Action Model for Robot Manipulation

Yiguo Fan!”, Pengxiang Ding!!, Shuanghao Bai, Xinyang Tong!”, Yuyang Zhu, Hongchao Lu!, Fengqi Dai!, + WeiZhao!, Yang Liu!, Siteng Huang!, Zhaoxin Fan, Badong Chen~, Donglin Wang! ~

‘Westlake University;Zhejiang University;Xi’an Jiaotong University;Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing;>University

海报操作视觉语言动作/视觉语言模型规划

现有VLA模型多聚焦短程任务,难以处理长程操作中的技能链与子任务依赖问题。Long-VLA提出阶段感知输入掩码策略,在统一端到端架构内将子任务动态划分为移动与交互阶段,并依据阶段特性适配第三人称或第一人称视角输入,从而缓解跨阶段误差传播与表示偏移,且无需改动VLA主体网络即可即插即用。在提出的L-CALVIN基准及真实机器人任务中,该方法显著优于现有最优方案,展现出良好的长程规划与执行能力。

ImLPR: Image-based LiDAR Place Recognition using Vision Foundation Models
CoRL 20252025-08-08

ImLPR: Image-based LiDAR Place Recognition using Vision Foundation Models

Minwoo Jung, Lanke Frank Tarimo Fu, Maurice Fallon, Ayoung Kim

Department of Mechanical Engineering;Seoul National University, South Korea;Department of Engineering Science;University of Oxford, United Kingdom

海报操作感知

针对视觉基础模型已在视觉位置识别中展现优势、但激光雷达位置识别仍受限于特定任务模型的现状,本文提出ImLPR,通过将点云渲染为包含反射率、距离和法线比率的三通道距离图像视图,并引入轻量级MultiConv适配器与Patch-InfoNCE损失,在冻结大部分DINOv2权重的前提下实现视觉基础模型向LiDAR域的有效迁移。实验表明,该方法在多个公开数据集的单时段与跨时段任务中均优于现有最优方法。

MoTo: A Zero-shot Plug-in Interaction-aware Navigation for General Mobile Manipulation
CoRL 20252025-09-01

MoTo: A Zero-shot Plug-in Interaction-aware Navigation for General Mobile Manipulation

Zhenyu Wu, Angyuan Ma, Xiuwei Xu, Hang Yin, Yinan Liang, Ziwei Wang, Jiwen Lu, Haibin Yan

School of IEA;Beijing University of Posts and Telecommunications;Department of Automation;Tsinghua University;Beijing Key Laboratory of Embodied Intelligence Systems;Beijing National Research Center for Information Science and Technology;School of Electrical and Electronic Engineering;Nanyang Technological University

海报操作移动/足式机器人

现有固定基座操作基础模型虽具备强泛化能力,但受限于无法移动;而端到端移动操作方案因专家数据昂贵导致泛化性差。本文提出MoTo,一种零样本即插即用的交互感知导航模块:利用视觉语言模型在多视图一致性下提取目标物体与机械臂的交互关键点,并通过轨迹优化最小化两者距离、保证物理可行性,从而为任意现成固定基座操作模型生成合适的停靠点。在OVMM仿真和真实世界实验中,该方法无需移动操作训练数据,成功率较SOTA分别提升2.68%和16.67%。

RobotxR1: Enabling Embodied Robotic Intelligence on Large Language Models through Closed-Loop Reinforcement Learning
CoRL 20252025-08-30

RobotxR1: Enabling Embodied Robotic Intelligence on Large Language Models through Closed-Loop Reinforcement Learning

Liam Boyle, Nicolas Baumann, Paviththiren Sivasothilingam, Michele Magno, Luca Benini

Center for Project-Based Learning;Integrated Systems Laboratory;ETH Zurich

海报触觉视觉语言动作/视觉语言模型强化学习

现有具身智能多依赖云端大模型或静态数据蒸馏,难以部署到算力受限的边缘端且缺乏环境交互。本文将R1-Zero从静态数学任务拓展到机器人闭环强化学习,提出由决策LLM与MPC控制器协同的RobotxR1框架,使小模型通过环境反馈获得物理推理能力。在缩比自动驾驶场景中,Qwen2.5-3B控制适应性达63.3%,超过GPT-4o的58.5%;1.5B模型较纯SFT基线提升20.2个百分点,且可单卡RTX 3090训练并部署于Jetson Orin AGX。

GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data
CoRL 20252025-08-27

GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action Data

Shengliang Deng, Mi Yan, Songlin Wei, Haixin Ma, Yuxin Yang, Jiayi Chen, Zhiqi Zhang, Taoyu Yang, Xuheng Zhang, Wenhao Zhang, Heming Cui, Zhizheng Zhang, He Wang

Peking University;The University of Hong Kong

海报操作视觉语言动作/视觉语言模型

现有VLA模型依赖昂贵真实世界数据,本文仅以十亿级合成动作数据预训练抓取基础模型GraspVLA。其Progressive Action Generation机制将自回归感知与流匹配动作生成统一为思维链,实现合成与互联网数据的联合训练,缓解sim-to-real差距,支持开放词汇抓取。实验表明,该模型可直接sim-to-real迁移,在真实场景与LIBERO基准中零样本泛化能力强,且在透明物体抓取和少样本适应人类偏好上优于现有方法。

Learning from 10 Demos: Generalisable and Sample-Efficient Policy Learning with Oriented Affordance Frames
CoRL 20252025-08-31

Learning from 10 Demos: Generalisable and Sample-Efficient Policy Learning with Oriented Affordance Frames

with Oriented Affordance Frames, Krishan Rana, Jad Abou-Chakra, Sourav Garg, Robert Lee, Ian Reid, Niko S¨underhauf

QUT Centre for Robotics;Queensland University of Technology;University of Adelaide

海报机器人学习

针对长程多物体操作中模仿学习样本效率低、难以组合泛化的问题,本文提出定向可供性坐标系,将状态与动作表示对齐到以任务相关可供性为中心、朝向工具方向的局部坐标系,使独立子策略仅需约10次示教即可训练,并在测试时自然泛化到未见空间布局与同类物体变化。进一步通过自进度预测实现子策略自动切换,无需额外仲裁策略。在三个真实世界任务中,该方法在极少数据下实现了对未见外观与几何的稳健泛化,并显著优于图像输入与全局坐标系基线。

Learning Long-Context Diffusion Policies via Past-Token Prediction
CoRL 20252025-05-19

Learning Long-Context Diffusion Policies via Past-Token Prediction

Past-Token Prediction, Marcel Torne, Andy Tang, Yuejiang Liu, Chelsea Finn

Stanford University

海报扩散/流模型

现有扩散策略在长上下文中常因未能有效建模历史与未来动作的时序依赖而性能衰退。本文提出Past-Token Prediction(PTP)辅助任务,令策略在预测未来动作的同时重构过去动作token,显式正则化历史信息保留;并采用短上下文预训练视觉编码器、缓存embedding后微调策略头的多阶段策略,显著降低显存与计算开销。测试阶段进一步利用PTP对候选动作自验证。在6项模拟与4项真实任务中,该方法将长上下文扩散策略性能提升3倍,训练加速10倍以上,并在历史依赖关键任务上达到80%成功率。

Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation
CoRL 20252024-09-24

Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation

Homanga Bharadhwaj, Debidatta Dwibedi, Abhinav Gupta, Shubham Tulsiani, Carl Doersch, Ted Xiao, Dhruv Shah, Fei Xia, Dorsa Sadigh, Sean Kirmani

海报操作

针对机器人操作数据收集昂贵且难以覆盖多样场景的问题,本文提出Gen2Act,将语言条件化操作解耦为“零样本人类视频生成”与“生成视频驱动的闭环执行”:利用网络预训练视频模型在新场景中直接生成人类操作视频作为运动先验,训练以生成视频和观测历史为条件的策略,仅需少量机器人数据且无需微调视频模型,同时以点轨迹预测损失显式捕捉运动信息。真实实验表明,该方法在未见物体类型和新动作上的绝对成功率较最强基线平均提升约30%,并可串联完成煮咖啡等长程任务。

Articulate AnyMesh: Open-vocabulary 3D Articulated Objects Modeling
CoRL 20252025-05-12

Articulate AnyMesh: Open-vocabulary 3D Articulated Objects Modeling

Objects Modeling, Xiaowen Qiu, Jincheng Yang, Yian Wang, Zhehuan Chen, Yufei Wang, Tsun-Hsuan Wang, Zhou Xian, Chuang Gan

海报感知

针对现有铰接物体建模受限于少数手工类别、缺乏开放世界泛化能力的问题,本文提出Articulate AnyMesh,一种将任意刚性3D网格自动转化为开放词汇铰接物体的框架。该方法通过视觉语言模型与视觉提示提取语义并分割可动部件,进而利用连接区域的几何线索推断关节参数,摆脱了对标注铰接数据或同物体多状态观测的依赖。实验表明,该框架能批量生成工具、机械、车辆等多样化高质量铰接资产,且所得数据可用于仿真中的机器人操纵策略学习并迁移至真实系统。

Phantom: Training Robots Without Robots Using Only Human Videos
CoRL 20252025-03-02

Phantom: Training Robots Without Robots Using Only Human Videos

Marion Lepert, Jiaying Fang, Jeannette Bohg

Stanford University

海报数据集/基准

为突破机器人遥操作数据采集成本高、场景多样性受限的瓶颈,本文提出 Phantom 方法:仅利用人类演示视频,通过手部姿态估计与图像修复将人手替换为渲染的机械臂,以数据编辑对齐人机视觉分布,从而无需任何机器人数据即可训练闭环模仿学习策略并实现零样本部署。实验在抓取放置、叠杯、清扫、打结等多任务上验证有效,Hand Inpaint 策略显著优于基线,并展现了对新场景及不同机器人(Franka、Kinova)的泛化能力。

Residual Neural Terminal Constraint for MPC-based Collision Avoidance in Dynamic Environments
CoRL 20252025-08-28

Residual Neural Terminal Constraint for MPC-based Collision Avoidance in Dynamic Environments

Bojan Deraji´c, Mohamed-Khalil Bouzidi, Sebastian Bernhard, Wolfgang H¨onig

Technical University of Berlin, Germany;Continental Automotive Technologies GmbH, Germany;Free University of Berlin, Germany

海报机器人学习

针对动态环境中MPC避障难以实时构造控制不变终端集的问题,本文利用Hamilton-Jacobi可达性值函数可表示为符号距离函数(SDF)与非负残差之差的性质,仅用一个输出非负的神经网络在线估计该残差并从SDF中扣除,从而以相同计算成本获得不低于SDF安全性的实时最大安全集,再采用超网络参数化残差以提升泛化能力。仿真与硬件实验表明,该方法在最优基线基础上将避障成功率最高提升30%,并保持低行驶时间。

Hold My Beer: Learning Gentle Humanoid Locomotion and End-Effector Stabilization Control
CoRL 20252025-06-03

Hold My Beer: Learning Gentle Humanoid Locomotion and End-Effector Stabilization Control

Yitang Li, Yuanhang Zhang, Wenli Xiao, Chaoyi Pan, Haoyang Weng, Guanqi He, Tairan He, Guanya Shi

Carnegie Mellon University

海报人形机器人移动/足式机器人

针对人形机器人行走时末端执行器抖动剧烈、难以完成端水等精细任务的问题,本文指出运动控制的慢动态与末端稳定控制的快动态存在本质冲突。为此提出SoFTA框架,将上下半身解耦为两个独立智能体,分别以100Hz和50Hz运行,并设计针对性的奖励函数。该方法将末端执行器加速度降低50%至80%,在真实机器人上实现了端液行走、稳定录像和抗干扰等精细操作。

TReF-6: Inferring Task-Relevant Frames from a Single Demonstration for One-Shot Skill Generalization
CoRL 20252025-09-28

TReF-6: Inferring Task-Relevant Frames from a Single Demonstration for One-Shot Skill Generalization

Yuxuan Ding, Shuangge Wang, Tesca Fitzgerald

Yale University

海报模仿学习

机器人从单条示教泛化时往往因缺乏可迁移的空间表征而失败。本文观察到示教轨迹的几何形状隐含着铰链、平面等空间约束,提出TReF-6,通过优化方向一致性得分从单条轨迹推断出隐式影响点,构建6自由度任务相关局部坐标系,并借助视觉语言模型与Grounded-SAM在新场景中语义定位该坐标系,以重新参数化动态运动原语。该方法无需物体先验或人工标注,仿真与真实机器人实验均表明其能在不同物体位形下实现单次示教技能泛化并保持任务意图。

UniTac2Pose: A Unified Approach Learned in Simulation for Category-level Visuotactile In-hand Pose Estimation
CoRL 20252025-09-19

UniTac2Pose: A Unified Approach Learned in Simulation for Category-level Visuotactile In-hand Pose Estimation

Pose Estimation, Mingdong Wu, Long Yang, Jin Liu, Weiyao Huang, Lehong Wu, Zelin Chen, Daolin Ma, Hao Dong

Center on Frontiers of Computing Studies, School of Computer Science;Peking University;PKU-AgiBot Lab, School of Ocean and Civil Engineering;Shanghai Jiao Tong University

海报触觉感知

针对现有触觉手中姿态估计方法在精度与未见CAD泛化性上的不足,本文提出UniTac2Pose,以基于能量的扩散模型统一实现姿态估计、跟踪与不确定性量化。该框架通过三阶段推理——候选采样预排序、梯度迭代细化与后排序——精确定位物体姿态,并引入render-compare架构弥合仿真到真实的差距。仅依靠仿真数据训练,该方法在真实实验中持续优于回归、匹配及配准基线,并展现出对同类未见过CAD模型的强泛化能力。

Bipedal Balance Control with Whole-body Musculoskeletal Standing and Falling Simulations
CoRL 20252025-09-08

Bipedal Balance Control with Whole-body Musculoskeletal Standing and Falling Simulations

Chengtian Ma, Yunyue Wei, Chenhui Zuo, Chen Zhang, Yanan Sui

Tsinghua University

海报人形机器人

现有双足平衡研究多聚焦行走动态,对静态站立与跌倒的定量理解仍显不足,且缺乏全身肌肉骨骼层面的精细建模。本文提出了一种分层平衡控制框架HBC,在包含700个肌肉-肌腱单元的全身人体模型上实现免训练的站立与跌倒模拟。通过高层MPPI规划关节目标与低层PD肌肉控制的协同,该方法不仅识别了稳定站立的时空动力学规律与肌肉损伤下的适应性策略,还生成了与临床数据一致的跌倒接触模式,并验证了髋部外骨骼辅助能有效降低扰动下的肌肉负荷。

Do LLM Modules Generalize? A Study on Motion Generation for Autonomous Driving
CoRL 20252025-09-02

Do LLM Modules Generalize? A Study on Motion Generation for Autonomous Driving

Mingyi Wang, Jingke Wang, Tengju Ye, Junbo Chen, Kaicheng Yu

Westlake University

海报机器人学习

自动驾驶运动生成与大语言模型共享自回归序列建模结构,但哪些LLM模块可迁移仍缺乏系统认知。本文首次对Tokenizer、位置嵌入、预训练、后训练与测试时计算五大模块在Waymo Sim Agents基准上的可迁移性进行全面对比,发现预训练与测试时计算可直接复用且呈幂律扩展,而连续运动的离散化、空间关系编码与多目标偏好优化则需领域适配。实验表明,经适配后的模块组合在开放集运动生成任务上取得了有竞争力的性能,其中GRPO后训练在安全性与真实感之间取得了最佳平衡。

AgentWorld: An Interactive Simulation Platform for Scene Construction and Mobile Robotic Manipulation
CoRL 20252025-08-13

AgentWorld: An Interactive Simulation Platform for Scene Construction and Mobile Robotic Manipulation

Yizheng Zhang, Zhenjun Yu, Jiaxin Lai, Cewu Lu, Lei Han

Shanghai Jiao Tong University

海报操作移动/足式机器人

现有平台常局限于场景生成或固定数据集,难以兼顾高保真场景构建与移动机器人数据收集。AgentWorld基于Omniverse Isaac Sim与Unreal Engine,实现了程序化场景生成与移动遥操作采集,支持轮式/足式机器人及夹爪/灵巧手的长程操作。其数据集涵盖150个家居场景与逾千条轨迹,经BC、ACT、Diffusion Policy及π0验证,表明该平台在家庭移动操作任务上具备sim-to-real迁移能力,但多阶段长程任务仍需少量真实数据微调以弥合域差距。

FastUMI: A Scalable and Hardware-Independent Universal Manipulation Interface with Dataset
CoRL 20252025-02-01

FastUMI: A Scalable and Hardware-Independent Universal Manipulation Interface with Dataset

Kehui Liu, Chuyue Guan, Zhongjie Jia, Ziniu Wu, Xin Liu, Tianyu Wang, Shuai Liang, Pengan Chen, Pingrui Zhang, Haoming Song, Delin Qu, Dong Wang, Zhigang Wang, Nieqing Cao, Yan Ding, Bin Zhao, Xuelong Li

Shanghai AI Lab;Shanghai Jiao Tong University;University of Bristol;Fudan University;The University of Hong Kong;Xi’an Jiaotong-Liverpool University;Institute of AI, China Telecom Corp Ltd

海报操作数据集/基准

FastUMI 针对现有通用操作接口(UMI)部署成本高、硬件依赖强及软件校准复杂的问题,对硬件与软件进行了系统性重设计:硬件上通过解耦专用组件、引入标准化指尖附件与 ISO 兼容相机支架,实现对多种机械臂和夹爪的快速适配;软件上以 RealSense T265 现成跟踪模块取代复杂 VIO 管线,显著降低部署门槛并提升遮挡鲁棒性。实验表明,该系统可在多样化操作场景中稳定完成数据采集,并配套开源了包含 22 项日常任务、逾万条轨迹的高质量数据集。

Towards Generalizable Safety in Crowd Navigation via Conformal Uncertainty Handling
CoRL 20252025-08-07

Towards Generalizable Safety in Crowd Navigation via Conformal Uncertainty Handling

Jianpeng Yao, Xiaopan Zhang, Yu Xia, Zejin Wang, Amit K. Roy-Chowdhury, and Jiachen Li

University of California, Riverside

海报移动/足式机器人

现有强化学习人群导航方法在分布外场景中性能急剧退化,根源在于智能体过度依赖易过拟合的行人轨迹预测却缺乏对其可靠性的显式考量。本文提出将自适应共形推断在线得到的预测不确定性估计融入约束强化学习,通过不确定性引导代价设计来规范智能体行为,从而提升对分布偏移的鲁棒性。实验显示,该方法在分布内将成功率提升逾8.80%、碰撞减少约3.7倍,并在速度、策略及群体动态三类分布外测试中显著优于SOTA,且已直接迁移至真实机器人平台运行。

Reflective Planning: Vision-Language Models for Multi-Stage Long-Horizon Robotic Manipulation
CoRL 20252025-02-23

Reflective Planning: Vision-Language Models for Multi-Stage Long-Horizon Robotic Manipulation

Yunhai Feng, Jiaming Han, Zhuoran Yang, Xiangyu Yue, Sergey Levine, Jianlan Luo

Cornell University;The Chinese University of Hong Kong;Yale University;University of California, Berkeley.

海报操作视觉语言动作/视觉语言模型规划

针对现有视觉语言模型缺乏精细物理推理与长程规划能力、难以胜任多阶段操作任务的问题,本文提出ReflectVLM,一种基于测试时计算的反思式规划框架。其核心洞察在于利用扩散动力学模型想象执行动作后的未来视觉状态,使VLM能够基于具体预测批判性地反思并迭代修正计划,从而在无需大量重训练的情况下增强对物理约束的理解。实验表明,该方法在多阶段长程操作任务上显著优于主流商业VLM、蒙特卡洛树搜索及监督微调等后训练方法。

Unsupervised Skill Discovery as Exploration for Learning Agile Locomotion
CoRL 20252025-08-12

Unsupervised Skill Discovery as Exploration for Learning Agile Locomotion

Seungeun Rho, Kartik Garg, Morgan Byrd, Sehoon Ha

Georgia Institute of Technology

海报移动/足式机器人

现有足式机器人敏捷运动学习往往依赖繁琐的奖励工程、专家演示或手工课程。本文提出SDAX框架,将无监督技能发现转化为高层探索策略,通过双层优化自动调节任务奖励与技能多样性奖励的权衡系数λ,使机器人自主发现跨越障碍所需的行为。实验表明,该方法无需人工课程或示教即可习得跳跃、攀爬、飞跃及墙跳等复杂技能,并成功迁移至真实四足机器人平台。

HyperTASR: Hypernetwork-Driven Task-Aware Scene Representations for Robust Manipulation
CoRL 20252025-09-20

HyperTASR: Hypernetwork-Driven Task-Aware Scene Representations for Robust Manipulation

Li Sun, Jiefeng Wu, Feng Chen, Ruizhe Liu, Yanchao Yang

Institute of Data Science & Department of Electrical and Electronic Engineering;The University of Hong Kong

海报操作

现有机器人策略学习通常采用固定、任务无关的场景表示提取,忽略了人类视觉会根据任务目标与执行阶段动态调整认知的启示。本文提出HyperTASR,利用超网络根据任务指令与当前进度动态生成表示转换参数,在兼容现有策略架构的同时,使场景表示在执行过程中持续演化。仿真与真实实验表明,该方法能选择性关注任务相关元素,在RLBench上将GNFactor成功率提升逾27%,并首次使3D Diffuser Actor单视图配置突破80%成功率。

GENNAV: Polygon Mask Generation for Generalized Referring Navigable Regions
CoRL 20252025-08-28

GENNAV: Polygon Mask Generation for Generalized Referring Navigable Regions

Kei Katsumata, Yui Iioka, Naoki Hosomi, Teruhisa Misu, Kentaro Yamada, Komei Sugiura

Keio University, Japan;Honda R&D Co., Ltd., Japan;Honda Research Institute USA, USA

海报移动/足式机器人

现有视觉导航方法在处理无目标、多目标以及边界模糊的stuff-type可导航区域时存在明显不足。本文提出GENNAV,通过引入存在感知多边形分割模块与地标分布Patch化模块,在预测目标存在性的同时以多边形形式高效生成任意数量目标区域的分割掩码,并构建了涵盖三种样本类型的GRiN-Drive基准。实验表明,该方法在标准指标上优于基线,并在五个不同城市部署四辆汽车的真实环境零样本迁移实验中展现出较强的跨域鲁棒性。

PicoPose: Progressive Pixel-to-Pixel Correspondence Learning for Novel Object Pose Estimation
CoRL 20252025-08-29

PicoPose: Progressive Pixel-to-Pixel Correspondence Learning for Novel Object Pose Estimation

Liuhua Liu, Jiehong Lin, Zhenxin Liu, Kui Jia

South China University of Technology;The University of Hong Kong;The Chinese University of Hong Kong, Shenzhen

海报感知

针对机器人应用仅需RGB图像进行新物体零样本位姿估计的需求,现有方法因简单特征匹配导致对应噪声大、外点多,PicoPose提出了三阶段渐进式像素级对应学习框架。其先通过视觉Transformer匹配观测与渲染模板获得粗对应,再全局回归2D仿射变换平滑并滤除外点,最后在局部区域细化对应偏移以建立精细2D-3D匹配,经PnP求解6D位姿。该方法在BOP基准七个核心数据集上取得无需位姿精调的最优表现,展现出优异的泛化能力与快速部署潜力。

CHD: Coupled Hierarchical Diffusion for Long-Horizon Tasks
CoRL 20252025-10-12

CHD: Coupled Hierarchical Diffusion for Long-Horizon Tasks

Ce Hao, Anxing Xiao, Zhiwei Xue, Harold Soh

School of Computing;National University of Singapore; Smart Systems Institute, NUS

海报扩散/流模型规划

现有层次化扩散规划器的高层子目标与低层轨迹耦合松散,子目标一旦生成就固定不变,低层无法反馈修正,导致长程规划不连贯。本文提出耦合层次扩散(CHD),将两者纳入统一扩散过程联合建模,通过共享分类器把低层轨迹反馈传回高层,使子目标在采样中自校正,并支持异步并行生成与分段规划以降低复杂度。实验表明,CHD在迷宫导航、桌面操作及真实家庭长程任务中均优于扁平与层次基线,在包含90余个子任务的复杂备餐场景中表现突出。

BEVCalib: LiDAR-Camera Calibration via Geometry-Guided Bird’s-Eye View Representation
CoRL 20252026-05-04

BEVCalib: LiDAR-Camera Calibration via Geometry-Guided Bird’s-Eye View Representation

Weiduo Yuan, Jerry Li, Justin Yue, Divyank Shah, Konstantinos Karydis, Hang Qiu

University of Southern California, University of California, Riverside

海报机器人学习

针对传统LiDAR-相机标定依赖标定板且难以适应运动场景的问题,本文提出首个基于鸟瞰图(BEV)特征的无目标标定方法BEVCalib。该方法将图像与点云投影至共享BEV空间,通过几何引导解码器与特征选择器显式对齐几何信息并高效估计外参校正量。在KITTI和NuScenes上,该方法将平移与旋转误差较最优基线分别平均降低约47%/82%与78%/68%,相较开源可复现基线提升一个数量级。

Latent Adaptive Planner for Dynamic Manipulation
CoRL 20252025-08-29

Latent Adaptive Planner for Dynamic Manipulation

Donghun Noh♠, Deqian Kong♠, Minglu Zhao, Andrew Lizarraga, Jianwen Xie, Ying Nian Wu♣, Dennis Hong♣

海报操作规划

动态非预抓取操作(如接箱子)要求机器人在毫秒级尺度上适应不可预测的物体轨迹与物理属性,但现有方法多依赖大量机器人试错或难以精确仿真的物理建模。本文提出Latent Adaptive Planner,将轨迹级规划建模为低维潜在空间中的变分推断,通过在线贝叶斯后验更新实现实时重规划;并引入基于模型的比例映射,从人类演示视频中重建运动学-动力学状态以跨越具身差异。实验表明,该方法在多变物体属性的接箱子任务中取得了更高的成功率与能效,展现出类人柔顺运动,且同一批人类演示可直接迁移至异构机器人平台。

SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World RL
CoRL 20252025-08-16

SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World RL

Jiaheng Hu, Peter Stone, Roberto Mart´ın-Mart´ın

The University of Texas at Austin

海报人形机器人强化学习

针对高自由度机器人在真实世界强化学习中面临样本效率低与安全探索难的问题,传统sim-to-real方法又受现实鸿沟限制。本文提出SLAC,在低保真仿真中通过无监督技能发现预训练一个兼具时间抽象、状态解耦与安全约束的任务无关隐式动作空间,并以其作为动作接口在真实世界进行下游强化学习。该方法使双臂移动机器人在无任何演示或手工先验的情况下,仅通过不到一小时的真实交互即可习得接触丰富的全身操作任务。

Neural Robot Dynamics
CoRL 20252025-08-21

Neural Robot Dynamics

Jie Xu, Eric Heiden, Iretiayo Akinola, Dieter Fox, Miles Macklin, Yashraj Narang

NVIDIA;University of Washington

海报机器人学习

针对现有神经仿真器因端到端替代整个经典仿真器、缺乏全局状态表示而导致无法泛化到新任务与新环境的局限,本文提出NeRD(Neural Robot Dynamics)。其核心创新在于采用混合框架,仅以学习模型替换分析仿真器中的底层前向动力学与接触求解器,并引入以机器人为中心、对重力轴平移旋转不变的状态表示。实验表明,NeRD在六种机器人系统上可实现长达数千步的稳定精确预测,支持跨任务与跨控制器的泛化,并能通过真实数据微调缩小仿真与现实差距。此外,仅在NeRD神经仿真器中训练的策略可零样本迁移至分析仿真器乃至真实硬件。

GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-Language Navigation
CoRL 20252025-09-12

GC-VLN: Instruction as Graph Constraints for Training-free Vision-and-Language Navigation

Hang Yin, Haoyu Wei, Xiuwei Xu, Wenxuan Guo, Jie Zhou, Jiwen Lu

Department of Automation;Tsinghua University;Beijing Key Laboratory of Embodied Intelligence Systems;Beijing National Research Center for Information Science and Technology

海报移动/足式机器人

针对现有视觉语言导航方法依赖离散环境或仿真器训练导致的sim-to-real鸿沟,本文提出GC-VLN,一个面向连续环境的完全免训练框架。其核心洞察是将人类指令分解为显式空间约束,并构建约束库与有向无环图,把导航转化为图约束优化问题,通过约束求解器逐步确定路径点坐标;同时引入导航树与回溯机制处理多解与无解情况。在R2R-CE和RxR-CE基准上,该方法在成功率和效率上显著优于现有零样本方法,且真实世界实验验证了其强泛化能力。

Constrained Style Learning from Imperfect Demonstrations under Task Optimality
CoRL 20252025-09-23

Constrained Style Learning from Imperfect Demonstrations under Task Optimality

Kehan Wen, Chenhao Li, Junzhe He, Marco Hutter

ETH Zurich;ETH AI Center

海报模仿学习

针对实际示教数据常与任务条件不完全对齐、直接模仿易损害任务性能的问题,本文提出ConsMimic框架,将风格学习建模为带任务最优性约束的CMDP,通过自适应拉格朗日乘子动态调节模仿权重,并引入对称增强风格奖励缓解任务-示教不匹配导致的模式坍塌。该工作在机械臂、四足及人形机器人的仿真与实机实验中均实现了鲁棒任务性能与高保真风格的平衡,在ANYmal-D硬件上更取得机械能耗降低14.5%且步态更敏捷的效果。

TypeTele: Releasing Dexterity in Teleoperation by Dexterous Manipulation Types
CoRL 20252025-07-02

TypeTele: Releasing Dexterity in Teleoperation by Dexterous Manipulation Types

Yuhao Lin, Yi-Lin Wei, Haoran Liao, Mu Lin, Chengyi Xing, Hao Li, Dandan Zhang, Mark Cutkosky, Wei-Shi Zheng

School of Computer Science and Engineering;Sun Yat-sen University, China;Stanford University, USA;Imperial College London, UK

海报操作模仿学习

现有灵巧手遥操作多通过模仿人手姿势进行重定向,既受限于人类动作可行性,又因人手机理差异导致不稳定与自碰撞。本文提出TypeTele,以“灵巧操作类型”为核心,构建分层类型库覆盖30种典型姿势,并借助多模态大语言模型自动检索当前任务的最优类型,再通过插值映射将人手动作映射到对应类型执行。实验表明,该系统能完成传统重定向无法实现的复杂任务,显著提升遥操作数据采集效率与数据质量,并增强后续模仿学习策略的成功率与鲁棒性。

VT-Refine: Learning Bimanual Assembly with Visuo-Tactile Feedback via Simulation Fine-Tuning
CoRL 20252025-10-18

VT-Refine: Learning Bimanual Assembly with Visuo-Tactile Feedback via Simulation Fine-Tuning

Binghao Huang, Jie Xu, Iretiayo Akinola, Wei Yang, Balakumar Sundaralingam, Rowland O’Flaherty, Dieter Fox, Xiaolong Wang, Yu-Wei Chao, Yunzhu Li, Equal advising

Columbia University;NVIDIA;University of California, San Diego

海报操作触觉

针对高精度接触丰富的双手装配任务中人类演示成本高、多样性不足且缺乏触觉反馈的问题,该研究提出VT-Refine框架:先以少量真实演示预训练视觉-触觉扩散策略,再将其迁移至GPU并行的模拟数字孪生中进行大规模强化学习微调,并特意选用易于模拟的压阻式法向力触觉传感器,配合统一的点云表示显著缩小sim-to-real差距。在五个复杂装配任务上的实验表明,该框架在模拟与真实环境中均大幅提升了策略成功率,并验证了高分辨率触觉反馈在预训练与微调阶段的关键作用。

Adapt3R: Adaptive 3D Scene Representation for Domain Transfer in Imitation Learning
CoRL 20252025-05-15

Adapt3R: Adaptive 3D Scene Representation for Domain Transfer in Imitation Learning

Albert Wilcox, Mohamed Ghanem, Masoud Moghani, Pierre Barroso, Benjamin Joffe, Animesh Garg

Georgia Institute of Technology;Georgia Tech Research Institute;University of Toronto

海报模仿学习感知

针对模仿学习策略在分布外观察(如新相机位姿或机器人本体)下脆弱的问题,现有3D表示跨域泛化提升有限。本文提出Adapt3R,将语义推理卸载至预训练2D视觉基础模型,仅利用3D几何将语义特征定位到末端执行器坐标系,经点云后处理与注意力池化生成条件向量,可即插即用于多种模仿学习算法。在93项模拟与6项真实任务中,该方法端到端训练保持算法学习能力,并实现对新视角与本体的零样本迁移,真实实验中相较次优基线提升43.8%。

FOMO-3D: Using Vision Foundation Models for Long-Tailed 3D Object Detection
CoRL 20252025

FOMO-3D: Using Vision Foundation Models for Long-Tailed 3D Object Detection

Anqi Joyce Yang, James Tu, Nikita Dvornik, Enxu Li, Raquel Urtasun

海报感知

针对自动驾驶中长尾物体(如施工工人、道路碎片)因训练数据不足而检测困难的问题,本文提出FOMO-3D,首次将视觉基础模型引入多模态3D检测。该方法融合OWLv2的开放词汇检测与Metric3Dv2的度量深度先验,通过相机分支将2D检测结果抬升至3D空间生成提案,再经跨模态注意力机制精修。在nuScenes及高速公路数据集上,其显著优于仅用车端数据训练的方案,尤其改善长尾类别与远距离目标的检测性能,但高计算开销使其目前更适用于离线处理。

Extracting Visual Plans from Unlabeled Videos via Symbolic Guidance
CoRL 20252025-08-07

Extracting Visual Plans from Unlabeled Videos via Symbolic Guidance

via Symbolic Guidance, Wenyan Yang, Ahmet Tikna, Yi Zhao, Yuying Zhang, Luigi Palopoli, Marco Roveri, Joni Pajarinen

Department of Electrical Engineering and Automation;Aalto University;Department of Engineering and Computer Science, University of Trento

海报机器人学习

针对现有视频生成模型在视觉规划中存在的幻觉、推理慢和依赖人工标注等问题,本文提出Vis2Plan框架,利用视觉基础模型从未标注的play数据中自动提取符号,构建可解释的高层符号转移图。推理时,通过符号层面的A*搜索规划,再经图像检索与可达性估计生成物理一致的视觉子目标,指导底层策略执行。真实机器人实验表明,该方法较扩散视频规划基线成功率提升53%,规划速度提升35倍,平均仅需0.03秒。

Self-supervised perception for tactile skin covered dexterous hands
CoRL 20252025-05-16

Self-supervised perception for tactile skin covered dexterous hands

Akash Sharma, Carolina Higuera, Chaithanya Krishna Bodduluri, Zixi Liu, Taosha Fan, Tess Hellebrekers, Mike Lambeta, Byron Boots, Michael Kaess, Tingfan Wu, Francois Robert Hogan, Mustafa Mukadam

FAIR at Meta;Carnegie Mellon University;University of Washington

海报操作触觉感知

现有视觉触觉传感器受限于指尖覆盖与带宽,而可全手贴敷的磁性皮肤因磁通信号难解释且缺乏通用模型未被充分利用。本文提出 Sparsh-skin,一种面向分布式磁触觉传感器的自蒸馏预训练编码器,通过重新设计时间序列磁信号的 tokenization、掩码与学习策略,在约4小时无标签 Allegro 手交互数据上学习全手接触先验。实验表明,在状态估计与策略学习等下游任务中,该表示样本效率显著,仅用三分之一下游数据即比端到端训练平均提升约56%,较此前触觉表示学习方法提升约41%。

Predictive Red Teaming: Breaking Policies Without Breaking Robots
CoRL 20252025-02-10

Predictive Red Teaming: Breaking Policies Without Breaking Robots

Anirudha Majumdar, Mohit Sharma, Dmitry Kalashnikov, Sumeet Singh, Pierre Sermanet, Vikas Sindhwani

Google DeepMind;Princeton University

海报机器人学习

针对真实环境中评估机器人视觉运动策略脆弱性成本高昂的问题,本文提出“预测性红队测试”任务,并构建 RoboART 框架:利用生成式图像编辑在名义观测上批量生成多样环境扰动(如光照、背景、干扰物),再通过策略嵌入空间的异常检测预测性能退化。在十二种非名义条件下的 500 余次硬件实验表明,该方法对扩散策略性能退化的预测误差低于 0.19,并能指导定向数据采集,使策略在预测最差的条件下经微调后性能提升 2–7 倍。

Learning Long-Horizon Robot Manipulation Skills via Privileged Action
CoRL 20252025-02-21

Learning Long-Horizon Robot Manipulation Skills via Privileged Action

Xiaofeng Mao, Yucheng Xu, Zhaole Sun, Elle Miller, Daniel Layeghi, Michael Mistry

University of Edinburgh

海报操作

长程接触密集型操作因高维状态空间与稀疏奖励导致强化学习探索困难,易陷入局部最优且依赖任务专用奖励工程。本文提出在仿真中使用“特权动作”(如解除碰撞约束、施加虚拟力)来扩大有效探索空间,并通过课程学习逐步消除这些现实中不可行的特权,使策略最终满足物理约束。实验表明,该方法无需参考轨迹与复杂奖励设计即可习得将非抓取式操作与抓取结合的长程技能,在多种环境下收敛出鲁棒行为,并直接迁移至真实世界,性能优于现有方法。

Towards Embodiment Scaling Laws in Robot Locomotion
CoRL 20252025-08-29

Towards Embodiment Scaling Laws in Robot Locomotion

Liu Dai, Nico Bohlinger, Dichen Li, Tongzhou Mu, Zhanxin Wu, K. Fay, Henrik I. Christensen, Jan Peters, Hao Su

University of California San Diego, USA;Hillbot Inc, USA;Cornell University, USA;Technical University of Darmstadt, Germany;German Research Center for AI (DFKI); Robotics Institute Germany; hessian.AI, Germany

海报移动/足式机器人

本文旨在验证机器人具身扩展法则:训练机体数量的增加能否提升对未见过机体的泛化。针对此前跨机体学习规模受限的问题,团队程序化生成了约1000个涵盖人形、四足与六足的变拓扑、变几何、变关节约束的机体集合GENBOT-1K,并以两阶段框架将RL专家策略蒸馏为统一URMA策略。研究表明,机体扩展带来的泛化收益显著高于在固定机体上单纯扩展数据,且训练后的策略能零样本迁移至真实世界的Unitree Go2与H1等平台。

O$^3$Afford: One-Shot 3D Object-to-Object Affordance Grounding for Generalizable Robotic Manipulation
CoRL 20252025-09-07

O$^3$Afford: One-Shot 3D Object-to-Object Affordance Grounding for Generalizable Robotic Manipulation

Tongxuan Tian, Xuhui Kang, Yen-Ling Kuo

University of Virginia

海报操作感知

现有方法多聚焦单物体affordance,难以应对真实场景中成对物体交互的复杂功能关系,且物体间affordance数据稀缺。本文提出O3Afford,仅用一个示例即可学习3D物体间affordance:将DINOv2等视觉基础模型的语义特征蒸馏到点云上,通过双向交叉注意力同时推理源物体与目标物体的几何上下文,实现跨类别泛化;进而将预测的3D affordance与LLM结合生成操作约束,用于优化驱动的机器人操控。实验表明,该方法在affordance预测准确率和真实世界操作任务上均显著优于基线,具备良好的语义与几何泛化能力。

Estimating Value of Assistance for Online POMDP Robotic Agents
CoRL 20252025

Estimating Value of Assistance for Online POMDP Robotic Agents

Yuval Goshen, Sarah Keren

Technion - Israel Institute of Technology

海报机器人学习

针对多机器人在部分可观测环境中协作时“何时、如何援助队友”的实时决策难题,本文将援助价值(VOA)形式化为有/无援助时预期累积奖励之差,并提出了三种与领域无关的快速启发式估算方法(First-Action Value、Rollout-Policy 与 Full-Information)。实验表明,基于全信息确定性规划的启发式在 RockSample 基准与协作操作任务中实现了最佳效率与准确性权衡,能在 0.1 秒内准确识别高价值援助动作,而仅依赖 Rollout 策略的方法难以捕捉长期影响。

Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation
CoRL 20252025-08-08

Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation

Youguang Xing, Xu Luo, Junlin Xie, Lianli Gao, Hengtao Shen, Jingkuan Song

Tongji University

海报数据集/基准

该研究指出,尽管基于Open X-Embodiment等大规模数据集的通用机器人策略数据量庞大,其泛化能力仍受限于捷径学习。通过理论与实证分析,作者发现数据集内部多样性不足以及子数据集间分布差异导致的碎片化是诱发捷径学习的两大根源。据此,研究不仅提出了针对性的数据收集策略建议,还验证了在无法采集新数据时,通过特定的数据增强方法即可有效缓解捷径学习,并在仿真与真实环境中显著提升了π0等策略的泛化表现。

SDS – See it, Do it, Sorted: Quadruped Skill Synthesis from Single Video Demonstration
CoRL 20252025-08-20

SDS – See it, Do it, Sorted: Quadruped Skill Synthesis from Single Video Demonstration

Maria Stamatopoulou, Jeffrey Li, Dimitrios Kanoulas

Robot Perception Lab;University College London, United Kingdom

海报模仿学习移动/足式机器人感知

针对四足机器人步态学习长期依赖动捕或人工奖励调参的痛点,本文提出SDS框架,利用GPT-4o从单条无标注视频直接生成可执行的PPO奖励函数。其核心在于网格化视频提示(Gv)与多智能体行为分解(SUS)的新颖提示策略,并通过训练回放的闭环进化自动优化奖励,无需预定义适应度指标。该方法在Unitree Go1上实现了trot、bound等四种步态的100%匹配与零失败真机部署,且可零样本泛化至ANYmal等不同构型的四足机器人。

TrackVLA: Embodied Visual Tracking in the Wild
CoRL 20252025-05-29

TrackVLA: Embodied Visual Tracking in the Wild

Shaoan Wang, Jiazhao Zhang, Minghan Li, Jiahang Liu, Anqi Li, Kui Wu, Fangwei Zhong, Junzhi Yu, Zhizheng Zhang, He Wang

Peking University;Beihang University;Beijing Normal University

海报视觉语言动作/视觉语言模型

现有具身视觉追踪方法多将目标识别与轨迹规划解耦,导致模块间误差累积,难以应对严重遮挡与高动态场景。TrackVLA 将二者统一于单一 VLA 框架,共享 LLM 骨干并分别通过语言建模头与基于锚点的扩散头实现联合训练,同时构建了含 170 万样本的 EVT-Bench 数据集。实验表明,该方法在公开基准上 zero-shot 达到 SOTA,并在真实环境中以 10 FPS 实现对新目标与新场景的强泛化追踪。

GLOVER++: Unleashing the Potential of Affordance Learning from Human Behaviors for Robotic Manipulation
CoRL 20252025-05-17

GLOVER++: Unleashing the Potential of Affordance Learning from Human Behaviors for Robotic Manipulation

Teli Ma, Jia Zheng, Zifan Wang, Ziyao Gao, Jiaming Zhou, Junwei Liang, HKUST (GZ)

海报操作

为弥合人类日常行为与机器人操作能力之间的鸿沟,该研究指出现有方法难以从丰富的人类视频中蒸馏出可迁移的可操作affordance,且缺乏大规模精确标注数据。为此,作者构建了包含50万张图像、覆盖1726类物体与675类动作的HOVA-500K数据集,并以精确的点级affordance标注替代模糊的mask边界。基于此提出的GLOVER++框架采用全局到局部的训练策略,在保持视觉语言模型全局语义理解的同时注入局部affordance推理能力,实现跨场景、跨模态的开放词汇迁移。该框架在HOVA-500K基准上达到SOTA,并在零样本操作、多任务模仿学习以及长程与双手真实机器人任务中展现出强泛化性。

LaDi-WM: A Latent Diffusion-Based World Model for Predictive Manipulation
CoRL 20252025-09-12

LaDi-WM: A Latent Diffusion-Based World Model for Predictive Manipulation

Yuhang Huang, Defense Technology, Jiazhao Zhang, Shilong Zou, Xinwang Liu, Ruizhen Hu, Kai Xu

National University of;Peking University;Shenzhen University

海报操作扩散/流模型规划

现有世界模型在像素级预测上精度与泛化性不足,且潜空间方法多面向图像重建,难以显式建模几何与语义信息。为此,本文提出基于潜空间扩散的LaDi-WM,直接在预训练视觉基础模型(DINO几何与CLIP语义)的潜空间中预测未来状态,并通过交互式扩散过程建模二者的动态关联。进一步,基于预测状态设计迭代精化的想象引导扩散策略。实验表明,该方法在LIBERO-LONG模拟基准和真实场景下分别带来27.9%与20%的成功率提升,并展现出较强的跨任务泛化能力。

ManiFlow: A General Robot Manipulation Policy via Consistency Flow Training
CoRL 20252025-09-01

ManiFlow: A General Robot Manipulation Policy via Consistency Flow Training

Ge Yan, Jiyue Zhu, Yuquan Deng, Shiqi Yang, Ri-Zhao Qiu, Xuxin Cheng, Marius Memmel, Ranjay Krishna, Ankit Goyal, Xiaolong Wang, Dieter Fox

University of Washington;Nvidia;Allen Institute for Artifical Intelligence

海报操作

现有流匹配策略在复杂灵巧操作中面临推理效率低、多模态融合不足与泛化性弱的问题。ManiFlow将连续时间一致性训练与流匹配联合优化,无需教师模型即可在1–2步内生成高质量高维动作,并系统分析了时间采样策略的影响;同时提出DiT-X架构,以自适应交叉注意力与AdaLN-Zero实现细粒度多模态条件编码。实验表明,该方法在模拟灵巧与多任务基准上显著优于扩散及流匹配基线,并在真实世界单臂、双臂和人形机器人的8项复杂任务中将3D Diffusion Policy的成功率提升逾一倍,对未见物体和环境变化表现出强鲁棒性与扩展性。

Robot Learning from Any Images
CoRL 20252025-10-08

Robot Learning from Any Images

Siheng Zhao, Jiageng Mao, Wei Chow, Zeyu Shangguan, Tianheng Shi, Rong Xue, Yuxi Zheng, Yijia Weng, Yang You, Daniel Seita, Leonidas Guibas, Sergey Zakharov, Vitor Guizilini, Yue Wang

University of Southern California;Stanford University;Toyota Research Institute

海报模仿学习

针对机器人学习面临的数据规模与多样性瓶颈,本文提出RoLA框架,将任意单张图像(包括互联网图片)自动恢复为可交互的物理场景,无需额外硬件或多视角采集。其核心洞察在于利用基础模型先验从单图推断场景几何、物理属性与相机参数,并通过视觉混合策略合成照片级逼真的视觉运动演示,替代传统的完整渲染管线。实验表明,该方法可大规模生成物理合理的机器人训练数据,在机械臂与人形机器人上实现单图real-to-sim-to-real部署;以苹果抓取为例,基于互联网图像预训练并微调后,真实抓取成功率显著提升,且视觉混合较直接网格渲染大幅改善了策略学习性能。

Deep Reactive Policy: Learning Reactive Manipulator Motion Planning for Dynamic Environments
CoRL 20252025-09-08

Deep Reactive Policy: Learning Reactive Manipulator Motion Planning for Dynamic Environments

Jiahui Yang, Jason Jingzhou Liu, Yulong Li, Youssef Khaky, Kenneth Shaw, Deepak Pathak

Carnegie Mellon University

海报操作规划

针对机械臂在动态、部分可观测环境中的实时无碰撞运动规划难题,本文提出Deep Reactive Policy(DRP)。其核心IMPACT是一个基于Transformer的视觉-运动策略,首先在利用cuRobo大规模生成的千万级专家轨迹上进行预训练,继而通过迭代学生-教师微调显著改善静态避障能力;在推理阶段,DRP进一步引入局部反应式目标提议模块DCP-RMP以应对动态障碍物。在包含杂乱场景与动态障碍的模拟及真实环境评测中,DRP的成功率均优于现有经典与学习方法。

CASPER: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models
CoRL 20252025-07-04

CASPER: Inferring Diverse Intents for Assistive Teleoperation with Vision Language Models

Huihan Liu, Rutav Shah, Shuijing Liu, Jack Pittenger, Mingyo Seo, Yuchen Cui, Yonatan Bisk, Roberto Mart´ın-Mart´ın, Yuke Zhu

The University of Texas at Austin;The University of California, Los Angeles;Carnegie Mellon University

海报模仿学习视觉语言动作/视觉语言模型

现有辅助遥操作系统多受限于预定义任务或封闭对象集合,难以在开放环境中通过常识推理理解多样化用户意图。本文提出CASPER,利用视觉语言模型的常识知识,在后台实时推断用户意图并通过自一致性校验确保置信度,随后调用参数化技能库自主完成长程移动操作任务。在TIAGo机器人上超过80小时的用户研究表明,该系统显著提升了任务成功率、用户满意度并降低了认知负荷。

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations
CoRL 20252025-09-20

UniSkill: Imitating Human Videos via Cross-Embodiment Skill Representations

Hanjung Kim, Jaehyun Kang, Hyolim Kang, Meedeum Cho, Seon Joo Kim, Youngwoon Lee

Yonsei University

海报机器人学习

针对机器人模仿人类视频时因外观与物理差异导致的跨本体迁移难题,现有方法多依赖成对数据或场景对齐,难以规模化。本文提出UniSkill,通过捕捉远距离帧间的动态变化并借助图像编辑突出运动区域,直接从大规模无标签的野外视频(如Something-Something V2、DROID等)中学习本体无关的技能表示,无需人类与机器人数据配对或语义标签。实验表明,UniSkill在仿真与真实环境中均实现了有效的人到机器人、机器人到机器人模仿,对未见视频提示和新物体具有良好泛化性,且随训练数据增加而持续提升性能。

ParticleFormer: A 3D Point Cloud World Model for Multi-Object, Multi-Material Robotic Manipulation
CoRL 20252025-08-25

ParticleFormer: A 3D Point Cloud World Model for Multi-Object, Multi-Material Robotic Manipulation

Suning Huang, Qianzhong Chen, Xiaohan Zhang, Jiankai Sun, Mac Schwager

Stanford University;RAI Institute

海报操作规划感知

现有基于图神经网络的3D世界模型受限于固定拓扑与单材料场景,且训练依赖耗时的3D场景重建。本文提出ParticleFormer,以Transformer替代图网络学习点云粒子交互,并设计混合点云损失(Chamfer距离与Hausdorff距离)直接监督传感器点云,避免显式重建。该方法在刚性体、布料、绳索及颗粒物质等多材料多物体场景中实现了更准确的动态预测,并在6项仿真与3项真实机器人实验中取得优于基线的表现,可直接结合MPC完成操作任务。

Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration
CoRL 20252025-08-16

Crossing the Human-Robot Embodiment Gap with Sim-to-Real RL using One Human Demonstration

Tyler Ga Wei Lum, Olivia Y. Lee, C. Karen Liu, Jeannette Bohg

Stanford University;@stanford.edu

海报模仿学习仿真到现实强化学习

教机器人灵巧操作通常需大量穿戴设备或遥操作demo,扩展性差,人类视频直接利用也受困于本体差异与动作标签缺失。本文提出HUMAN2SIM2ROBOT,仅凭一段RGB-D视频,以物体位姿轨迹定义本体无关奖励,并以操作前手部姿态初始化并引导仿真中的RL探索,无需任务特定奖励调优即可实现零样本仿真到现实迁移。在单demo设定下,该方法在抓取、非抓取及多步任务上比轨迹回放高55%以上,比模仿学习高68%以上,并完成倒水壶等任务。

One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies
CoRL 20252025

One Demo is Worth a Thousand Trajectories: Action-View Augmentation for Visuomotor Policies

Chuer Pan, Litian Liang, Dominik Bauer, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Shuran Song

Stanford University;Columbia University

海报模仿学习

视觉运动模仿学习策略对机器人初始位姿变化和未见过障碍物极为敏感,而重复采集多配置演示数据成本高昂。本文提出1001 DEMOS框架,从单条眼到手鱼眼相机演示出发,利用轨迹优化生成物理可行且避障的动作轨迹,并通过专为鱼眼相机扩展的3D Gaussian Splatting渲染对应视角图像,实现轨迹级动作-观察一致性增强;同时采用接触感知机制保护原始接触动力学。仿真与真实世界实验表明,该方法在RoboMimic基准及真实拾放、非抓取任务中均显著提升了策略的空间泛化能力与避障成功率。

VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision
CoRL 20252025-08-29

VLM-AD: End-to-End Autonomous Driving through Vision-Language Model Supervision

Yi Xu, Yuxin Hu, Zaiwei Zhang, Gregory P. Meyer, Siva Karthik Mustikovela, Siddhartha Srinivasa, Eric M. Wolff, Xin Huang, Cruise LLC (GM)

Northeastern University

海报视觉语言动作/视觉语言模型

现有端到端驾驶模型仅模仿轨迹而缺乏决策推理学习,难以应对复杂场景。VLM-AD以视觉语言模型为教师,自动生成包含推理文本与结构化动作标签的驾驶行为标注,并设计了两个即插即用的辅助监督任务,将常识推理能力蒸馏到任意端到端模型中,且推理时无需VLM。在nuScenes上的实验显示其显著提升了规划精度并降低了碰撞率,在CARLA Town05闭环评测中也提高了路径完成度与驾驶得分,验证了推理监督对长时交互驾驶的有效性。

LLM-Guided Probabilistic Program Induction for POMDP Model Estimation
CoRL 20252025-05-12

LLM-Guided Probabilistic Program Induction for POMDP Model Estimation

Aidan Curtis, Hao Tang, Thiago Veloso, Kevin Ellis, Joshua Tenenbaum, Tom´as Lozano-P´erez, Leslie Pack Kaelbling

MIT;Cornell University

海报机器人学习

针对POMDP环境模型难以手工构建的瓶颈,本文提出以大语言模型为先验,自动生成并迭代修正短概率程序,从而从数据中学习可解释的低复杂度POMDP模型(涵盖转移、观测、奖励与初始状态分布)。在经典POMDP、MiniGrid仿真及真实移动机器人搜索任务上的实验表明,该方法在样本效率与最终性能上均显著优于表格化模型学习、行为克隆与直接LLM规划。

Vision in Action: Learning Active Perception from Human Demonstrations
CoRL 20252025-06-18

Vision in Action: Learning Active Perception from Human Demonstrations

Human Demonstrations, Haoyu Xiong, Xiaomeng Xu, Jimmy Wu, Yifan Hou, Jeannette Bohg, Shuran Song

Stanford University

海报模仿学习感知

现有模仿学习系统多依赖腕部或固定相机,难以处理遮挡场景,且与人类演示时的主动注视行为存在观测空间错配。本文提出ViA系统,以6-DoF机械臂构建灵活机器颈部,并设计基于中间3D场景表示的VR遥操作界面,在低延迟渲染的同时异步控制实体相机,从而直接从人类演示中学习搜索、跟踪与聚焦等主动感知策略。实验表明,在三个存在严重视觉遮挡的双臂操作任务中,ViA的成功率较基线提升45%,显著优于固定或腕部相机方案。

Point Policy: Unifying Observations and Actions with Key Points for Robot Manipulation
CoRL 20252025-02-27

Point Policy: Unifying Observations and Actions with Key Points for Robot Manipulation

Siddhant Haldar, Lerrel Pinto

New York University

海报操作

针对机器人遥操作数据收集成本高昂的问题,本文提出仅利用离线人类演示视频学习机器人策略的Point Policy框架。其核心洞察是将人类与机器人共处的三维空间通过语义关键点统一表示观察与动作,利用视觉模型提取手部和物体关键点,经Transformer预测未来机器人三维点轨迹,再通过刚体几何约束反解末端执行器六自由度位姿,从而弥合形态差异。在Franka机器人上的8项真实任务中,该方法在相同训练设置下较前序工作取得75%的绝对性能提升,对新物体实例泛化提升74%,且对背景干扰保持鲁棒。

From Tabula Rasa to Emergent Abilities: Discovering Robot Skills via Real-World Unsupervised Quality-Diversity
CoRL 20252025-08-28

From Tabula Rasa to Emergent Abilities: Discovering Robot Skills via Real-World Unsupervised Quality-Diversity

Real-World Unsupervised Quality-Diversity, Luca Grillotti, Lisa Coiffard, Oscar Pang, Maxence Faldor, Antoine Cully

Adaptive & Intelligent Robotics Lab;Imperial College London

海报机器人学习

针对现有质量多样性方法依赖人工定义技能空间且难以直接在真实硬件部署的局限,本文提出URSA框架,通过扩展QDAC引入可学习的潜在技能表示、安全约束与基于核密度估计的高效采样,使四足机器人可在真实世界中无监督地探索并掌握多样化运动技能。该框架以DayDreamer世界模型为骨干进行想象训练,无需依赖仿真环境,在Unitree A1上验证了仿真与真实场景中均能发现多样步态,且所学技能库在损伤适应等下游任务中于多个仿真与真实场景下优于基线方法。

Robust Dexterous Grasping of General Objects
CoRL 20252025-08-14

Robust Dexterous Grasping of General Objects

Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

ETH Zurich, Switzerland

海报操作

现有灵巧抓取方法多依赖预扫描模型、人类演示或静态姿态执行,难以泛化到未知物体且缺乏扰动适应能力。本文提出一种基于单视角视觉的零样本动态灵巧抓取框架:以手指关节与物体表面间的动态距离向量构建手部中心化的局部形状表征,绕过对全局精确几何的依赖;并通过特权教师策略与混合课程学习(先模仿后强化)训练学生策略,在观测噪声和动态随机化下实现对扰动的在线适应。该方法在仿真中于24万余个未见物体上达到97.0%成功率,在真实机器人上对512个未见物体达到94.6%,并展现出抗外力与碰撞的鲁棒性。

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids
CoRL 20252025-09-01

Sim-to-Real Reinforcement Learning for Vision-Based Dexterous Manipulation on Humanoids

Toru Lin, Kartik Sachdev, Linxi “Jim” Fan, Jitendra Malik, Yuke Zhu

UC Berkeley1

海报操作人形机器人仿真到现实触觉强化学习

现有方法多依赖昂贵的模仿学习与大规模人工数据采集,难以扩展到人形机器人的视觉驱动双手灵巧操作。本文提出一套实用的sim-to-real强化学习方案,通过自动化real-to-sim系统辨识、基于接触与物体状态的关键点奖励设计、分而治之的策略蒸馏以及混合物体表征,使低成本人形机器人在仅依赖RGBD视觉与本体感知的情况下,完成抓取、双手提升与交接等长程接触密集型任务。实验表明,策略对未见过的新物体零样本成功率达60%-80%,见过的物体达90%,且可迁移至两种不同灵巧手硬件。

Humanoid Policy ~ Human Policy
CoRL 20252025-10-05

Humanoid Policy ~ Human Policy

Ri-Zhao Qiu, Shiqi Yang, Xuxin Cheng, Chaitanya Chawla, Jialong Li, Tairan He, Ge Yan, David Yoon, Ryan Hoque, Lars Paulsen, Ge Yang, Jian Zhang, Sha Yi, Guanya Shi, Xiaolong Wang

UC San Diego, CMU, Apple, University of Washington, MIT

海报人形机器人

本文针对人形机器人遥操作数据收集昂贵、难以扩展的问题,提出利用大规模第一人称人类演示作为跨具身训练数据。作者构建了任务导向数据集PH2D,通过消费级VR采集精确3D手部姿态,并设计Human Action Transformer(HAT),在统一的状态-动作空间中将人类与人形机器人视为不同具身进行端到端联合训练。实验表明,引入人类数据显著提升了策略的泛化性与鲁棒性,且数据收集效率远高于纯机器人遥操作。

ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation
CoRL 20252025-10-06

ToddlerBot: Open-Source ML-Compatible Humanoid Platform for Loco-Manipulation

Haochen Shi, Weizhuo Wang, Shuran Song, C. Karen Liu

Stanford University

海报操作人形机器人

现有机器人平台常侧重机械性能而忽视研究对经济性、可修复性与ML兼容性的需求。ToddlerBot是一款面向全身运动操作学习的低成本开源小型人形平台,高0.56米、重3.4千克、具备30个主动自由度,成本低于6000美元且可全3D打印。该工作提出即插即用的零点校准与可迁移电机系统辨识,构建高保真数字孪生,实现行走等策略的零样本仿真到现实迁移;并设计全身遥操作界面收集真实数据,以扩散策略完成双手与全身操作。实验显示,独立复现的硬件实例间可直接迁移策略并保持90%操作成功率,验证了系统的可复现性与ML兼容性。

TWIST: Teleoperated Whole-Body Imitation System
CoRL 20252025-05-05

TWIST: Teleoperated Whole-Body Imitation System

Yanjie Ze, Zixuan Chen, Jo˜ao Pedro Ara´ujo, Zi-ang Cao, Xue Bin Peng, Jiajun Wu, C. Karen Liu

Stanford University;Simon Fraser University Equal Advising

海报人形机器人模仿学习

现有类人遥操作系统多局限于单一移动或操作任务,难以实现协调全身运动。本文提出TWIST,通过实时全身运动模仿遥操作人形机器人,核心创新包括两阶段教师-学生框架,以特权未来帧缓解单帧观察带来的延迟与犹豫;联合小规模在线动捕与大规模离线数据减轻分布偏移;并联合优化关节位置与方向以提升在线重定向质量,同时引入末端扰动增强接触力鲁棒性。基于强化学习与行为克隆训练的单一神经网络策略,在Unitree G1真机上实现了全身操作、腿部操作、移动及舞蹈等多样化全身技能。

exUMI: Extensible Robot Teaching System with Action-aware Task-agnostic Tactile Representation
CoRL 20252025-09-18

exUMI: Extensible Robot Teaching System with Action-aware Task-agnostic Tactile Representation

Yue Xu, Litao Wei, Pengyu An, Qingyu Zhang, Yong-Lu Li

Shanghai Jiao Tong University;Shanghai Innovation Institute

海报触觉

触觉数据稀缺且信号稀疏,现有系统缺乏力反馈,导致力敏感任务模仿学习困难。作者协同设计硬件与算法:推出exUMI设备,以AR动捕和旋转编码器替代脆弱SLAM,集成视触觉传感器与自动校准,实现近100%数据可用性;并提出Tactile Prediction Pretraining,通过以动作为条件预测未来触觉帧来学习动作感知且任务无关的表征。基于超100万帧数据预训练后,该表征在真实世界力敏感任务中较视觉基线带来超20%的成功率提升,并优于传统触觉模仿学习方法。

OPAL: Visibility-aware LiDAR-to-OpenStreetMap Place Recognition via Adaptive Radial Fusion
CoRL 20252025-08-27

OPAL: Visibility-aware LiDAR-to-OpenStreetMap Place Recognition via Adaptive Radial Fusion

Shuhao Kang, Martin Y. Liao, Yan Xia, Olaf Wysocki, Boris Jutzi, Daniel Cremers, (b) Performance, (a) Problem Setup

Technical University of Munich Wuhan University;University of Science and Technology of China University of Cambridge Karlsruhe Institute of Technology

海报操作感知

针对现有LiDAR地点识别依赖高存储预建地图、实时性不足的问题,本文提出以轻量且持续更新的OpenStreetMap为先验的OPAL框架。其关键创新包括:利用跨模态可见性掩码对齐LiDAR与OSM的共视区域以克服视点差异,并通过自适应径向融合模块动态聚合径向特征生成判别性全局描述符。KITTI与KITTI-360实验表明,单帧输入即可实现米级定位,在1米阈值top-1召回率上较现有方法提升15.98%,推理速度提升12倍。

CDP: Towards Robust Autoregressive Visuomotor Policy Learning via Causal Diffusion
CoRL 20252025-08-09

CDP: Towards Robust Autoregressive Visuomotor Policy Learning via Causal Diffusion

Jiahua Ma, Yiran Qin, CUHK(SZ); Oxford, Yixiong Li, Xuanqi Liao, Yulan Guo, Ruimao Zhang

Sun Yat-sen University

海报模仿学习扩散/流模型

现有扩散策略往往独立建模动作,忽视决策时序结构,且实际部署中受限于传感器噪声与硬件约束,仅依赖瞬时观测易导致误差累积与任务失败。本文提出因果扩散策略CDP,通过因果Transformer将历史动作序列作为条件引入动作生成,以时序连续性补偿空间观测不足,并设计KV缓存机制降低自回归推理的计算冗余。在多种模拟与真实场景的2D/3D操作任务中,CDP在标准及退化观测条件下均显著提升了操作精度与鲁棒性。

Robot Trains Robot: Automatic Real-World Policy Adaptation and Learning for Humanoids
CoRL 20252025-08-26

Robot Trains Robot: Automatic Real-World Policy Adaptation and Learning for Humanoids

Kaizhe Hu, Haochen Shi, Yao He, Weizhuo Wang, C. Karen Liu, Shuran Song

海报人形机器人数据集/基准

针对人形机器人在真实环境中进行强化学习时面临的安全隐患、奖励信号难以获取及学习效率低下等问题,本文提出 Robot-Trains-Robot(RTR)框架,由机械臂作为教师主动支撑并引导人形机器人学生,通过柔顺控制提供安全防护、自动课程调整难度、实时推导奖励信号,并实现故障检测与自动复位。同时,该方法通过优化单一动力学编码潜变量来稳定 sim-to-real 迁移。实验表明,RTR 仅用 20 分钟真实训练即可将行走速度较零样本策略提升一倍,并在 15 分钟内从零学会周期性摆动起身任务。

See, Point, Fly: A Learning-Free VLM Framework for Universal Unmanned Aerial Navigation
CoRL 20252025-09-26

See, Point, Fly: A Learning-Free VLM Framework for Universal Unmanned Aerial Navigation

Chih Yao Hu, Yang-Sen Lin, Yuna Lee, Chih-Hai Su, Jie-Ying Lee, Shr-Ruei Tsai, Chin-Yang Lin, Kuan-Wen Chen, Tsung-Wei Ke, Yu-Lun Liu

National Yang Ming Chiao Tung University;National Taiwan University

海报视觉语言动作/视觉语言模型移动/足式机器人

现有视觉语言无人机导航方法多将动作预测视为文本生成,难以表达高精度动作且受限于训练数据泛化性。本文提出See, Point, Fly(SPF),其关键洞察是将动作预测转化为二维空间定位任务:利用视觉语言模型直接在图像上标注二维航路点,并将其映射为三维位移指令,辅以自适应距离控制器实现闭环导航。该框架无需任务特定训练,在DRL仿真基准上将成功率提升63个百分点,在真实世界基准上提升82个百分点,于23项仿真与11项真实任务中分别达93.9%与92.7%的成功率,且能泛化至不同视觉语言模型。

LaVA-Man: Learning Visual Action Representations for Robot Manipulation
CoRL 20252025-09-29

LaVA-Man: Learning Visual Action Representations for Robot Manipulation

Chaoran Zhu, Hengyi Wang, Yik Lung Pang, Changjae Oh

Queen Mary University of London;University College London

海报操作

现有视觉-语言模型用于机器人操作时,仅通过计算图文相似度再映射到动作,缺乏对视觉状态转移因果关系的建模。LaVA-Man提出以目标图像重建作为自监督前置任务,使模型在无需动作标注的条件下,根据输入图像与语言指令预测被掩码的目标图像,从而隐式学习视觉-动作表征。研究还构建了包含180类共3200个实例的OOPP数据集以增强物体先验。在五个模拟与真实机器人基准上,该方法仅需少量示范微调即可达到SOTA性能。

3DS-VLA: A 3D Spatial-Aware Vision Language Action Model for Robust Multi-Task Manipulation
CoRL 20252025

3DS-VLA: A 3D Spatial-Aware Vision Language Action Model for Robust Multi-Task Manipulation

Xiaoqi Li, Liang Heng, Jiaming Liu, Yan Shen, Chenyang Gu, Zhuoyang Liu, Hao Chen, Nuowei Han, Renrui Zhang, Hao Tang, Shanghang Zhang, Hao Dong

CFCS, School of Computer Science, Peking University;PKU-AgiBot Lab;State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University;CUHK

海报操作视觉语言动作/视觉语言模型感知

现有2D VLA模型难以从2D图像推理3D空间关系,而3D模仿学习又受限于缺乏大规模预训练模型且忽视机器人与环境的时空交互。为此,3DS-VLA通过2D-to-3D位置对齐机制,让预训练2D视觉编码器直接理解3D点云观测,并引入序列化3D空间约束显式建模机器人在何时何地与环境交互。该方法在RLBench的26个单双臂任务及10项真实任务上超越现有SOTA,并展现出跨任务、跨本体和跨环境的泛化能力。

Uncertainty-aware Accurate Elevation Modeling for Off-road Navigation via Neural Processes
CoRL 20252025-08-07

Uncertainty-aware Accurate Elevation Modeling for Off-road Navigation via Neural Processes

Sanghun Jung, Daehoon Gwak, Byron Boots, James Hays

University of Washington;KAIST;Georgia Institute of Technology

海报规划移动/足式机器人

针对越野导航中地形高程建模在实时性、尖锐几何变化估计与不确定性量化方面的挑战,本文提出一种基于神经过程的方法。该方案融合LiDAR与相机的语义特征以提升未观测区域的插值与外推精度,并引入局部ball-query注意力机制,将计算复杂度降低17%的同时保留关键局部空间信息。在草地山丘、沙漠及含负障碍的复杂地形数据集上的实验表明,该方法在高程、坡度与曲率精度上均优于现有基线,并能提供可靠的不确定性估计。

Generalist Robot Manipulation beyond Action Labeled Data
CoRL 20252025-09-24

Generalist Robot Manipulation beyond Action Labeled Data

Alexander Spiridonov, Jan-Nico Zaech, Nikolay Nikolov, Luc Van Gool, Danda Pani Paudel

Sofia University “St. Kliment Ohridski”, Bulgaria;ETH Zurich, Switzerland

海报操作

现有通才机器人操作模型严重依赖带动作标签的机器人示教数据,采集成本高且难以扩展。本文提出 MotoVLA,采用两阶段训练突破该瓶颈:首先在大规模无标签的人类与机器人视频中,自监督学习手部或夹爪的动态三维点云序列,建立与具体本体无关的通用运动表示;随后利用少量带标签数据将点云预测器对齐到机器人动作空间。在仿真与真实环境中的实验表明,该方法显著提升了通才策略的域内与域外泛化能力,并能直接从人类无标签演示迁移执行新任务。

BranchOut: Capturing Realistic Multimodality in Autonomous Driving Decisions
CoRL 20252025

BranchOut: Capturing Realistic Multimodality in Autonomous Driving Decisions

Hee Jae Kim, Zekai Yin, Lei Lai, Jason Lee, Eshed Ohn-Bar

Boston University

海报机器人学习

现有自动驾驶规划方法难以捕捉人类驾驶行为的细粒度多模态特性,且标准评估协议常因依赖单条真值轨迹而惩罚合理多样的决策。为此,BranchOut提出一种端到端GMM扩散规划器,显式建模多样化驾驶行为分布;同时构建人在回路仿真基准,利用真实感三维重建与物理运动学模型重新驾驶场景,以低成本扩展多模态轨迹标注。该模型在nuScenes上取得视觉规划器最优性能,并揭示现有评估指标在衡量真实多模态行为时的局限性。

Co-Design of Soft Gripper with Neural Physics
CoRL 20252025-09-02

Co-Design of Soft Gripper with Neural Physics

Sha Yi, Xueqian Bai, Adabhav Singh, Jianglong Ye, Michael T. Tolley, Xiaolong Wang

University of California, San Diego

海报机器人学习

针对软体抓手设计中“刚度如何分布”与“如何抓取”高度耦合的难题,本文提出了一种基于可微神经物理代理的协同优化框架。作者设计了等压腱绳驱动的软体手指,并在仿真中训练神经网络替代耗时有限元模拟,实现对外形刚度分布与抓取位姿的端到端梯度优化。经3D打印制备的优化抓手在硬件实验中显著优于纯刚性及过度柔顺的基线,在重载荷与不规则物体上展现出更强的适应性与承载能力。

Elucidating the Design Space of Torque-aware Vision-Language-Action Models
CoRL 20252025-09-09

Elucidating the Design Space of Torque-aware Vision-Language-Action Models

Zongzheng Zhang, Haobo Xu, Zhuo Yang, Chenghao Yue, Zehao Lin, Huan-ang Gao, Ziwei Wang, Hao Zhao

海报操作视觉语言动作/视觉语言模型

现有视觉-语言-动作模型难以利用力矩等物理反馈完成接触丰富的操作任务。本文系统探索了将关节力矩信号融入预训练VLA架构的设计空间,发现力矩适配器应置于解码器而非编码器侧,且将力矩历史编码为单token能在提供时序信息的同时保持架构稳定性;此外,联合预测未来力矩作为辅助任务可进一步强化具有物理基础的内隐表征。在10项真实机器人任务上的实验表明,该方法显著优于强基线并具备跨本体泛化能力。

RoboChemist: Long-Horizon and Safety-Compliant Robotic Chemical Experimentation
CoRL 20252025-09-10

RoboChemist: Long-Horizon and Safety-Compliant Robotic Chemical Experimentation

Zongzheng Zhang, Chenghao Yue, Haobo Xu, Minwen Liao, Xianglin Qi, Huan-ang Gao, Ziwei Wang, Hao Zhao

海报机器人学习

针对化学实验长程、安全关键且涉及透明器皿与可变形物质等挑战,现有VLM或VLA方法分别受限于深度感知依赖与语义反馈缺失。本文提出双循环框架RoboChemist,将VLM同时用作规划器、视觉提示生成器与监控器,通过图像视觉目标引导VLA实现闭环、安全合规的精细化操作。实验表明,该系统在原始操作与完整多步实验中平均成功率提升23.57%,合规率提升0.298,且对未见物体与任务具备强泛化能力。

COLLAGE: Adaptive Fusion-based Retrieval for Augmented Policy Learning
CoRL 20252025-09-07

COLLAGE: Adaptive Fusion-based Retrieval for Augmented Policy Learning

Sateesh Kumar, Shivin Dass, Georgios Pavlakos, Roberto Mart´ın-Mart´ın

The University of Texas at Austin

海报机器人学习

针对少样本模仿学习中单一特征检索(如视觉、运动或语言相似度)容易引入有害样本的问题,本文提出COLLAGE,通过自适应 late fusion 聚合多模态检索子集:先以各单特征预筛选数据,再用少量目标演示评估各子集训练出的参考策略的对数似然以估计任务相关权重,并据此在训练时进行重要性采样。该方法特征无关且可扩展,在LIBERO模拟任务上相对最佳基线提升11.2%,在真实世界DROID数据上提升57.4%。

GraspMolmo: Generalizable Task-Oriented Grasping via Large-Scale Synthetic Data Generation
CoRL 20252025-09-12

GraspMolmo: Generalizable Task-Oriented Grasping via Large-Scale Synthetic Data Generation

Abhay Deshpande, Yuquan Deng, Arijit Ray, Jordi Salvador, Winson Han, Jiafei Duan, Kuo-Hao Zeng, Yuke Zhu, Ranjay Krishna, Rose Hendrix

PRIOR @ Allen Institute for AI;Boston University;University of Washington;University of Texas at Austin

海报操作

现有任务导向抓取受限于小规模数据、简单场景与模板化指令,难以应对真实世界复杂的操作语义。作者构建大规模合成数据集PRISM(37.9万样本),涵盖复杂场景与多样化自然语言描述,并基于其微调视觉语言模型Molmo,提出GraspMolmo。该模型仅依据单帧RGB-D与开放式语言指令即可预测语义合理的6-DoF抓取位姿。实验表明,其在TaskGrasp基准与模拟真实场景中均达最优,并在真实家庭场景中实现零样本迁移,预测成功率达70%,显著优于现有方法;同时可零样本完成语义合理的双手抓取。

Motion Blender Gaussian Splatting for Dynamic Reconstruction
CoRL 20252025-10-04

Motion Blender Gaussian Splatting for Dynamic Reconstruction

Xinyu Zhang, Haonan Chang, Yuhan Liu, Abdeslam Boularias

Rutgers University

海报感知

现有动态高斯溅射方法多采用隐式运动表示,导致重建场景难以编辑和操控,限制了其在机器人操作规划中的应用。本文提出Motion Blender Gaussian Splatting,以显式稀疏的运动图(含运动学树与可变形图)替代隐式表征,通过可学习的权重绘制与双四元数蒙皮将连杆运动传播至三维高斯,并与高斯参数联合优化。该方法在iPhone数据集上取得最优性能,在HyperNeRF上表现相当,并展示了新姿态动画、机器人演示合成及视觉动作规划等应用。

Improving Efficiency of Sampling-based Motion Planning via Message-Passing Monte Carlo
CoRL 20252025-08-26

Improving Efficiency of Sampling-based Motion Planning via Message-Passing Monte Carlo

Makram Chahine, T. Konstantin Rusch, Zach J. Patterson, Aerospace Engineering, Daniela Rus

CSAIL, MIT;ELLIS Institute T¨ubingen &;Max Planck Institute for Intelligent Systems &;T¨ubingen AI Center;Case Western Reserve University

海报规划

针对现有采样型运动规划因分布不均导致探索效率低的问题,本文提出一种基于Message-Passing Monte Carlo (MPMC)的无偏采样策略。其核心是利用图神经网络生成低差异点集,并设计了面向高维空间的新训练目标以提升均匀性。该方法无需依赖环境、起终点或历史样本,可即插即用于各类采样型规划器。理论分析表明其能收紧最优路径距离上界,实验显示在多种PRM基准(含高维场景)及真实UR5机械臂上均优于传统金标准采样方法。

CaRL: Learning Scalable Planning Policies with Simple Rewards
CoRL 20252025-08-20

CaRL: Learning Scalable Planning Policies with Simple Rewards

Bernhard Jaeger, Daniel Dauner, Jens Beißwenger, Simon Gerstenecker, Kashyap Chitta, Andreas Geiger

University of Tübingen, Tübingen AI Center

海报强化学习规划

针对自动驾驶特权规划中规则方法难以覆盖长尾、模仿学习存在分布偏移的问题,该工作发现现有强化学习的复杂多目标奖励会使PPO在增大mini-batch时陷入局部最优。为此,作者提出仅优化路线完成度这一单一奖励,并以终止episode或乘法衰减惩罚违规,使算法随batch size扩大稳定提升。在单节点8 GPU上扩展至数亿样本后,该方法在CARLA longest6 v2与nuPlan Val14均取得最优表现,显著优于先前RL与基于学习的规划器,且推理速度快一个数量级。

Pseudo-Simulation for Autonomous Driving
CoRL 20252026-03-20

Pseudo-Simulation for Autonomous Driving

Wei Cao, Marcel Hallgarten, Tianyu Li, Daniel Dauner, Xunjiang Gu, Caojun Wang, Yakov Miron, Marco Aiello, Hongyang Li, Igor Gilitschenski, Boris Ivanovic, Marco Pavone, Andreas Geiger, Kashyap Chitta

University of Tübingen, Tübingen AI Center;NVIDIA Research;Robert Bosch GmbH;OpenDriveLab at Shanghai Innovation Institute;University of Stuttgart;University of Toronto;Vector Institute;Stanford University

海报机器人学习

针对自动驾驶现有评估范式中真实世界测试不可复现、闭环模拟成本高昂且真实感不足、开环评估又无法捕捉累积误差与因果混淆等局限,本文提出“伪模拟”范式。该方法基于真实数据集,利用3D高斯泼溅预生成多样化的合成观测,通过接近度加权评估智能体在偏离专家路径后的错误恢复能力。实验表明,伪模拟与闭环结果的相关性(R²=0.8)显著优于最优开环方法(R²=0.7),且评估效率提升约6倍。团队据此发布NAVSIM v2基准,揭示了主流算法此前未知的失效模式。