RSS 2026

210 篇
One-Shot Real-World Demonstration Synthesis for Scalable Bimanual Manipulation figure
RSS 2026Paper 001

One-Shot Real-World Demonstration Synthesis for Scalable Bimanual Manipulation

Huayi Zhou; Kui Jia

2026机器人学习灵巧手模仿学习操作数据人机交互

面向双臂接触操作中遥操作数据难扩展、仿真合成又有 sim-to-real gap 的矛盾,论文提出 BiDemoSyn:从一次真实示范中拆出不变的双臂协同块与随物体变化的调整段,再用视觉对齐和轻量轨迹优化在真实场景合成大量可行示范。六个真实双臂任务显示,用这些数据训练的策略在新物体位姿、形状上优于强基线,并支持少样本扩展和零样本跨本体迁移,增益可能主要来自 data scaling 与物体中心表示。

Supervised Mixture-of-Experts for Surgical Grasping and Retraction figure
RSS 2026Paper 002

Supervised Mixture-of-Experts for Surgical Grasping and Retraction

Lorenzo Mazza; Ariel Rodriguez

2026机器人学习灵巧手操作模仿学习视觉语言模型数据

面向微创手术中数据稀缺、视野受限且安全要求高的自主辅助操作,论文将任务按手术阶段分解,在ACT等轻量策略上加入带阶段监督的MoE门控与专家头,用少于150条示教和双目内窥图像学习肠管抓取与牵拉。实验显示通用VLA在该任务上基本失败,MoE-ACT较标准ACT提升成功率与OOD鲁棒性,并可泛化到新视角、零样本迁移到离体猪组织,另给出初步活体滚动结果。

DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos figure
RSS 2026Paper 003

DexImit: Learning Bimanual Dexterous Manipulation from Monocular Human Videos

Juncheng Mu; Sizhe Yang; Yiming Bao; Hojin Bae; Tianming Wei; Linning Xu; Boyi Li; Huazhe Xu; Jiangmiao Pang

2026机器人学习灵巧手操作数据基础模型生成模型

DexImit针对双手灵巧操作真实数据昂贵且人手到机器人存在具身差距的问题,提出从单目人类视频自动生成物理可行机器人示教的四阶段流程:近尺度手物重建、子任务分解与双手调度、基于力闭合的轨迹合成,以及面向零样本部署的数据增强。实验显示其可由公开视频或生成视频扩展数据,并在工具使用、长程与精细操作中训练出可零样本迁移到真实机器人的策略。

Semantic Contact Fields for Category-Level Generalizable Tool Manipulation figure
RSS 2026Paper 004

Semantic Contact Fields for Category-Level Generalizable Tool Manipulation

Kevin Yuchen Ma; Heng Zhang; Weisi Lin; Mike Zheng Shou; Yan Wu

2026机器人学习操作触觉数据感知视觉语言模型

论文针对工具操作中“看得懂但控不准”、触觉策略又难跨工具泛化的问题,提出 SCFields:把预训练视觉语义与工具表面的稠密外部接触概率、力估计统一到 3D 表示中。其关键洞察是同类工具有效接触部位的物理交互相对不变,并用仿真预训练加少量真实伪标注对齐触觉信号。该表示作为扩散策略输入,在刮擦、蜡笔绘画和削皮任务上优于纯视觉与原始触觉基线。

Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding figure
RSS 2026Paper 005

Contact-Grounded Policy: Dexterous Visuotactile Policy with Generative Contact Grounding

Zhengtong Xu; Yeping Wang; Ben Abbatematteo; Jom Preechayasomboon; Sonny Chan; Nicholas Colonnese; Amirhossein H. Memar

2026机器人学习触觉灵巧手操作生成模型控制

面向多指灵巧操作中接触点快速变化、易受摩擦和滑移影响的问题,论文提出 CGP:不把触觉仅当观测,而是用条件扩散模型预测机器人状态与触觉的耦合未来,并通过学习到的接触一致性映射转成顺应控制器可执行目标。在 Allegro+Digit360 实机和 Tesollo 仿真任务中,箱体翻转、脆弱抓取、擦拭和开罐等均优于视觉/视触觉扩散策略基线。

TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment figure
RSS 2026Paper 006

TactAlign: Human-to-Robot Policy Transfer via Tactile Alignment

Youngsun Wi; Jessica Yin; Elvis Xiang; Akash Sharma; Jitendra Malik; Mustafa Mukadam; Nima Fazeli; Tess Hellebrekers

2026触觉灵巧手数据机器人学习模仿学习感知

针对人类触觉示教难以跨传感器、跨手形态迁移到机器人这一瓶颈,TactAlign先自监督学习人/机器人触觉表征,再用由手物交互构造的伪配对和rectified flow对齐潜空间,无需严格配对或标签。实验显示其在旋转、插入、关盖等接触密集任务中显著提升H2R协训练成功率,并能用约5分钟人类数据泛化到新物体/新任务,灯泡旋拧实现零样本迁移。

A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation figure
RSS 2026Paper 007

A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation

Fanqi Lin; Kushal Arora; Jean Mercat; Haruki Nishimura; Paarth Shah; Chen Xu; Mengchao Zhang; Mark Zolotas; Maya Angeles; Owen Pfannenstiehl; Andrew Beaulieu; Jose Barreiros

2026机器人学习数据操作视觉语言模型感知基础模型

针对机器人数据覆盖不足导致大行为模型泛化受限的问题,本文系统比较五类异构共训练数据与单/多阶段策略,而非提出单一新模型。基于4000小时操纵数据和5000万视觉语言样本训练89个VLA策略,结果显示视觉语言数据、机器人轨迹语言标注和跨本体机器人数据能提升分布偏移、未见任务和语言跟随表现,组合有累积收益;离散动作token和显式CoT未带来显著增益,部分提升可能主要来自data scaling。

SID: Sliding into Distribution for Robust Few-Demonstration Manipulation figure
RSS 2026Paper 008

SID: Sliding into Distribution for Robust Few-Demonstration Manipulation

Yicheng Ma; Wei Yu; Zhian Su; Xidan Zhang; Huixu Dong

2026机器人学习模仿学习操作安全数据人机交互

针对少量示教下机器人操作易因物体位姿、视角和扰动产生分布外状态而失败的问题,SID将任务拆为“回到分布内”的接近阶段和局部执行阶段:用物体中心运动场把状态沿示教流形吸引回来,再由经点云重投影增强和条件流匹配训练的自我视角策略执行操作。真实六任务中,仅两条示教即可在OOD初始化下约90%成功,干扰和扰动下成功率下降小于10%。

UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation figure
RSS 2026Paper 009

UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

Hao Li; Long Yin Chung; Jack Goler; Ryan Zhang; Xiaochi Xie; Huy Ha; Shuran Song; Mark Cutkosky

2026机器人学习灵巧手模仿学习操作人机交互数据

水下抓取受图像退化、光照/背景变化和遥操作数据昂贵限制。UMI-Underwater用自监督流程自动采集成功水下示范,并以陆地手持示范训练的深度可供性热图作为跨域接口,再条件化扩散策略执行抓取。泳池实验显示其较RGB基线提升抓取成功率与背景鲁棒性,并能迁移到仅在陆地数据中见过的物体。

No Figure
RSS 2026Paper 010

Memory Retrieval in Visuomotor Policies for Long-Horizon Robot Control

Rutav Shah; Yisu Li; Femi Bello; Yuke Zhu; Roberto Martín-Martín

2026机器人学习控制模仿学习视觉语言模型感知操作

面向家庭等部分可观测长时任务,机器人需记住物体位置、子任务状态等历史信息,手工检索泛化差。HALO在视觉运动模仿策略中引入注意力记忆检索,并用VLM从示教生成任务相关问答进行联合视频QA监督,配合稀疏注意抑制伪相关和记忆漂移。摘要称其能从最长约两分钟历史中检索相关信息,提升长时闭环控制可靠性;具体实验增益文中未充分说明。

No Figure
RSS 2026Paper 011

RAG-Diff: Adapting Diffusion Policies to Dynamic Constraints with Retrieval-Augmented Guidance

Ruolin Ye; Nayoung Ha; Shuaixing Chen; Qiandao Liu; Gavin Chen; Shaoyang Stassen; Mark Zolotas; Jose Barreiros; Tapomayukh Bhattacharjee

2026机器人学习安全扩散策略操作模仿学习视觉语言模型

面向动态、个性化约束下扩散策略难以在线适配的问题,RAG-Diff在冻结策略外加入检索增强记忆PrefMem,用视觉语言相似检索到的动作片段和约束参数,通过注意力重计算与预测式引导共同偏置采样。摘要显示其在PushT、护理仿真、真实机器人和用户研究中提升任务成功率与约束满足;判断受限于仅有摘要。

Self-Improving Robot Policy with Compositional World Model figure
RSS 2026Paper 012

Self-Improving Robot Policy with Compositional World Model

Jiazhi Yang; Kunyang Lin; Wencong Zhang; Jinwei Li; Tianwei Lin; Longyan Wu; Ya-Qin Zhang; Hao Zhao; Ping Luo; Zhizhong Su; Hongyang Li; Xiangyu Yue; Li Chen

The Chinese University of Hong Kong;The University of Hong Kong;Shanghai Innovation Institute;Tsinghua University

2026机器人学习生成模型强化学习安全数据触觉

面向真实机器人中接触丰富、动态任务里 VLA 易因小偏差累积失败、而在线 RL 又昂贵且有安全风险的问题,RISE 将策略改进转移到“想象”空间:用可控多视角动力学模型生成未来状态,再用进度价值模型给 imagined rollout 计算优势并更新策略。其组合式世界模型把视觉预测与价值评估解耦,降低对真实交互和重置的依赖;在动态积木分拣、背包打包、关盒三项真实任务上分别带来约 +35%、+45%、+35% 的绝对性能提升。

HAIC: Humanoid Agile Object Interaction Control via Dynamics-Aware World Model figure
RSS 2026Paper 013

HAIC: Humanoid Agile Object Interaction Control via Dynamics-Aware World Model

Dongting Li; Xingyu Chen; Qianyang Wu; Bo Chen; Sikai Wu; Hanyu Wu; Guoyao Zhang; Liang Li; Mingliang Zhou; Diyun Xiang; Jianzhu Ma; Qiang Zhang; Renjing Xu

2026机器人学习控制人机交互腿足机器人生成模型安全

HAIC针对人形机器人与滑板、推车等欠驱动物体交互时常见的视觉遮挡和惯性耦合问题,核心是用本体感知历史预测物体速度、加速度等高阶状态,并投影到静态几何先验形成动态占据表示,再通过非对称微调把特权信息蒸馏到受限传感策略中。Unitree G1实验证明其可在滑板、推/拉车、搬箱跨复合地形等任务中保持高成功率,并报告盲多地形搬箱达到100%成功率。

No Figure
RSS 2026Paper 014

Collaborating Visual and Parameter Spaces for Consistent Long-Horizon Embodied World Model

Longyu Chen; Heng Li; Wei Yang; Manqi Zhao; Dongsheng Jiang

2026机器人学习感知生成模型安全视觉语言模型人机交互

针对具身世界模型在长时域评估VLA时因动作低维表示与视频生成高维空间脱节而产生轨迹漂移、交互不一致的问题,ViPSim将含动作投影、相机、深度几何和机器人掩码的视觉空间,与注入原始动作和相机矩阵的参数空间协同约束生成。摘要称其可跨骨干提升轨迹一致性,并在布料等可变形物体、分布外和跨本体场景中保持鲁棒;判断受限于仅有摘要信息。

Act2Goal: From World Model To General Goal-conditioned Policy figure
RSS 2026Paper 015

Act2Goal: From World Model To General Goal-conditioned Policy

Pengfei Zhou; Liliang Chen; Shengcong Chen; Di Chen; Wenzhi Zhao; Rongjun Jin; Guanghui Ren; Jianlan Luo

2026机器人学习生成模型感知操作控制强化学习

针对视觉目标条件策略在长程操作中只做单步动作预测、缺乏任务进展建模而易失稳的问题,Act2Goal用目标条件视觉世界模型先生成中间状态序列,再以多尺度时间哈希将近端密集帧用于闭环控制、远端稀疏帧维持全局一致性,并通过交叉注意力连接动作专家。仿真和真实实验显示其具备较强零样本泛化,且可借助HER重标注与LoRA无奖励在线微调,将真实OOD任务成功率由30%提升到90%。

Causal World Modeling for Robot Control figure
RSS 2026Paper 016

Causal World Modeling for Robot Control

Lin Li; Qihang Zhang; Yiming Luo; Shuai Yang; Ruilin Wang; Zhangluyao; Mingrui Yu; Zelin Gao; Nan Xue; Boyu Zhou; Xing Zhu; Mingyu Ding; Yujun Shen; Yinghao Xu

2026生成模型控制可解释性感知机器人学习操作

论文针对现有 VLA 策略缺少显式环境动力学、开环生成难以利用实时反馈和长期记忆的问题,将视频世界模型引入机器人控制。其核心是把视觉帧与动作放入同一因果自回归扩散序列,用 MoT 共享建模,并通过 KV cache 保留历史上下文、噪声潜变量增强与异步推理降低控制延迟。仿真和真实实验显示,该方法在长时程、高精度和可变形物体操作上优于强基线,但文中 CauVA/LingBot-VA 命名存在不一致。

Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation figure
RSS 2026Paper 017

Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation

Jacob Levy; Tyler Westenbroek; Kevin Huang; Fernando Palafox; Patrick Yin; Shayegan Omidshafiei; Dong-Ki Kim; Abhishek Gupta; David Fridovich-Keil

2026机器人学习生成模型仿真到现实腿足机器人强化学习数据

针对真实机器人低数据适应中端到端强化学习易受仿真—现实动力学差异、探索和长时序信用分配拖累的问题,SimDist 将仿真中的结构先验蒸馏到潜在世界模型:部署时保留编码器、奖励和价值模型,只用真实轨迹监督微调动力学,并通过在线规划改进行为。在精密装配和四足运动实验中,方法用约15–30分钟真实数据即可稳定提升,数据效率和最终性能均优于多种微调基线。

Interactive World Simulator for Robot Policy Training and Evaluation figure
RSS 2026Paper 018

Interactive World Simulator for Robot Policy Training and Evaluation

Yixuan Wang; Rhythm Syed; Fangyu Wu; Mengchao Zhang; Aykut Onol; Jose Barreiros; Hooshang Nayyeri; Tony Dear; Huan Zhang; Yunzhu Li

2026机器人学习生成模型数据人机交互扩散策略

针对现有动作条件视频世界模型推理慢、长时交互易漂移而难以用于机器人数据生成和评测的问题,本文提出 Interactive World Simulator:将图像压到2D潜空间,并用一致性模型做解码与动作条件潜动态预测,以实现可交互长时仿真。实验显示其在单张 RTX 4090 上可 15FPS 稳定滚动超过10分钟,生成数据训练的 DP、ACT、π 系列策略接近等量真实数据效果,且仿真评测与真实表现高度相关。

HUSKY: Humanoid Skateboarding System via Physics-Aware Whole-Body Control figure
RSS 2026Paper 019

HUSKY: Humanoid Skateboarding System via Physics-Aware Whole-Body Control

Jinrui Han; Dewei Wang; Chenyun Zhang; Xinzhe Liu; Ping Luo; Chenjia Bai; Xuelong Li

2026控制腿足机器人人机交互机器人学习安全

HUSKY面向人形机器人在滑板这类欠驱动、非完整约束且接触相频繁切换的平台上难以稳定全身控制的问题。其关键在于显式建模板面倾斜与转向桥角的耦合,将任务分解为蹬地、倾身转向与过渡,并结合AMP运动先验、物理引导转向和轨迹引导切换训练策略。在Unitree G1上的仿真与实机实验显示,系统可完成连续、较稳健的真实滑板推进和转向。

Perceptive Humanoid Parkour: Chaining Dynamic Human Skills via Motion Matching figure
RSS 2026Paper 020

Perceptive Humanoid Parkour: Chaining Dynamic Human Skills via Motion Matching

Zhen Wu; Xiaoyu Huang; Lujie Yang; Yuanhang Zhang; Xi Chen; Pieter Abbeel; Rocky Duan; Angjoo Kanazawa; Carmelo Sferrazza; Guanya Shi; Karen Liu

2026机器人学习腿足机器人感知强化学习触觉

针对人形机器人难以在复杂障碍中兼具动态动作、长程技能衔接与视觉决策的问题,PHP 用运动匹配把少量重定向人类跑酷原子技能扩展为连续参考轨迹,再以运动跟踪专家结合 DAgger+RL 蒸馏成单一深度视觉多技能策略。实机 Unitree G1 可自主选择跨越、攀爬、翻越和滚落,完成约 3 m/s 翻越、攀上 1.25 m 障碍及 60 秒多障碍连续穿越。

No Figure
RSS 2026Paper 021

$ si_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation

Songlin Wei; Hongyi Jing; Boqian Li; Zhenyu Zhao; Jiageng Mao; Zhenhao Ni; Sicheng He; Sheng Zang; Xiawei Liu; Kaidi Kang; Jie Liu; Weiduo Yuan; Marco Pavone; Di Huang; Yue Wang

2026机器人学习数据腿足机器人基础模型操作移动操作

Ψ₀针对人类与人形机器人运动学差异导致联合训练数据效率低的问题,提出将异构数据解耦的分阶段训练:先用高质量第一视角人类操作视频自回归预训练VLM表征,再用真实人形轨迹后训练流式动作专家以输出关节控制。摘要称其仅用约800小时人类视频和30小时机器人数据,在多项仿真与真实任务总体成功率较使用10倍以上数据的基线高40%以上,但具体任务细节文中未充分说明。

X-Loco: Towards Generalist Humanoid Locomotion Control via Synergetic Policy Distillation figure
RSS 2026Paper 022

X-Loco: Towards Generalist Humanoid Locomotion Control via Synergetic Policy Distillation

Dewei Wang; Xinmiao Wang; Chenyun Zhang; Jiyuan Shi; Yingnan Zhao; Chenjia Bai; Xuelong Li

2026腿足机器人控制基础模型感知多机器人

X-Loco针对人形机器人运动技能割裂的问题:现有方法多只能行走、越障或摔倒恢复其一,难以在无参考动作下自主切换。其核心是训练直立行走、跌倒恢复和全身协调三个特权专家,并用情境自适应专家选择、专家退火采样和随机跌倒注入蒸馏成单一视觉策略。实验与Unitree G1部署显示,该策略可在速度指令下完成楼梯、箱体攀爬、翻滚和恢复行走,性能接近专家并优于消融版本。

Learning to Evolve: Multi-modal Interactive Fields for Robust Humanoid Navigation in Dynamic Environments figure
RSS 2026Paper 023

Learning to Evolve: Multi-modal Interactive Fields for Robust Humanoid Navigation in Dynamic Environments

Peifeng Jiang; Hong Liu; Jin Jin; Wenshuai Wang; Xia Li

2026机器人学习腿足机器人导航人机交互安全操作

面向人形机器人在动态室内执行导航后操作,论文指出步态抖动会污染语义/几何地图,物体移动又会使静态场景图失效。MIF 将置信门控 3DGS 外观场、可局部更新的空间场和基于 Flow Matching 的几何场闭环结合,用多模态差异分数区分噪声与真实变化并验证交互姿态安全。在 Unitree G1 实验中,动态重定位成功率由 HOV-SG 的 12% 提升到 94%,语义内存减少 91.4%。

MOBIUS: A Multi-Modal Bipedal Robot that can Walk, Crawl, Climb, and Roll figure
RSS 2026Paper 024

MOBIUS: A Multi-Modal Bipedal Robot that can Walk, Crawl, Climb, and Roll

Alexander Schperberg; Yusuke Tanaka; Stefano Di Cairano; Dennis Hong

2026机器人学习腿足机器人操作灵巧手控制人机交互

面向搜救、巡检等需在连续地面与离散垂直结构间切换的场景,MOBIUS试图突破传统腿足或攀爬机器人单一运动模式的限制。其核心在于用无需重构的双臂双腿形态,结合两指夹爪、RL运动控制、安全导纳控制和MIQCP模式规划,实现行走、爬行、滚动、攀爬与引体动作的统一。硬件实验验证了步态切换、动态攀爬以及夹持承载全身重量,说明形态、规划与控制的紧耦合是能力扩展的关键。

TeleGate: Whole-Body Humanoid Teleoperation via Gated Expert Selection with Motion Prior figure
RSS 2026Paper 025

TeleGate: Whole-Body Humanoid Teleoperation via Gated Expert Selection with Motion Prior

Jie Li; Bing Tang; Feng Wu

2026机器人学习人机交互腿足机器人控制数据

面向人形机器人实时全身遥操作中缺少未来轨迹、单一策略难以兼顾多类高动态动作的问题,TeleGate不再蒸馏专家,而是保留按动态相似性训练的专家策略,并用轻量门控网络实时路由,结合VAE运动先验从历史观测推断未来意图。文中在仿真和Unitree G1实机上验证,仅用2.5小时动捕数据即可覆盖跑步、跳跃、跌倒恢复等动作,跟踪精度和成功率优于基线。

Generalizing from References using a Multi-Task Reference and Goal-Driven RL Framework figure
RSS 2026Paper 026

Generalizing from References using a Multi-Task Reference and Goal-Driven RL Framework

Jiashun Wang; M. Eva Mungai; He Li; Jean Pierre Sleiman; Jessica K. Hodgins; Farbod Farshidian

2026强化学习控制安全腿足机器人模仿学习生成模型

针对人形机器人中参考动作跟踪易失去泛化、纯任务强化学习又牺牲动作自然性的矛盾,论文将参考动作仅作为训练期行为先验,联合参考引导模仿与无参考目标条件任务来训练同一策略,部署时不依赖轨迹、相位或判别器。在箱体跑酷实验中,策略能完成跳跃、攀爬等超出参考分布的目标,并通过技能组合生成更长时域行为,同时保持较自然的运动风格。

Now You See That: Learning End-to-End Humanoid Locomotion from Raw Pixels figure
RSS 2026Paper 027

Now You See That: Learning End-to-End Humanoid Locomotion from Raw Pixels

Wandong Sun; Yongbo Su; Huangguo; Zilong Zhang; Wei Yingdong; Sen Xu; Sheng Cao; Xingwu Tian; Baoshi Cao; Yang Liu; Bin Yan; Yan Xie; Xie Zongwu

2026腿足机器人感知灵巧手强化学习仿真到现实控制

针对人形机器人端到端视觉行走中深度相机仿真到现实噪声大、单一策略难以兼顾楼梯与跨越等地形的问题,论文用高保真双目深度噪声建模、视觉感知蒸馏,以及按地形划分的多 critic/多 discriminator 奖励学习来训练统一策略。实验在两种人形平台和不同深度相机上验证,可无微调通过高台、宽缝、碎石和长距离上下楼梯,但下楼鲁棒性仍弱于上楼。

Mind Your Steps: A General Learning Framework for Accurate Humanoid Foothold Tracking figure
RSS 2026Paper 028

Mind Your Steps: A General Learning Framework for Accurate Humanoid Foothold Tracking

Alessandro Montenegro; Shihao Li; Puze Liu; Alberto Maria Metelli; Jan Peters

2026机器人学习腿足机器人操作安全控制导航

这篇论文针对速度指令式人形行走难以精确约束落脚点、在拥挤或稀疏可踩区域中可能不安全的问题,提出一种通用3D落脚点跟踪低层策略训练框架。其关键是用站立脚坐标系下的目标表示和训练时的目标采样器,减少对精确机身定位、接触估计和特定地形的依赖,使策略可独立对接不同上层落脚规划器。仿真与Booster T1实机实验显示,该策略能零样本迁移并在目标到达、杂乱环境、窄路和楼梯等场景中实现更准确自然的行走。

PRIME: Physically-consistent Robotic Inertial and Motion Estimation for Legged and Humanoid Robots figure
RSS 2026Paper 029

PRIME: Physically-consistent Robotic Inertial and Motion Estimation for Legged and Humanoid Robots

Jiarong Kang; Kunzhao Ren; Tao Pang; Xiaobin Xiong

2026机器人学习腿足机器人控制触觉基础模型数据

针对腿足/人形机器人接触丰富运动中仅靠 EKF 或动捕得到的运动学轨迹常违背刚体动力学的问题,PRIME 将运动估计、接触力与惯性参数辨识统一为 MAP/PFIE 优化,并用平滑互补约束和 Anitescu 摩擦模型处理接触切换。实验覆盖 Hopper、Go2 与 Unitree G1,显示其能在 10–20 秒长时域内重建动力学一致轨迹、估计载荷/惯性变化,并生成带接触力标注的数据用于控制与学习。

HiWET: Hierarchical World-Frame End-Effector Tracking for Long-Horizon Humanoid Loco-Manipulation figure
RSS 2026Paper 030

HiWET: Hierarchical World-Frame End-Effector Tracking for Long-Horizon Humanoid Loco-Manipulation

Zhanxiang Cao; Liyun Yan; Yang Zhang; Sirui Chen; Jianming Ma; Tianyue Zhan; Shengcheng Fu; Yufei Jia; Cewu Lu; Yue Gao

2026腿足机器人操作移动操作安全强化学习仿真到现实

这篇论文针对人形机器人移动操作中机体漂移、步态冲击会破坏世界坐标系末端精度的问题,将任务改写为世界系末端跟踪。HiWET用高层策略在全局坐标下同时规划基座运动、身体高度和手部子目标,低层策略负责稳定全身执行,并用KMP运动学流形先验做残差控制以减少无效探索。仿真与消融显示其能完成长时程精确跟踪,文中报告仿真误差约12.4 mm,低层策略还在真实人形机器人上实现零样本迁移和稳定运动。

OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control figure
RSS 2026Paper 031

OmniXtreme: Breaking the Generality Barrier in High-Dynamic Humanoid Control

Yunshen Wang; Shaohang Zhu; Peiyuan Zhi; Yuhan Li; Jiaxin Li; Yong-Lu Li; Yuchen Xiao; Xingxing Wang; Baoxiong Jia; Siyuan Huang

2026机器人学习腿足机器人控制数据安全强化学习

OmniXtreme瞄准人形机器人在多样高动态动作库上“动作越多、跟踪越差”的泛化瓶颈,指出问题同时来自多动作强化学习的优化干扰和真实执行中的电机约束。方法将专家到统一的 flow-matching 预训练与执行感知的残差强化学习微调解耦,在仿真中保持高难动作跟踪精度,并在真机上用单一策略完成极限平衡、快速接触切换和高速全身动作。

Distributed Pose Graph Optimization via Continuous Riemannian Dynamics figure
RSS 2026Paper 032

Distributed Pose Graph Optimization via Continuous Riemannian Dynamics

Jaeho Shin; Maani Ghaffari; Yulun Tian

2026机器人学习控制数据多机器人

面向多机器人协同 SLAM 中分布式 PGO 收敛慢、异步通信下邻居信息滞后的问题,论文将位姿图优化改写为 SE(3) 李群上的二阶连续黎曼动力系统,用惯性与阻尼刻画优化轨迹,并通过半隐式几何积分得到可并行执行的 CORD;速度状态还支持邻居预测以缓解延迟。理论上给出离散能量耗散条件,基准实验显示其在同步和异步设置下均优于现有分布式 PGO 基线。

No Figure
RSS 2026Paper 033

Adapting Execution-Time Objectives for Multi-Robot Policies via Collaborative Flow Policy Guidance

Williard Joshua Jose; Yuhao Li; Zihao Deng; Hao Zhang

2026机器人学习多机器人数据

面向多机器人协作中策略多模态不足、部署时目标变化和目标冲突难以处理的问题,本文提出 CFPG:先用 MAFPO 在线学习多模态协作流策略,再通过 flow matching guidance 在执行时免训练叠加用户目标,并以分层梯度投影协调冲突。实验称其在多个仿真和真实机器人任务上优于现有方法;判断受限于仅有摘要,具体增益来源仍不充分说明。

Rhythm: Learning Interactive Whole-Body Control for Dual Humanoids figure
RSS 2026Paper 034

Rhythm: Learning Interactive Whole-Body Control for Dual Humanoids

Hongjin Chen; Wei Zhang; Pengfei Li; Shihao Ma; Ke Ma; Yujie Jin; Zijun Xu; Xiaohui Wang; Yupeng Zheng; Zining Wang; Jieru Zhao; Yilun Chen; Wenchao Ding

2026机器人学习腿足机器人控制人机交互强化学习数据

面向真实双足人形机器人近距离协作,Rhythm针对人类双人动作直接迁移会产生运动学冲突、接触动力学难学的问题,提出交互感知重定向以同时保留个体动作与相对接触几何,并用图结构奖励的多智能体强化学习学习耦合控制,再配合相对状态估计和同步部署。实验在两台Unitree G1上实现拥抱、并肩接触和长时舞蹈等从仿真到实机的交互全身控制。

No Figure
RSS 2026Paper 035

Teaming Linear Temporal Logic: Coordinated Behavior Specification in Heterogeneous Multi-Agent Systems

Thomas Fawcett; George Konidaris

2026机器人学习多机器人规划控制

面向大规模异构多机器人系统中协作目标难以用传统 LTL 清晰表达的问题,论文提出 TeamingLTL,将部分可观测性、主体间协作等 MAS 特性纳入时序逻辑规格,使用户只描述期望行为而将任务规划与分配交给自动系统;摘要显示其可用于行为规约、程序验证和正确性保证控制器生成,但实验规模与实际性能增益文中未充分说明。

No Figure
RSS 2026Paper 036

A Closed-Loop Multi-Agent Framework for Robust Multi-Robot Manipulation

Yi-Xiang He; Lan Wei; Haoming Cen; Jian-Jian Jiang; Zhuohao Li; Guanxing Lu; Yihan Yang; Dandan Zhang; Wei-Shi Zheng

2026机器人学习操作多机器人视觉语言模型规划

判断受限于 PDF 文本抽取质量。论文针对 LLM 规划难以落地到存在不确定性的多机器人接触操作这一缺口,提出闭环多智能体框架:规划代理分解并分配任务,操作代理自适应调用工具执行,验证代理监测物理结果并反馈语义修正。摘要称真实实验中成功率更高,可适应单工作区到跨工作区任务,但具体增益来源文中未充分说明。

USER: A Unified and Extensible System for Online Real-World Policy Learning in Embodied AI figure
RSS 2026Paper 037

USER: A Unified and Extensible System for Online Real-World Policy Learning in Embodied AI

Hongzhi Zang; Shu'ang Yu; Hao Lin; Tianxing Zhou; Zefang Huang; Zhen Guo; Xin Xu; Jiakai Zhou; Yuze Sheng; Shizhe Zhang; Feng Gao; Wenhao Tang; Yufeng Yue; Quanlu Zhang; Xinlei Chen; Chao Yu; Yu Wang

2026机器人学习数据多机器人强化学习自动驾驶操作

面向真实世界在线策略学习中机器人不可加速、难重置、异构部署和长时实验易中断的问题,USER将机器人与GPU统一为可调度资源,并结合云边自适应通信、全异步训练和持久化缓存缓冲区,支持从CNN/MLP到生成式与VLA策略的模仿/强化学习。仿真和真实实验显示其可支撑多机器人协同、异构机械臂、云边大模型训练及长期异步学习。

No Figure
RSS 2026Paper 038

KlaskTron: An Open-Source Platform for Physical Adversarial Multi-Agent RL

Aswin Karthik Ramachandran Venkatapathy; Jona Schulz; Maurus Derungs; Carlo Angelini; Tobias Meier; Raffaello D'andrea

2026强化学习多机器人机器人学习操作仿真到现实触觉

判断受限于PDF文本抽取质量。KlaskTron针对物理多智能体强化学习缺少低成本、可复现实验平台的问题,提出基于KLASK桌游的开源桌面级对抗MARL测试床,结合双CoreXY高速机构、Isaac Lab数字孪生和学习式神经执行器模型;摘要显示其仿真训练策略可零样本迁移到实机,并出现对抗行为。

No Figure
RSS 2026Paper 039

Event-Driven Sleep-Wake Scheduling for Heterogeneous Robots under LTL Constraints

Xuyang Li; Lei-Lei Li; Jianwu Fang; Boyuan Chen; Jianru Xue

2026安全强化学习触觉基础模型数据机器人学习

面向大规模异构机器人在安全与先后顺序等 LTL 约束下难以高效并行调度的问题,论文提出事件驱动的 ALIS-WC,通过物理能力与时序逻辑依赖两级过滤,让强化学习只在合规空闲机器人间决策,并加入自然语言到 LTL 接口和进度势函数奖励。摘要实验显示其在百任务、多机器人基准上缩短 makespan、提升完成率且约束满足率为 100%,但判断受限于仅有摘要。

Interactive Knowledge Distillation with Adaptive Teachers in Cooperative Multi-Agent Reinforcement Learning figure
RSS 2026Paper 040

Interactive Knowledge Distillation with Adaptive Teachers in Cooperative Multi-Agent Reinforcement Learning

Minwoo Cho; Batuhan Altundas; Matthew Gombolay

Institute for Robotics and Intelligent Machines, Georgia Institute of Technology

2026强化学习触觉多机器人数据

这篇论文针对多智能体强化学习中集中式教师难以泛化到学生探索产生的 OOD 状态、且与去中心化学生观测不匹配的问题,提出 HINT:用层次化 RL 构建可扩展教师,并通过伪离策略更新吸收学生轨迹、再用性能过滤去掉依赖全局信息的低质指导。在 FireCommander 和 MARINE 上,HINT 相比 CTDE/KD 基线将任务成功率提高 60%–165%。

No Figure
RSS 2026Paper 041

Model-Based Diffusion Optimal Control for Multi-Robot Motion Planning

Zhilin He; Yorai Shaoul; Jiaoyang Li

2026机器人学习规划安全控制扩散策略多机器人

针对连续环境多机器人运动规划中联合轨迹空间爆炸、动力学可行性与硬安全约束难同时保证的问题,论文提出无需示范数据的模型化扩散最优控制 MDOC,将已知动力学与 CBF 约束投影结合,并通过 CBS 扩展到多机器人冲突处理。摘要称其在仿真中较基线提升采样效率、轨迹平滑性和成功率,减少计算时间并保持无碰撞;细节与增益来源文中未充分说明。

No Figure
RSS 2026Paper 042

Optimal UGV–UAV Cooperative Partitioning and Inspection of Shortest Paths

Ninh Nguyen; Srinivas Akella

2026机器人学习自动驾驶导航规划

面向灾后道路阻断未知、地面车需在线绕行的场景,论文将经典 Canadian Traveller Problem 扩展为 UGV–UAV 协同检查问题。核心在于用 UAV 预检候选路径后缀,并给出一般图上含起飞转场与空飞代价的最优路径分割算法。理论上将 k 条不交路径情形的最坏竞争比由 UGV 单独的 2k−1 降至与 UAV/UGV 速度比相关的界;在 50 个城市路网仿真中平均减少 UGV 行驶时间约 17%,最高约 30%。

No Figure
RSS 2026Paper 043

Time-Aggregated Connectivity Maintenance for Multi-Robot Networks

Hao Liu; Yupeng Yang; Yanze Zhang; Yiwei Lyu; Wenhao Luo

2026机器人学习多机器人触觉控制

该文针对多机器人在通信半径有限、规模增大时强制持续全局连通会限制分散效率的问题,提出在名义轨迹之上的模块化协调层:用时间窗口聚合最小生成树决定何时让哪些机器人局部重连,并以自适应规定时间控制屏障函数保证重连。摘要称理论分析和实验验证了在尽量少改动原计划的同时维持时间聚合连通性,但具体场景与增益幅度文中未充分说明。

Safe Multi-Agent Navigation via Constrained HJB-Informed Learning figure
RSS 2026Paper 044

Safe Multi-Agent Navigation via Constrained HJB-Informed Learning

Fenglan Wang; Shu Xinguo; Lei He; Lin Zhao

2026安全导航多机器人人机交互控制视觉语言模型

面向未知密集环境中多机器人避碰与到达目标相互冲突、传统逐步安全滤波易保守或死锁的问题,论文提出 HJB-GNN:用 GNN 同时学习图控制屏障函数、分布式导航策略和值函数,并从约束 HJB/KKT 条件得到随交互图变化的拉格朗日乘子,自适应权衡安全与效率。仿真和 Crazyflie 群飞实验显示其在安全率、到达性能、规模扩展和未见密集场景泛化上优于对比方法。

TACO: Temporal Consensus Optimization for Continual Neural Mapping figure
RSS 2026Paper 045

TACO: Temporal Consensus Optimization for Continual Neural Mapping

Xunlan Zhou; Hongrui Zhao; Negar Mehr

2026机器人学习定位建图导航安全数据

面向机器人长期运行中环境变化与机载存储/计算受限的问题,TACO不再回放历史观测,而是把连续神经建图表述为时间共识优化:将过去模型快照作为带权时间邻居,约束可靠旧几何、放松过时区域以吸收新观测。仿真和真实场景实验显示,它比回放式与正则化式基线更少产生 ghost 伪影或过约束破碎,并在内存占用上显著低于完整回放。

Dr-BA: Separable Optimization for Direct Radar Bundle Adjustment & Localization figure
RSS 2026Paper 046

Dr-BA: Separable Optimization for Direct Radar Bundle Adjustment & Localization

Daniil Lisus; Cedric Le Gentil; Timothy Barfoot

2026定位建图感知自动驾驶强化学习数据

面向雨雪等恶劣天气下自动驾驶建图定位,Dr-BA避免将旋转雷达图像先稀疏化为点云,而是直接利用多帧2D强度回波联合估计稠密地图与位姿;其关键在于把雷达BA写成可分离优化,用变量投影解耦轨迹与地图,使复杂度随地图规模线性增长,并自然扩展到纯雷达直接定位。论文在Boreas-RT五条路线、206 km数据上较DRO、TBV-SLAM和Dr-PoGO取得总体更好的ATE/EPE、自一致性和跨时段定位表现,但在特征稀少的农田、森林等场景仍受雷达可观测性限制。

Efficient Feature-Free Initialization for Monocular Visual-Inertial Systems Using A Feed-Forward 3D Model figure
RSS 2026Paper 047

Efficient Feature-Free Initialization for Monocular Visual-Inertial Systems Using A Feed-Forward 3D Model

Yuantai Zhang; Jiaqi Yang; Huajian Zeng; Changhao Chen; Haoang Li; Liang Li; Dezhen Song; Xingxing Zuo

2026感知数据导航

针对单目 VINS 初始化依赖特征跟踪、在弱纹理/模糊/低视差场景易失败且需数秒数据的问题,论文用前馈 3D 模型直接预测同一参考系下的无尺度点云,将特征状态压缩为共享尺度,并构建无特征线性求解与 VI-BA。实验显示成功率超过 90%,所需数据通常低于 1.2 秒,在退化视觉场景中更稳健。

UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation figure
RSS 2026Paper 048

UP-Fuse: Uncertainty-guided LiDAR-Camera Fusion for 3D Panoptic Segmentation

Rohit Mohan; Florian Drews; Yakov Miron; Daniele Cattaneo; Abhinav Valada

2026机器人学习感知安全数据人机交互

针对激光雷达-相机融合在相机退化、失效或标定漂移时反而拖累3D全景分割的问题,UP-Fuse在range-view中学习不确定性图,用其调制跨模态注意力,只让可靠视觉特征参与融合,并用混合2D-3D Transformer缓解投影歧义。其在Panoptic nuScenes、SemanticKITTI和新建Panoptic Waymo上验证,正常与严重视觉扰动下均保持较强性能,面向安全关键机器人感知更稳健。

BIEVR-LIO: Robust LiDAR-Inertial Odometry through Bump-Image-Enhanced Voxel Maps figure
RSS 2026Paper 049

BIEVR-LIO: Robust LiDAR-Inertial Odometry through Bump-Image-Enhanced Voxel Maps

Patrick Pfreundschuh; Turcan Tuna; Cedric Le Gentil; Roland Siegwart; Cesar Cadena; Helen Oleynikova

2026机器人学习定位建图腿足机器人感知

BIEVR-LIO针对隧道、平坦地形等几何约束弱场景中LIO易退化的问题,核心洞察是这些环境并非完全退化,仍含可利用的细微几何起伏。方法用体素内定向高度图(bump image)紧凑保存高分辨率表面细节,并用地图感知采样把配准点集中到信息量高区域。多传感器、多平台实验显示其在常规场景达SOTA,在基线发散的困难场景显著更稳,并可支持腿足机器人高程建图。

Continuum Robot Localization using Distributed Time-of-Flight Sensors figure
RSS 2026Paper 050

Continuum Robot Localization using Distributed Time-of-Flight Sensors

Spencer Teetaert; Giammarco Caroleo; Marco Pontin; Sven Lilge; Jessica Burgner-Kahrs; Timothy Barfoot; Perla Maiolino

2026机器人学习定位建图触觉

面向连续体/软体机器人在狭窄杂乱环境中难以搭载高分辨率激光或依赖外部定位的问题,论文将低分辨率 ToF 与陀螺仪分布在机器人全身,并用连续时间因子图 MAP 融合稀疏测距和形状先验,以缓解单个传感器频繁退化。53 cm 实机和仿真中平均误差约 2.5 cm、7.2°,且测试了先验地图不匹配时的鲁棒性。

VGGT-SLAM 2.0: Real-time Dense Feed-forward Scene Reconstruction figure
RSS 2026Paper 051

VGGT-SLAM 2.0: Real-time Dense Feed-forward Scene Reconstruction

Dominic Rosario Maggio; Luca Carlone

2026机器人学习定位建图数据感知

本文针对 VGGT-SLAM 在未标定 RGB 稠密建图中存在的 15 自由度子图漂移、平面退化和回环误匹配问题,提出新的关键帧级因子图与重叠帧一致性约束,并利用 VGGT 注意力层零训练验证图像检索。系统可在 Jetson Thor 机器人上实时运行,支持开放集目标查询;在 TUM 上较 VGGT-SLAM 位姿误差降低约 23%,并展示了从室内到大型谷仓的重建能力。

No Figure
RSS 2026Paper 052

SuperMap: A Spatio-Temporal SLAM System for Visual-Language Navigation

Shibo Zhao; Guofei Chen; Honghao Zhu; Zhiheng Li; Changwei Yao; Nader Zantout; Seungchan Kim; Wenshan Wang; Ji Zhang; Sebastian Scherer

2026机器人学习定位建图感知导航视觉语言模型基础模型

判断受限于 PDF 文本抽取质量。SuperMap 面向人类环境中语言导航对长期、开放词汇语义地图的需求,解决基础模型感知间歇、视角依赖导致的身份漂移与语义过期问题;其核心是将高频几何 SLAM 与异步开放词汇感知结合,用 3D 实例关联/重激活和存在-标签置信更新维护 4D 场景图。摘要称其在基准和真实机器人动态场景中验证,并给出消融与运行时分析。

Provably Guaranteed Polytopic Uncertainty Quantification for SLAM figure
RSS 2026Paper 053

Provably Guaranteed Polytopic Uncertainty Quantification for SLAM

Guangyang Zeng; Yulong Gao; Yuan Shen; Lingpeng Chen; Haoying Li; Guodong Shi; Junfeng Wu

2026机器人学习定位建图感知安全数据

面向自动驾驶、无人机等安全关键场景,论文指出传统 SLAM 的点估计和高斯协方差难以给出真实状态包含保证。其核心是用多面体集合统一表示位姿与地图不确定性,并以正向建图 UQ、反向位姿跟踪 UQ 和位姿复合三个模块构成完整 3D-3D 地标 SLAM 流水线,同时用 conformal prediction 从数据校准测量界。实验显示该方法能以确定性或指定概率包含真实位姿与地标,且不确定集比近期保证式位姿 UQ 更紧。

CoRAL: Contact-Rich Adaptive LLM-based Control for Robotic Manipulation figure
RSS 2026Paper 054

CoRAL: Contact-Rich Adaptive LLM-based Control for Robotic Manipulation

Berk Cicek; Mert Kaan Er; Ozgur S. Oguz

2026机器人学习视觉语言模型控制操作感知规划

面向VLA/LLM在接触丰富操作中缺乏物理 grounding、难以实时自适应的问题,CoRAL将LLM从“动作输出器”改为MPPI代价函数与接触策略设计器,并用VLM给出质量/摩擦等语义先验,再通过在线系统辨识和记忆检索闭环修正。仿真与真机实验显示,其在未见接触任务上较VLA和基础模型规划基线平均成功率提升超过50%。

GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation figure
RSS 2026Paper 055

GHOST: Hierarchical Sub-Goal Policies for Generalizing Robot Manipulation

Sriram Krishna; Ben Eisner; Haotian Zhan; Ying Yuan; Haoyu Zhen; Chuang Gan; Shubham Tulsiani; David Held

2026机器人学习操作模仿学习感知控制扩散策略

GHOST针对机器人模仿学习依赖大量遥操作数据且分布外泛化差的问题,将操作拆成高层3D末端子目标预测与低层目标条件控制,并用投影到图像平面的末端热图连接视觉策略与3D目标。实验显示,仅用机器人数据时层级化已在折叠、敲钉等长时程任务上显著优于平坦Diffusion Policy;再用少量人类视频训练高层,可在无需动作重定向的情况下适应新物体、类别和任务组合。

Robo3R: Enhancing Robotic Manipulation with Accurate Feed-Forward 3D Reconstruction figure
RSS 2026Paper 056

Robo3R: Enhancing Robotic Manipulation with Accurate Feed-Forward 3D Reconstruction

Sizhe Yang; Linning Xu; Hao Li; Juncheng Mu; Jia Zeng; Dahua Lin; Jiangmiao Pang

2026机器人学习感知操作数据导航安全

Robo3R针对机器人操作中深度相机易受噪声、材质和光照影响,而通用前馈重建缺乏精确尺度的问题,提出融合RGB与机器人状态的实时3D重建模型;通过局部几何、相对位姿、全局相似变换、masked point head和PnP外参细化,将点云对齐到机器人规范坐标系。依托400万帧合成数据训练后,其重建质量优于现有方法和深度传感器,并在模仿学习、sim-to-real、抓取与无碰规划中带来稳定增益,增益可能部分来自数据规模与仿真多样性。

Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation figure
RSS 2026Paper 057

Semantically Structured Mixture-of-Experts for Compositional Robotic Manipulation

Chengyu Deng; Guanqi Chen; Chen Yizhou; Zejia Liu; Zhiwen Ruan; Guanhua Chen; Jia Pan

2026机器人学习操作扩散策略视觉语言模型感知可解释性

论文针对多任务扩散策略在性能、泛化与实时计算之间的矛盾,指出现有 MoE 依赖噪声或潜变量路由会打散可复用操作技能。SMoDP 用 VLM 离线标注动词-名词技能,并训练轻量技能预测器结合跨/模内对比学习来按语义路由专家。实验在 LIBERO 与真实 ALOHA 上优于扩散和 MoE 基线,提升参数/数据效率,并可通过冻结专家、微调路由实现组合迁移。

Learning Native Continuation for Action Chunking Flow Policies figure
RSS 2026Paper 058

Learning Native Continuation for Action Chunking Flow Policies

Yufeng Liu; Hang Yu; Juntu Zhao; Bocheng Li; Di Zhang; Mingzhu Li; Wenxuan Wu; Yingdong Hu; Junyuan Xie; Junliang Guo; Dequan Wang; Yang Gao

2026扩散策略视觉语言模型控制操作感知

针对 VLA 动作分块在推理延迟和多模态策略下容易出现块边界不连续、犹豫和方向突变的问题,论文提出 Legato,将续接能力从测试时 RTC 修正转为训练时学习:用按时间表变化的已知动作/噪声混合初始化,并重塑 flow 动力学以匹配逐步引导的训练与推理,同时随机化 schedule 适配不同延迟。五个真实操作任务中,相比 RTC 轨迹平滑度和完成时间约提升 10%。

DexEvolve: Evolutionary Optimization for Robust and Diverse Dexterous Grasp Synthesis figure
RSS 2026Paper 059

DexEvolve: Evolutionary Optimization for Robust and Diverse Dexterous Grasp Synthesis

René Zurbrügg; Andrei Cramariuc; Marco Hutter

2026机器人学习灵巧手数据扩散策略基础模型

DexEvolve 针对灵巧抓取数据生成中“解析采样多但仿真过滤后少且不稳”的问题,将 Isaac Sim 从验收器改为黑盒优化器:用异步无梯度进化算法直接修复完整手部抓取,并用密度感知选择和档案机制保持多模态多样性,再蒸馏到点云条件扩散模型。实验在 Handles 与 DexGraspNet 子集上每物体获得超 120 个稳定不同抓取,较解析种子提升 1.7–6 倍,独特抓取覆盖较扩散基线高 46–60%。

No Figure
RSS 2026Paper 060

TACTIC: Tactile and Vision Conditioned Contact-Centric Control for Whole-Arm Manipulation

Rishabh Madan; Angchen Xie; Samantha Saak; Andres Blanco; Dohyeok Lee; Sarah Grace Brown; Yunting Yan; Mark Zolotas; Jose Barreiros; Tapomayukh Bhattacharjee

2026机器人学习触觉操作控制感知人机交互

判断受限于 PDF 文本抽取质量。TACTIC面向全臂操作中多链路接触稀疏、遮挡下接触不可全观测且纯学习预测易失真的问题,提出结合RGB-D、分布式触觉和2D邻近表示的接触中心混合预测模型,并用接触雅可比约束的采样式MPC调节力与任务进展;摘要称其在仿真中优于模型式和无模型基线,并在三项真实多接触任务上验证。

Distributionally Robust Control via Stein Variational Inference for Contact-rich Manipulation figure
RSS 2026Paper 061

Distributionally Robust Control via Stein Variational Inference for Contact-rich Manipulation

Hrishikesh Sathyanarayan; Victor Vantilborgh; Harish Ravichandar; Tom Lefebvre; Ian Abraham

2026机器人学习控制操作数据人机交互基础模型

面向接触丰富操作中质量、摩擦、惯量等参数不确定且样本/反馈有限的问题,论文将模型控制表述为分布鲁棒优化,并用 SVGD 将先验粒子推向任务敏感的参数后验,避免传统最坏情形 DRO 过度保守。该 SV-DRO 在手内动态定位、双臂 Push-T 等任务中相对现有模型控制基线最高提升约 3× 鲁棒性。

PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies figure
RSS 2026Paper 062

PolaRiS: Scalable Real-to-Sim Evaluations for Generalist Robot Policies

Arhan Jain; Mingtong Zhang; Kanav Arora; William Chen; Marcel Torne; Muhammad Zubair Irshad; Sergey Zakharov; Yue Wang; Sergey Levine; Chelsea Finn; Wei-Chiu Ma; Dhruv Shah; Abhishek Gupta; Karl Pertsch

2026基础模型机器人学习生成模型数据感知

面向通用机器人策略评测成本高、真实 rollout 难复现且现有仿真与现实相关性弱的问题,PolaRiS 用短视频的神经重建、Gaussian Splatting 与生成式物体资产快速构建可交互高保真 real-to-sim 场景,并用少量仿真数据协同训练缩小域差。在 600 次真实和 9.3 万次仿真 rollout 中,其策略排名与真实表现显著更相关,报告 Pearson 约 0.9,并可零样本评测未见场景。

No Figure
RSS 2026Paper 063

MVP-Nav: Multi-layer Value Map Planner Navigator

Wenyuan Xie; Shaokai Wu; Yijin Zhou; Yanbiao Ji; Guodong Zhang; Bayram Bayramli; Qiuchang Li; Xunchu Zhou; Yue Ding; Hongtao Lu

2026机器人学习规划导航视觉语言模型安全基础模型

判断受限于 PDF 文本抽取质量。MVP-Nav 面向 RGB-only 零样本目标导航中语义推理难落到连续几何执行、缺少空间记忆的问题,引入 3D 基础模型从单目观测恢复实例尺度与占用,并以动态语义列表和多层价值地图连接 MLLM 高层规划与低层代价空间路径规划;摘要称其在无深度方法中取得 SOTA 成功率和探索效率,并超过若干深度基线。

Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning figure
RSS 2026Paper 064

Self-Supervised Bootstrapping of Action-Predictive Embodied Reasoning

Milan Ganai; Katie Z. Luo; Jonas Frey; Clark Barrett; Marco Pavone

2026腿足机器人视觉语言模型导航操作自动驾驶安全

这篇论文针对具身 CoT 依赖固定模板、容易把无关物体/计划信息塞给 VLA 而干扰动作预测的问题,提出 R&B-EnCoRe:把推理轨迹视为潜变量,用重要性加权变分推断按“对专家动作预测的信息收益”自监督筛选和再训练,无需人工标注、奖励或验证器。实验覆盖机械臂操作、腿足/轮式导航和自动驾驶,报告操作成功率提升 28%、导航分数提升 101%、碰撞率指标降低 21%。

No Figure
RSS 2026Paper 065

D-Nav: End-to-End Dynamic UAV Navigation with Dual-Resolution Motion Awareness

Liang Qin; Min Wang; Xingyu Lu; Wengang Zhou; Miao Huang; Guodong Shen; Houqiang Li

2026导航安全自动驾驶强化学习基础模型数据

面向密集动态杂物中无人机难以实时避障与导航的问题,D-Nav用端到端强化学习将原始LiDAR直接映射为控制,并通过显著性驱动的全局/局部双分辨率时空表示兼顾场景运动趋势和小型快速障碍;还加入任务感知航点目标条件以平衡避障与通行需求。摘要称复杂动态仿真成功率由0.37升至0.56,并有真实实验验证,但细节判断受限于仅有摘要。

Learning When to Jump for Off-road Navigation figure
RSS 2026Paper 066

Learning When to Jump for Off-road Navigation

Zhipeng Zhao; Taimeng Fu; Shaoshu Su; Qiwei Du; Ehsan Esfahani; Karthik K. Dantu; Souma Chowdhury; Chen Wang

2026机器人学习导航安全控制规划自动驾驶

越野导航中“慢”并不总是安全,沟渠等地形需要结合速度与动力学判断是否可跳越。论文提出运动感知可通行性 MAT,用速度上的截断高斯函数替代静态地形代价,并与 MPPI 规划结合,实现一次感知、多速度实时更新。仿真和实车结果显示其在保持安全下减少约 75% 绕行,并降低距离、时间和能耗。

OpenFrontier: General Navigation with Visual-Language Grounded Frontiers figure
RSS 2026Paper 067

OpenFrontier: General Navigation with Visual-Language Grounded Frontiers

Esteban Padilla Cerdio; Boyang Sun; Marc Pollefeys; Hermann Blum

2026机器人学习导航感知视觉语言模型数据灵巧手

面向开放世界目标导航,论文针对传统方法依赖稠密3D语义地图、手工指标或需交互训练的问题,提出将“视觉前沿”作为语言语义与可执行导航之间的稀疏锚点:在RGB图像中标注候选前沿,由VLM按自然语言目标打分,并与探索信息增益结合后投影到3D进行全局管理和规划。实验显示其在多个闭集/开放词汇导航基准上具备较强零样本竞争力,并可部署到真实移动腿式机器人;但失败恢复和误检仍是主要限制。

LongNav-R1: Horizon-Adaptive Multi-Turn RL for Long-Horizon VLA Navigation figure
RSS 2026Paper 068

LongNav-R1: Horizon-Adaptive Multi-Turn RL for Long-Horizon VLA Navigation

Yue Hu; Avery Xi; Qixin Xiao; Seth Isaacson; Henry X. Liu; Ram Vasudevan; Maani Ghaffari

2026导航强化学习视觉语言模型人机交互模仿学习生成模型

针对现有VLA导航多依赖单步模仿、难以处理长时序因果依赖和纠错的问题,LongNav-R1将导航建模为策略与环境的多轮交互,并提出无需critic的HAPO,用时间核做视野自适应优势估计以改善长程信用分配。实验中仅用4000条rollout就将Qwen3-VL-2B成功率由64.3%提升到73.0%,并在多仿真基准和真实长程导航中展示零样本泛化。

SanD-Planner: Sample-Efficient Diffusion Planner in B-Spline Space for Robust Local Navigation figure
RSS 2026Paper 069

SanD-Planner: Sample-Efficient Diffusion Planner in B-Spline Space for Robust Local Navigation

Jincheng Wang; Lingfan Bao; Tong Yang; Diego Martinez Plasencia; Jianhao Jiao; Dimitrios Kanoulas

2026规划扩散策略导航模仿学习数据基础模型

针对端到端局部导航依赖海量示范、在拥挤动态环境中样本效率低的问题,SanD-Planner将深度图模仿学习放到钳制三次B样条控制点空间,用固定8个控制点生成平滑长视野轨迹,并用ESDF安全检查器解耦可行性评估。仅用500条专家轨迹即在基准上达到90.1%仿真杂乱场景成功率和72.0%室内仿真成功率,并展示了2D/3D真实场景零样本迁移。

No Figure
RSS 2026Paper 070

TravSUITE: Traversability via Self-Supervised, Uncertainty-Aware IRL and Terrain Estimation

Samuel Triest; Amirreza Shaban; David Fan; Wenshan Wang; Sebastian Scherer

2026机器人学习导航强化学习安全数据规划

判断受限于 PDF 文本抽取质量。TravSUITE 面向越野高速导航中感知受限、地形可通行性难以规则化的问题,结合 VFM 体素建图与统一 BEV 网络,自监督地通过地图补全和 IRL 学习几何、语义、速度与代价,并用不确定性做风险自适应;摘要称其较现有方法提升规划质量,实机导航错误减少 80%、速度提高 5%。

HumanFlow - Diffusion-Driven MAV Navigation Among Humans via Tightly-Coupled Motion Tracking, Forecasting, and Control figure
RSS 2026Paper 071

HumanFlow - Diffusion-Driven MAV Navigation Among Humans via Tightly-Coupled Motion Tracking, Forecasting, and Control

Simon Schaefer; Joshua Näf; Stefan Leutenegger

2026机器人学习导航扩散策略控制感知安全

面向MAV在人群与遮挡室内环境中的安全导航,HumanFlow将3D场景条件下的人体运动跟踪与预测统一到紧凑潜空间扩散模型中,并把该表示接入基于flow matching的近似MPC控制策略。实验显示其在噪声、重遮挡下生成更平滑准确的人体轨迹,计算开销显著低于优化式基线;用于仿真社交导航时保持零碰撞,并优于优化和可达性基线。

Emergence of Human to Robot Transfer in Vision-Language-Action Models figure
RSS 2026Paper 072

Emergence of Human to Robot Transfer in Vision-Language-Action Models

Simar Kareer; Karl Pertsch; James Darpinian; Judy Hoffman; Danfei Xu; Sergey Levine; Chelsea Finn; Suraj Nair

2026机器人学习视觉语言模型感知数据基础模型定位建图

论文关注 VLA 训练中机器人数据昂贵而人类视频丰富但难以对齐的问题,提出将人类视频视作另一种 embodiment,与机器人数据用相同的末端轨迹预测和子任务语言预测目标共同微调。核心洞察是人到机器人的迁移并非靠手工映射,而是在足够多任务、场景和机体预训练后涌现,形成较弱 embodiment 依赖的表征。实验在仅人类数据包含的新场景、新物体和新语义任务上显示,加入人类数据在大规模多样预训练下可接近翻倍提升泛化表现,增益可能主要来自 scaling / data。

PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction figure
RSS 2026Paper 073

PointACT: Vision-Language-Action Models with Multi-Scale Point-Action Interaction

Shizhe Chen; Paul Pacaud; Cordelia Schmid

2026机器人学习感知视觉语言模型人机交互基础模型操作

PointACT针对现有VLA过度依赖2D表征、难以处理精细3D几何与空间定位的问题,将层次化点云直接接入动作解码而非简单并入VLM。其核心是双系统架构与多尺度点-动作交互,用瓶颈窗口注意力让动作token持续读取局部几何和全局结构。在LIBERO与RLBench上均优于多类VLA基线,RLBench-10Tasks成功率较强预训练VLA提升约10%,消融显示细粒度3D几何与2D语义的紧耦合是主要增益来源。

Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control figure
RSS 2026Paper 074

Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control

William Chen; Jagdeep Singh Bhatia; Catherine Glossop; Nikhil Mathihalli; Andy Tang; Ria Doshi; Danny Driess; Karl Pertsch; Sergey Levine

2026机器人学习视觉语言模型感知控制基础模型操作

论文针对层级机器人控制中高层 VLM 推理难以有效“落地”到低层 VLA 的问题,指出瓶颈在于策略可操控性不足。其核心做法是用自动生成的多抽象层级指令训练 Steerable Policies,覆盖任务、子任务、原子动作、像素点和轨迹等接口,使 VLM 可按需要选择控制粒度。真实 WidowX 操作实验中,结合微调高层推理器或现成 VLM 的上下文学习,均优于以往推理型 VLA 和 VLM 层级基线,尤其在泛化与长时程任务上更明显。

OAT: Ordered Action Tokenization figure
RSS 2026Paper 075

OAT: Ordered Action Tokenization

Chaoqi Liu; Xiaoshen Han; Jiawei Gao; Yue Zhao; Haonan Chen; Yilun Du

2026机器人学习扩散策略生成模型可解释性

面向自回归机器人策略,论文指出连续动作离散化常在压缩率、可解码性和可建模性间取舍,导致序列过长或潜空间无序。OAT用寄存器Transformer、FSQ与嵌套dropout学习从粗到细的有序动作token,使任意前缀都能解码为可执行动作。20余个仿真与真实任务中,OAT策略优于既有tokenizer和扩散基线,并支持按计算预算提前停止生成。

Beyond Binary Success: Sample-Efficient and Statistically Rigorous Robot Policy Comparison figure
RSS 2026Paper 076

Beyond Binary Success: Sample-Efficient and Statistically Rigorous Robot Policy Comparison

David Snyder; Apurva Badithela; Nikolai Matni; George J. Pappas; Anirudha Majumdar; Masha Itkina; Haruki Nishimura

2026机器人学习安全操作强化学习基础模型数据

针对机器人硬件评测昂贵、少量 rollout 下二元成功率又难以区分策略差异的问题,本文提出 N-SCORE,将安全 anytime-valid 推断用于通用有界进度指标的序贯策略比较,支持离散部分得分、连续奖励/平滑度及非参数情形,并控制一类错误。仿真与真实数据验证显示,其在不损失统计严谨性的前提下,相比批量检验最多减少 70% 评测量,相比二元序贯方法最多减少 50%。

mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs figure
RSS 2026Paper 077

mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs

Jonas Pai; Liam Achenbach; Oliver Sanchez; Stefanos Charalambous; Victoriano Montesinos; Benedek Forrai; Oier Mees; Elvis Nava

2026机器人学习视觉语言模型控制数据基础模型感知

针对传统 VLA 只从静态图文预训练获得语义、却需用昂贵机器人轨迹补学物理动态的问题,mimic-video 提出 Video-Action Model:冻结互联网级视频扩散骨干,在潜空间生成视觉计划,并用基于 flow matching 的逆动力学解码器映射为低层动作。实验覆盖仿真与真实、单臂到双臂灵巧操作,报告相较 VLA 达到 SOTA,并提升约 10×样本效率和 2×收敛速度。

TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance figure
RSS 2026Paper 078

TouchGuide: Inference-Time Steering of Visuomotor Policies via Touch Guidance

Zhemeng Zhang; Jiahua Ma; Xincheng Yang; Xin Wen; Yuzhi Zhang; Boyan Li; Yiran Qin; Jin Liu; Canzhao; Li Kang; Haoqin Hong; Zhenfei Yin; Philip Torr; Hao Su; Ruimao Zhang; Daolin Ma

Shanghai Jiao Tong University; Xense Robotics; Sun Yat-sen University; Oxford;Shanghai AI Laboratory; University of Science and Technology of China; UCSD

2026机器人学习触觉数据感知安全操作

面向穿鞋带、薯片交接等视觉难以可靠判断接触状态的精细操作,TouchGuide不再做简单特征拼接,而是在推理采样后期用由少量示教对比学习得到的接触物理模型,为预训练扩散/flow策略在低维动作空间打分并引导修正;同时提出低成本TacUMI采集触觉数据。五个接触密集任务中,该方法相对多种视触觉基线取得稳定优势,并展示了跨策略、触觉模态和一定视觉扰动的泛化。

No Figure
RSS 2026Paper 079

Visual Verification Enables Inference-time Steering and Autonomous Policy Improvement

Mingtong Zhang; Dhruv Shah

2026机器人学习感知模仿学习基础模型视觉语言模型数据

判断受限于 PDF 文本抽取质量。论文面向机器人部署后需从自身经验持续改进的问题,提出生成器—视觉验证器框架:用预训练策略生成候选动作,在推理时由免梯度视觉验证器选择,并将验证后的轨迹用于离线微调。摘要称该方法在 SIMPLER 与真实 DROID 中优于直接执行,且验证数据微调效率接近人类示教。

Set-Supervised Diffusion Policy: Learning Action-Chunking Diffusion through Corrections figure
RSS 2026Paper 080

Set-Supervised Diffusion Policy: Learning Action-Chunking Diffusion through Corrections

Zhaoting Li; Gang Chen; Javier Alonso-Mora; Cosimo Della Santina; Jens Kober

2026扩散策略数据操作模仿学习机器人学习感知

论文针对扩散策略在模仿学习中遇到分布偏移、依赖人工纠错却浪费“错误动作”负信号的问题,提出 SDP:把机器人未执行的负动作块与教师纠正动作组成对比数据,并构造期望动作块集合来训练扩散策略,而非只拟合单一正样本。多任务离线与在线实验显示,SDP 能稳定提升操作成功率,尤其在噪声数据下更鲁棒,并改善在线聚合数据质量。

X-DiffVLA: X-Embodied Diffusion Action Heads for Vision-Language-Action Models figure
RSS 2026Paper 081

X-DiffVLA: X-Embodied Diffusion Action Heads for Vision-Language-Action Models

Boyu Li; Chaoyi Xu; Haoqi Yuan; Xinrun Xu; Börje F. Karlsson; Dongbin Zhao; Haoran Li; Zongqing Lu

2026机器人学习视觉语言模型扩散策略感知灵巧手数据

X-DiffVLA针对现有VLA在更换夹爪、灵巧手等末端执行器时需单独微调动作头、难以复用跨具身数据的问题,提出统一的扩散式跨具身动作头,并用Embodiment Forcing引导形态相关动作生成、用Morphological Tree Diffusion建模不同末端间的行为关联。在RoboCasa与Isaac Gym中相对强基线分别提升15.3%和12.5%,并通过真实机器人实验验证可迁移性。

SkillVLA: Tackling Combinatorial Diversity in Dual-Arm Manipulation via Skill Reuse figure
RSS 2026Paper 082

SkillVLA: Tackling Combinatorial Diversity in Dual-Arm Manipulation via Skill Reuse

Xuanran Zhai; Zekai Huang; Longyan Wu; Qianyou Zhao; Qiaojun Yu; Jieji Ren; Ce Hao; Harold Soh

2026视觉语言模型操作灵巧手感知

论文针对双臂 VLA 中“左右臂技能组合数爆炸”导致的技能纠缠问题,提出 SkillVLA:用高层 VLM 判断任务意图与协作需求,低层按单臂技能独立生成或在需要时通信耦合,从而复用并重组已学技能。真实双臂实验显示,在未见组合任务上成功率由基线近 0% 提升到 51%,协作任务性能不降,长时程任务执行时间减少 21%。

BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation figure
RSS 2026Paper 083

BagelVLA: Enhancing Long-Horizon Manipulation via Interleaved Vision-Language-Action Generation

Yucheng Hu; Jianke Zhang; Yuanfei Luo; Yanjiang Guo; Xiaoyu Chen; Sun Xinshu; Kun Feng; Qingzhou Lu; Sheng Chen; Yangang Zhang; Wei Li; Jianyu Chen

Tsinghua University, 2ByteDance Seed

2026视觉语言模型感知生成模型操作基础模型规划

面向长时程操作中“会规划但缺少物理预见”或“会预测但推理不足”的VLA瓶颈,BagelVLA将文本子任务规划、未来视觉状态预测与动作生成交错放入统一Transformer,并用RFG从当前观测做单步残差去噪以低延迟提取预测特征。仿真与真实实验显示其在多阶段任务上显著优于现有基线,并具备更好的未见指令和物体布局泛化能力。

GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization figure
RSS 2026Paper 084

GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization

Xiaosong Jia; Bowen Yang; Zuhao Ge; Xian Nie; Yuchen Zhou; Cunxin Fan; Yufeng Li; Yilin Chai; Chao Jing; Zijian Liang; Qingwen Bu; Haidong Cao; Chao Wu; Qifeng Li; Zhenjie Yang; Chenhe Zhang; Hongyang Li; Zuxuan Wu; Junchi Yan; Yu-Gang Jiang

2026视觉语言模型感知机器人学习操作生成模型

针对现有 VLA 动作解码器仅靠端到端监督、易学习背景纹理等伪相关而泛化不稳的问题,GuidedVLA 将解码器视为可分工的功能组件,用人工定义的辅助信号专门监督注意力头,分别捕获物体定位、空间几何和时间技能逻辑。仿真与真机实验显示,该方法相较强 VLA 基线在域内和分布外任务上均提升成功率,并验证因子质量与任务表现正相关。

AR-VLA: Autoregressive Action Expert for Vision–Language–Action Models figure
RSS 2026Paper 085

AR-VLA: Autoregressive Action Expert for Vision–Language–Action Models

Yutong Hu; Jan-Nico Zaech; Nikolay Nikolov; Yuanqi Yao; Sombit Dey; Giuliano Albanese; Renaud Detry; Luc Van Gool; Danda Paudel

2026机器人学习视觉语言模型感知操作生成模型扩散策略

针对现有 VLA/扩散策略每次观测都重置时序上下文、导致高频控制与慢速感知脱节的问题,AR-VLA 将动作头改为独立的跨时间自回归 Action Expert,用长时动作记忆建模“运动语言”,并通过混合 KV 缓存与动态时间重锚定同步可刷新视觉语言前缀。仿真和真机操作中,它可替代 chunk 动作头,在成功率持平或更高的同时显著提升历史感知与轨迹平滑性。

Towards Long-Lived Robots: Continual Learning VLA Models via Reinforcement Fine-Tuning figure
RSS 2026Paper 086

Towards Long-Lived Robots: Continual Learning VLA Models via Reinforcement Fine-Tuning

Yuan Liu; Haoran Li; Shuai Tian; Yuxing Qin; Yuhui Chen; Yupeng Zheng; Yongzhen Huang; Dongbin Zhao

2026机器人学习视觉语言模型触觉数据基础模型强化学习

这篇论文针对 VLA 模型用监督微调适配新任务时数据需求高、且容易灾难性遗忘的问题,提出 LifeLong-RFT:不依赖在线环境反馈或预训练奖励模型,而是在动作块层面用 on-policy 强化微调,并设计离散动作一致性、连续轨迹对齐和格式合规三类过程奖励。实验覆盖 SimplerEnv、LIBERO 与真实任务,在 LIBERO 持续学习中较 SFT 平均成功率提升 22%,且仅用 20% 训练数据即可适配新任务。

$π^{*}_{0.6}$: a VLA That Learns From Experience figure
RSS 2026Paper 087

$π^{*}_{0.6}$: a VLA That Learns From Experience

Physical Intelligence; Ali Amin; Raichelle Aniceto; Ashwin Balakrishna; Kevin Black; Ken Conley; Grace Connors; James Darpinian; Karan Dhabalia; Jared DiCarlo; Danny Driess; Michael Equi; Adnan Esmail; Yunhao Fang; Chelsea Finn; Catherine Glossop; Thomas Godden; Ivan Goryachev; Lachy Groom; Hunter Hancock; Karol Hausman; Gashon Hussein; Brian Ichter; Szymon Jakubczak; Rowan Jen; Tim Jones; Ben Katz; Liyiming Ke; Chandra Kuchi; Marinda Lamb; Devin LeBlanc; Sergey Levine; Adrian Li-Bell; Yao Lu; Vishnu Mano; Mohith Mothukuri; Suraj Nair; Karl Pertsch; Allen Z. Ren; Charvi Sharma; Lucy Xiaoyang Shi; Laura Smith; Jost Tobias Springenberg; Kyle Stachowicz; Will Stoeckle; Alex Swerdlow; James Tanner; Marcel Torne; Quan Vuong; Anna Walling; Haohuan Wang; Blake Williams; Sukwon Yoo; Lili Yu; Ury Zhilinsky; Zhiyuan Zhou

Allen Z. Ren, Charvi Sharma, Lucy Xiaoyang Shi, Laura Smith, Jost Tobias Springenberg, Kyle Stachowicz, Will Stoeckle, Alex Swerdlow

2026机器人学习视觉语言模型强化学习模仿学习数据感知

这篇论文瞄准 VLA 仅靠模仿学习难以在真实部署中纠错、提速和适应环境的问题,提出 Recap:把示范、机器人自主试错和专家远程干预统一进迭代离线 RL,并用价值函数估计优势、以优势条件化方式抽取改进策略。基于 π*0.6,模型在叠衣、装盒、制作咖啡等真实长程操作中显著提升鲁棒性与效率,困难任务吞吐量超过翻倍,失败率约减半。

StereoVLA: Enhancing Vision-Language-Action Models with Stereo Vision figure
RSS 2026Paper 088

StereoVLA: Enhancing Vision-Language-Action Models with Stereo Vision

Shengliang Deng; Mi Yan; Yixin Zheng; Jiayi Su; Wenhao Zhang; Xiaoguang Zhao; Heming Cui; Zhizheng Zhang; He Wang

Galbot; Peking University; The University of Hong Kong; Institute of Automation, Chinese Academy of Sciences; Beijing Academy of Artificial Intelligence; Xiamen University Malaysia

2026视觉语言模型感知基础模型操作数据人机交互

针对现有 VLA 多依赖单目 RGB、难以获得精细几何感知的问题,StereoVLA 将双目视觉引入操作策略:用 FoundationStereo 提取视差几何特征,并与 PrismaticVLM 的语义 token 对齐融合,同时通过交互区域深度估计辅助训练强化空间细节。实验显示其在双目设置下较基线成功率提升约 33%,在高精度任务和相机位姿变化下更稳健。

RLux-VLA: A Unified and Efficient Framework for Reinforcement Learning of Vision-Language-Action Models figure
RSS 2026Paper 089

RLux-VLA: A Unified and Efficient Framework for Reinforcement Learning of Vision-Language-Action Models

Hongzhi Zang; Mingjie Wei; Si Xu; Yongji Wu; Zhen Guo; Yuanqing Wang; Hao Lin; Peihong Wang; Liangzhi Shi; Yuqing Xie; Zhexuan Xu; Zhihao Liu; Kang Chen; Wenhao Tang; Quanlu Zhang; Weinan Zhang; Chao Yu; Yu Wang

Tsinghua University; Zhongguancun Academy; Infinigence AI; Peking University; UC Berkeley;Harbin Institute of Technology; Institute of Automation, Chinese Academy of Sciences

2026机器人学习视觉语言模型强化学习感知触觉人机交互

针对VLA强化学习后训练中模型、算法与仿真器接口割裂,以及在线交互导致GPU资源空转的问题,RLinf-VLA提出统一抽象,兼容OpenVLA/OpenVLA-OFT、PPO/GRPO和LIBERO/ManiSkill/RoboTwin,并用混合细粒度流水线与资源分配优化提升吞吐。实验显示训练加速约1.61–1.88倍,在多个仿真基准上成功率提升约20–85%,LIBERO和ManiSkill分别达到98.11%与97.66%。

Betting for Sim-to-Real Performance Evaluation figure
RSS 2026Paper 090

Betting for Sim-to-Real Performance Evaluation

Yujia Chen; Zaid Mahboob; Bowen Weng

2026机器人学习仿真到现实操作安全控制

本文针对真实机器人测试昂贵、耗时且受安全约束导致性能评估样本稀缺的问题,将仿真到现实评估重构为序贯“下注”推断:仿真器不必完全逼真,只要提供可利用的预测优势即可。论文证明理想下注与高效估计、Kelly 最优增长近似一致,并给出基于随机仿真器组合和财富增长诊断的可实现算法;在合成、跨保真仿真及机械臂抓取放置案例中,相比普通 Monte Carlo 展示了更高效的真实性能估计。

MolmoSpaces: Large-Scale Open Ecosystem for Robot Manipulation and Navigation figure
RSS 2026Paper 091

MolmoSpaces: Large-Scale Open Ecosystem for Robot Manipulation and Navigation

Yejin Kim; Wilbert Pumacay; Omar Rayyan; Max Argus; Winson Han; Eli VanderBilt; Jordi Salvador; Abhay Deshpande; Rose Hendrix; Snehal Jauhri; Shuo Liu; Nur Muhammad Mahi Shafiullah; Maya Guru; Ainaz Eftekhar; Karen Farley; Donovan Clay; Jiafei Duan; Arjun Guru; Piper Wolters; Alvaro Herrasti; Ying-Chun Lee; Georgia Chalvatzaki; Yuchen Cui; Ali Farhadi; Dieter Fox; Ranjay Krishna

2026数据导航操作基础模型灵巧手机器人学习

针对现有机器人基准场景少、任务短、难以衡量真实长尾泛化的问题,MolmoSpaces提供开放的大规模仿真生态:23万室内环境、13万带语义/物理标注物体及4200万抓取,并兼容MuJoCo、Isaac和ManiSkill。其8任务基准覆盖导航、操作和长程交互,实验显示与真实评测高度相关(R=0.96、ρ=0.98),也揭示零样本策略对提示、初始关节位姿和相机遮挡仍较敏感。

EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World figure
RSS 2026Paper 092

EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World

Ryan Punamiya; Simar Kareer; Zeyi Liu; Joshua Citron; Ri-Zhao Qiu; Xiongyi Cai; Alexey Gavryushin; Jiaqi Chen; Davide Liconti; Lawrence Y. Zhu; Patcharapong Aphiwetsa; Baoyu Li; Aniketh Cheluva; Pranav Kuppili; Yangcen Liu; Dhruv Patel; Aidan Gao; Ryan Co; Hye-Young Chung; Renee Zbizika; Jinyun Liu; Xiaomeng Xu; Haoyu Xiong; Geng Chen; Sebastiano Oliani; Wenkai Xuan; Chenyu Yang; Xi Wang; James Fort; Richard Newcombe; Josh Gao; Jason Chong; Garrett Matsuda; Aseem Doriwala; Robert K. Katzschmann; Marc Pollefeys; Xiaolong Wang; Shuran Song; Judy Hoffman; Danfei Xu

Aniketh Cheluva 1;Georgia Institute of Technology;Stanford University;University of California San Diego;ETH Zürich;MIT CSAIL;Meta Reality Labs Research

2026数据机器人学习操作模仿学习基础模型

针对机器人示教采集昂贵、规模和场景多样性受限的问题,EgoVerse 将第一视角人类操作数据做成可持续扩展的协作式数据生态,统一采集、处理、标注与访问,并发布 1362 小时、8 万段示教。跨实验室、跨任务和多机器人实验显示,人类数据与机器人数据联合训练能稳定提升策略表现,但增益依赖任务语义和场景对齐;示教者多样性与场景多样性分别影响具身鲁棒性和环境泛化。

GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning figure
RSS 2026Paper 093

GS-Playground: A High-Throughput Photorealistic Simulator for Vision-Informed Robot Learning

Yufei Jia; Heng Zhang; Ziheng Zhang; Lei Han; Junzhe Wu; Mingrui Yu; Zifan Wang; Dixuan Jiang; Zheng Li; Chenyu Cao; Zhuoyuan Yu; Xun Yang; Haizhou Ge; Yuchi Zhang; Jiayuan Zhang; Zhenbiao Huang; Tianle Liu; Shenyu Chen; Jiacheng Wang; Bin Xie; Xuran Yao; Xiwa Deng; Guangyu Wang; Jinzhi Zhang; Lei Hao; Zhixing Chen; Yuxiang Chen; Anqi Wang; Hongyun Tian; Yiyi Yan; Zhanxiang Cao; Yizhou Jiang; Hanyang Shao; Yue Li; Lu Shi; Bokui Chen; Wei Sui; Hanqing Cui; Yusen Qin; Tiancai Wang; Ruqi Huang; Guyue Zhou

2026感知机器人学习操作腿足机器人基础模型仿真到现实

面向视觉驱动机器人学习,现有并行仿真难以同时提供高保真渲染、高吞吐物理和易构建的可仿真资产。GS-Playground将自研CPU/GPU并行物理引擎与批量3D Gaussian Splatting渲染同步,并加入自动Real2Sim流程生成视觉和物理一致的场景。在640×480下单GPU约达10^4 FPS,并在腿足运动、导航和操作实验中展示了视觉RL与sim-to-real迁移潜力。

No Figure
RSS 2026Paper 094

High Fidelity Capture, Reconstruction, and Transfer of Human Demonstrations for Robot-Assisted Bathing

Arjun Lakshmipathy; Jonathan P. King; Ethan Zuo; Rohit Satishkumar; Hongyi Chen; Jeffrey Ichnowski; Dan Ding; Zackory Erickson; Nancy S. Pollard

2026机器人学习模仿学习数据人机交互灵巧手触觉

面向洗浴等长期、接触密集的临床辅助任务,论文针对示教难采集、难理解、难迁移的问题,提出以接触区域为核心处理单元的高保真采集与重建框架,构建包含运动、形状、接触和力同步信息的临床人员洗浴示教数据集,并用于设计控制装臂软灵巧手在假人上执行开环与闭环洗浴;判断受限于仅有摘要信息。

No Figure
RSS 2026Paper 095

RoboVista: Evaluating Vision Language Models for Diverse Robot Applications

Shuangyu Xie; Kaiyuan Chen; Ziyang Chen; Simeon Adebola; Yixuan Huang; Zehan Ma; Tianshuang Qiu; Wentao Yuan; Dhruv Shah; Pannag R. Sanketi; Ken Goldberg

2026机器人学习视觉语言模型感知数据自动驾驶规划

判断受限于 PDF 文本抽取质量。论文针对机器人在多形态、复杂视觉条件和规划任务中缺少模块化评测的问题,提出 RQA 框架与 RoboVista 基准,汇集真实系统、论文和专家标注的 474 个 VQA、覆盖 39 类任务;结果显示现有 VLM 仍有明显差距,且基准表现与真实机器人执行相关。

RoboLab: A High-Fidelity Simulation Benchmark for Analysis of Task Generalist Policies figure
RSS 2026Paper 096

RoboLab: A High-Fidelity Simulation Benchmark for Analysis of Task Generalist Policies

Xuning Yang; Rishit Dagli; Alex Zook; Hugo Hadfield; Ankit Goyal; Stan Birchfield; Fabio Ramos; Jonathan Tremblay

2026机器人学习基础模型控制视觉语言模型生成模型感知

针对现有仿真基准训练/评测域重叠、任务易饱和且难以诊断失败的问题,RoboLab在高保真 IsaacLab 环境中支持人工与 LLM 生成机器人/策略无关的场景和任务,并提出覆盖视觉、流程、关系三类能力与三档难度的 RoboLab-120。文中用仅在真实 DROID 数据上训练的策略评测,显示其结果与真实基准有相关性,同时暴露当前通用策略在扰动敏感性和细粒度成功率上仍有明显差距。

LIBERO-X: Robustness Litmus for Vision-Language-Action Models figure
RSS 2026Paper 097

LIBERO-X: Robustness Litmus for Vision-Language-Action Models

Guodong Wang; Chenkai Zhang; Qingjie Liu; Jinjin Zhang; Jiancheng Cai; Junjie Liu; Xinmin Liu

Beihang University

2026视觉语言模型感知数据操作人机交互

现有 VLA 操作基准多只考察单一扰动且训练/测试分布过近,容易高估泛化能力。LIBERO-X 通过五级递进评测同时叠加空间、物体属性与指令语义变化,并提供人类遥操作采集的多场景多任务训练集。实验显示代表性 VLA 在累积扰动下成功率明显下降,暴露其场景理解和指令 grounding 仍不稳健。

No Figure
RSS 2026Paper 098

OopsieVerse: A Safety Benchmark with Damage-Aware Simulation for Robot Manipulation

Arnav Balaji; Arpit Bahety; Sriniket Ambatipudi; Daniel Lam; Junhong Xu; Roberto Martín-Martín

2026机器人学习安全操作强化学习模仿学习触觉

面向家用机器人“完成任务但损坏环境或自身”的安全痛点,OopsieVerse将MDP扩展为带损伤观测、奖励和终止的设定,并用DamageSim把接触力、温度、液体等转成机械、热或流体损伤信号;其在OmniGibson和RoboCasa中构建任务基准,摘要称可辅助安全示教、模仿/强化学习、VLA评测和sim-to-real安全,但具体量化增益文中未充分说明。

FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control figure
RSS 2026Paper 099

FlashSAC: Fast and Stable Off-Policy Reinforcement Learning for High-Dimensional Robot Control

Donghu Kim; Youngdo Lee; Minho Park; Kinam Kim; Takuma Seno; I. Made Aswin Nahrendra; Sehee Min; Daniel Palenicek; Florian Vogt; Danica Kragic; Jan Peters; Jaegul Choo; Hojoon Lee

2026强化学习控制触觉数据机器人学习腿足机器人

面向高维机器人控制中 PPO 难以复用数据、SAC 类离策略方法又因 critic 自举误差而慢且不稳的问题,FlashSAC 的核心洞察是减少梯度更新次数,并用更大模型与更高数据吞吐补偿,同时约束权重、特征和梯度范数来抑制误差累积。论文在 10 个模拟器 60 余任务上报告其优于 PPO 和多种离策略基线,在灵巧操作等高维任务收益最大,并将仿真人形行走训练从小时级降到分钟级。

Realizing Robotic Swimming with Unified Fluid-Robot Multiphysics figure
RSS 2026Paper 100

Realizing Robotic Swimming with Unified Fluid-Robot Multiphysics

Jeong Hun Lee; Junzhe Hu; Sofia Kwok; Carmel Majidi; Zac Manchester

2026机器人学习控制操作腿足机器人仿真到现实人机交互

针对仿生水下机器人难以同时建模机体多体动力学与复杂涡流/流固耦合、导致控制优化和 sim-to-real 困难的问题,论文将机械臂方程与不可压 Navier-Stokes 从同一拉格朗日量统一推导,并用离散变分力学、弱形式无滑移约束和隐函数梯度构建可微强耦合仿真器。基于该仿真器,作者在鳗鱼机器人上生成波动游动并优化 C-start 90 度转向,硬件实验验证了两类步态的仿真到现实迁移。

Grounding Discrete-Time Joint-Level Acceleration Bounds in Voltage-Constrained Actuation figure
RSS 2026Paper 101

Grounding Discrete-Time Joint-Level Acceleration Bounds in Voltage-Constrained Actuation

Lingwei Zhang; Jiaming Wang; Tianlin Zhang; Zhitao Song; Xuanqi Zeng; Weipeng Xia; Zhongyu Li; Yun-hui Liu

2026腿足机器人触觉控制

论文针对离散时间关节加速度约束常假设“运动学可行即可执行”的问题,指出电机电压受限时高速关节会出现可行加速度却无法由执行器实现的断层。核心是提出 VRA,将电机电压—转速物理映射为关节级可实现加速度边界,作为上层控制接口。电机台架和轮腿四足实验显示,它能过滤不可实现命令,改善接近关节边界时的执行一致性并减少约束诱发振荡。

cuNRTO: GPU-Accelerated Nonlinear Robust Trajectory Optimization figure
RSS 2026Paper 102

cuNRTO: GPU-Accelerated Nonlinear Robust Trajectory Optimization

Jiawei Wang; Arshiya Taj Abdul; Evangelos Theodorou

2026规划安全操作控制

面向有界确定性扰动下的安全轨迹优化,原有 NRTO 虽能处理非线性动力学与约束,但 SOCP 子问题代价高。本文将其改造成适合 GPU 的 cuNRTO:用 DR 分裂并行化 SOC 投影,进一步提出 FullADMM 结构以减少额外分裂层和主机-设备通信,并用 CUDA/cuBLAS 实现关键更新。在单轮车、四旋翼和 Franka 仿真中保持鲁棒约束满足,最高获得 139.6× 加速。

Safe Large-Scale Robust Nonlinear MPC in Milliseconds via Reachability-Constrained System Level Synthesis on the GPU figure
RSS 2026Paper 103

Safe Large-Scale Robust Nonlinear MPC in Milliseconds via Reachability-Constrained System Level Synthesis on the GPU

Jeffrey Fang; Glen Chou

2026机器人学习安全控制规划数据基础模型

面向腿式等高维机器人,传统 NMPC 与可达性分析难以同时满足实时性和扰动下安全约束。本文将非线性问题局部线性化后,用 GPU 上的 ADMM/QP、并行扫描与缓存,把名义轨迹、SLS 跟踪控制器和闭环可达管联合优化。实验在 61D 四足和 75D 人形上实现毫秒级在线鲁棒控制,SLS 加速约 237×,并报告 100% 经验安全率。

Bellman Value Decomposition for Task Logic in Safe Optimal Control figure
RSS 2026Paper 104

Bellman Value Decomposition for Task Logic in Safe Optimal Control

William Sharpless; Oswin So; Dylan Hirsch; Sylvia Lee Herbert; Chuchu Fan

2026视觉语言模型安全控制强化学习

面向真实机器人中目标达成与安全约束相互冲突、时序逻辑任务在高维系统里难以用自动机或稀疏奖励高效求解的问题,论文从 Bellman Value 结构出发,证明复杂时序逻辑价值可分解为由 Reach-Avoid、Avoid 和新提出的 Reach-Avoid-Loop 方程连接的价值图,并据此设计 VDPPO。仿真与无人机/四足机器人硬件实验显示,该方法较基线提升学习速度与任务完成率,并能更自动地平衡安全与活性。

asRoBallet: Closing the Sim2Real Gap via Friction-Aware Reinforcement Learning for Underactuated Spherical Dynamics figure
RSS 2026Paper 105

asRoBallet: Closing the Sim2Real Gap via Friction-Aware Reinforcement Learning for Underactuated Spherical Dynamics

Fang Wan; Guangyi Huang; Tianyu Wu; Zishang Zhang; Bangchao Huang; Haoran Sun; Mingdong Chen; Chaoyang Song

2026强化学习触觉仿真到现实控制腿足机器人安全

面向球形轮人形机器人在轮-球-地面摩擦、执行延迟和安全探索上的 Sim2Real 难题,论文将四足平台重构为低成本 ballbot,并在 MuJoCo 中显式建模 ETH 全向轮离散滚子,结合摩擦感知 PPO 与域随机化学习滚动、侧滑和扭转摩擦耦合。结果显示策略可零样本上机,在速度跟踪和定点保持中较 LQR 更抗摩擦、初始姿态和手臂构型扰动。

No Figure
RSS 2026Paper 106

Stabilizing 3D Continuum-Arm Rollouts via Equilibrium Anchoring and Feature-Lifted Residual Learning

Ahsan Tanveer; Rahdar Hussain Afridi; Waqar Hussain Afridi; Feitian Zhang; Guangming Xie

2026机器人学习感知数据控制

针对连续体机器人在驱动分布偏移下多步预测易累积误差、稳态响应失真的问题,论文将静态平衡先验嵌入收缩更新,并用特征提升的线性残差模型补偿瞬态动态。在更强更快驱动的200步 rollout 中,Hybrid 将骨架和末端位置 RMSE 分别降低26%和27%,且全测试轨迹保持稳定;判断受限于 PDF 文本抽取质量。

Learning-Based Adaptive Control for Surgical Robotic Exposure Task on Deformable Tissues figure
RSS 2026Paper 107

Learning-Based Adaptive Control for Surgical Robotic Exposure Task on Deformable Tissues

Jiayi Liu; Kaiqi Wei; Yiwei Wang; Huan Zhao; Han Ding

2026控制机器人学习灵巧手安全数据感知

面向手术中病灶/器官被软组织遮挡、难以依赖精确物理模型完成牵拉的问题,本文将ROI暴露建模为视觉边界驱动的变形伺服任务,结合在线估计的变形雅可比与仿真训练的深度变形估计模型,用于抓取点选择、初始化和安全约束。仿真及真实可变形材料实验表明,该框架可零样本迁移并完成从抓取到充分暴露的自主牵拉。

Variance-Reduced Model Predictive Path Integral via Quadratic Model Approximation figure
RSS 2026Paper 108

Variance-Reduced Model Predictive Path Integral via Quadratic Model Approximation

Fabian Schramm; Franki Nguimatsia Tiofack; Nicolas Perrin-Gilbert; Marc Toussaint; Justin Carpentier

2026控制操作

针对标准 MPPI 在低采样预算下方差高、收敛慢的问题,论文将目标函数拆成可建模的近似项与残差项,用二次近似推导闭式的模型引导先验,让采样集中到更有信息的区域;该近似可来自精确导数、Gauss/Quasi-Newton 结构或无梯度随机平滑。在优化基准、倒立摆和含接触操作任务中,相比标准 MPPI 表现出更快收敛和更好的低样本性能。

Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics figure
RSS 2026Paper 109

Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics

Heng Yang

2026控制

论文针对可微动力学下梯度法易陷局部最优、纯采样法样本开销大的问题,将有限时域轨迹/策略优化改写为带 KL 正则的控制推断,并用温度化 SMC 逐步从先验退火到低成本控制器分布,结合 HMC 利用 rollout 精确梯度维持粒子多样性。其还为策略优化处理初始状态分布与 rollout 随机性;实验显示在多类 TO/PO 基准上较现有方法更稳健、性能更优。

TinySDP: Real Time Semidefinite Optimization for Certifiable and Agile Edge Robotics figure
RSS 2026Paper 110

TinySDP: Real Time Semidefinite Optimization for Certifiable and Agile Edge Robotics

Ishaan Mahajan; Jon Arrizabalaga; Andrea Grillo; Fausto Vega; Zac Manchester; James Anderson; Brian Plancher

2026机器人学习安全控制导航规划触觉

面向嵌入式机器人在非凸障碍环境中难以实时获得可认证避障的问题,TinySDP将小规模半定松弛的PSD锥投影嵌入缓存Riccati-ADMM MPC,并用事后rank-1证书给出每步几何安全保证。实验显示其在U形死胡同和动态障碍中保持无碰撞,路径较强基线最多缩短73%,并在Crazyflie微控制器上实现25Hz部署。

High Precision Hydraulic Excavator Control for Heavy Duty Grading figure
RSS 2026Paper 111

High Precision Hydraulic Excavator Control for Heavy Duty Grading

Lennart Werner; Pol Eyschen; Sean Costello; Andrei Cramariuc; Marco Hutter

2026控制触觉人机交互

面向依赖熟练机手的重载精平作业,论文指出难点在于土壤载荷与不同液压架构使关节响应强烈变化。方法将液压感知底层控制与MPC路径跟踪解耦,并为NFC提出压力自适应流量反演,配合约20分钟免厂商接口标定迁移到LS/NFC挖机。实机深切削中RMSE达1.8 cm,对商业系统4.7 cm提升2.6倍,LS机上为1.4 cm,且能用到最大功能压力避免过早失速。

No Figure
RSS 2026Paper 112

Automated Synthesis of Facial Mechanisms for Conversational Animatronic Robots

Zongzheng Zhang; Zi Lin; Jiawen Yang; Ziqiao Peng; Junyan Lao; Lin Cheng; Huazhe Xu; Hang Zhao; Hao Zhao

2026机器人学习数据安全感知基础模型

面向个性化仿生机器人面部每换一张脸都需手工重设计、成本高的问题,论文提出参数化连杆式面部机构模板,并从单张2D肖像重建3D脸、自动合成可制造且避碰的内部机构;还加入双身份对话面部运动生成,同时建模说话与倾听。摘要称其在多脸型自动设计、对比人工设计、实时运动合成和用户研究中验证有效,但具体增益幅度文中未充分说明。

Social Human Robot Embodied Conversation (SHREC) Dataset: Benchmarking Foundational Models’ Social Reasoning figure
RSS 2026Paper 113

Social Human Robot Embodied Conversation (SHREC) Dataset: Benchmarking Foundational Models’ Social Reasoning

Dong Won Lee; Yubin Kim; Sooyeon Jeong; Denison Guvenoz; Parker Malachowsky; Louis-Philippe Morency; Cynthia Breazeal; Hae Won Park

2026机器人学习人机交互数据基础模型感知

面向真实人机对话中机器人常出现但现有社交智能数据集难以覆盖的细微失礼、误解与互动失配,本文构建 SHREC:约400段桌面社交机器人真实交互视频、1万余标注,并以七类社交属性和八项任务评测基础模型的错误/能力识别、互动流程、理由与纠正推理。对18个LLM/VLM的实验显示,模型在单项任务上偶有优势,但整体显著落后人类,说明具身社交推理仍是当前基础模型短板。

CANINE: Coaching Visually Impaired Users for Interactive Navigation with a Robot Guide Dog figure
RSS 2026Paper 114

CANINE: Coaching Visually Impaired Users for Interactive Navigation with a Robot Guide Dog

Cunjun Yu; Zishuo Wang; Anxing Xiao; Linfeng Li; David Hsu

2026机器人学习导航感知多机器人控制基础模型

针对视障用户使用机器导盲犬时难以仅凭通用口头说明掌握人机协同的问题,CANINE将导航训练拆成子技能,用知识追踪选择薄弱环节,并结合VLM/LLM从练习视频诊断错误原因、生成个性化语音反馈。盲fold代理实验显示其较通用指令提升学习效率和最终导航表现,两周保持实验与一名视障用户案例也支持效果,但真实规模化验证仍有限。

QuickLAP: Quick Language–Action Preference Learning for Autonomous Driving Agents figure
RSS 2026Paper 115

QuickLAP: Quick Language–Action Preference Learning for Autonomous Driving Agents

Jordan Abi Nader; David Lee; Nathaniel Dennler; Andreea Bobu

Massachusetts Institute of Technology

2026机器人学习自动驾驶强化学习操作灵巧手视觉语言模型

面向半自动驾驶中“人会说也会动手纠正”的偏好学习问题,QuickLAP指出单独的物理修正意图含混、单独语言又缺少动作 grounding,并将语言建模为用户潜在奖励的概率观测。方法用 LLM 从自由文本中提取奖励特征注意、偏好变化和置信度,再与物理纠正通过闭式贝叶斯更新融合,实现实时奖励推断。仿真中相对仅物理反馈和启发式多模态基线将奖励学习误差降低超过70%,15人用户研究也显示其行为更易理解、更具协作感且更受偏好。

Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations figure
RSS 2026Paper 116

Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations

Helena Merker; Nick Walker; Andreea Bobu

2026机器人学习模仿学习强化学习数据操作感知

针对示教数据常因人类注意力、物理难度或覆盖不足而漏掉关键奖励特征,导致部署时奖励错配的问题,本文提出 ASQ:用示教中特征取值方差识别“未被充分监督”的维度,并以自然语言解释后主动请求定向纠正示教。仿真桌面操作和真实 Franka 用户研究显示,相比随机查询、被动采集或仅展示 rollout,该策略能更好恢复奖励并获得更有信息量的示教。

No Figure
RSS 2026Paper 117

Embodiment Meets Environment: Toward Context-Aware, Safe Physical Caregiving Robots

Zhanxin Wu; Ruofei Tong; Jiaying Fang; Tapomayukh Bhattacharjee

2026机器人学习安全人机交互感知

判断受限于仅有摘要。论文针对护理机器人技能常与特定环境和机体绑定、且缺少围绕人的显式安全约束的问题,提出 E^2-CARE:用统一 3D 动态场景图表示人、机器人与环境,将基础护理技能抽象为交互模板并在线生成任务约束。摘要称其在数百个仿真家庭、不同机体及两项真实用户研究中实现零样本、安全适配,但具体增益来源文中未充分说明。

No Figure
RSS 2026Paper 118

Beyond Failure Recovery: An Engagement-Aware Human-in-the-loop Framework for Robotic Systems

Jiaying Fang; Joyce Yang; Zhanxin Wu; Bohan Yang; Tapomayukh Bhattacharjee

2026机器人学习人机交互规划安全控制可解释性

针对传统人机协作只在失败或不确定时请求用户、易让护理等场景中的用户长期被动参与的问题,论文提出 Engagement-aware MPC,用交互动态模型同时考虑交互频率、类型、参与感与工作负荷,在保证任务完成的同时主动规划用户介入。仅据摘要判断,仿真和辅助进食用户研究显示其能提升用户体验并维持任务成功。

No Figure
RSS 2026Paper 119

Knowing When Not to Help: Active Estimation of Human Reachability for Just-Right Robot Assistance

Ziang Liu; Yunting Yan; Christy Sum Yu Cheung; Tailai Ying; Bodong Liu; Shiqin Tong; Alexander Orkwis; Katherine Dimitropoulou; Tapomayukh Bhattacharjee

2026机器人学习操作安全感知人机交互可解释性

面向护理和协作操作中过度辅助的问题,论文主张机器人应估计用户“能否自己够到”再决定是否介入。方法用可组合参数模型表示关节空间可达性,并结合肌骨仿真、生理临床文献锚点与主动查询来快速校准个体能力。摘要结果显示20次查询约达0.50 IoU,三明治任务中提升身体参与感且不增加负担;判断受限于仅有摘要信息。

No Figure
RSS 2026Paper 120

A Minimal, Deterministic Approach to Shared Control for Safe Powered Wheelchair Driving

Larisa Y.c. Loke; Joel Goh; Kyle Puckett; Michelle Zhang; Nicole L. Zaino; Brenna Argall

2026机器人学习安全控制自动驾驶感知人机交互

面向高障碍用户驾驶电动轮椅时易碰撞、跌落且操作门槛高的问题,论文提出基于 LUCI 的 REACT 共享控制方法,用最小、确定性的仲裁与安全约束下动作选择提供辅助,并设计纵向、多任务、用户特异的评估协议。商业轮椅案例显示,辅助效果随障碍类型、接口、任务和时间尺度差异明显,多数场景改善了控制输入行为,用户主观反馈积极;判断受限于仅有摘要。

R2RGen: Real-to-Real 3D Data Generation for Spatially-generalized Robotic Manipulation figure
RSS 2026Paper 121

R2RGen: Real-to-Real 3D Data Generation for Spatially-generalized Robotic Manipulation

Xiuwei Xu; Angyuan Ma; Hankun Li; Bingyao Yu; Zheng Zhu; Jie Zhou; Jiwen Lu

Department of Automation, Tsinghua University,; Beijing Key Laboratory of Embodied Intelligence Systems;Institute for Embodied Intelligence and Robotics, Tsinghua University,; GigaAI

2026机器人学习数据感知操作生成模型模仿学习

R2RGen针对模仿学习中为空间泛化反复采集示教的低效问题,直接在真实点云观测与动作轨迹上生成数据,避免仿真/渲染及固定相机假设。其关键是把多相机示教统一到共享3D空间,结合场景/轨迹解析、组级回溯增强和相机感知后处理,以保持多物体交互因果与传感器分布一致。实验显示该方法提升一示教和少量示教下的数据效率,并可扩展到移动操作与不同相机设置。

DexGrasp-Zero: A Morphology-Aligned Policy for Zero-Shot Cross-Embodiment Dexterous Grasping figure
RSS 2026Paper 122

DexGrasp-Zero: A Morphology-Aligned Policy for Zero-Shot Cross-Embodiment Dexterous Grasping

Yuliang Wu; Yanhan Lin; Wengkit Lao; Yuhao Lin; Yi-Lin Wei; Wei-Shi Zheng; Ancong Wu

2026灵巧手安全机器人学习数据

针对灵巧手形态差异导致策略需为每种硬件重训、且中间目标重定向易违反运动/驱动约束的问题,DexGrasp-Zero将不同手映射到解剖语义对齐的图节点与三轴运动基元,并用MAGCN注入URDF物理属性以直接输出关节动作。单策略在4种手上训练后,对未见LEAP/Inspire仿真零样本成功率85%,较SOTA高59.5%,真实三平台未见物体平均82%。

Minimalist Compliance Control figure
RSS 2026Paper 123

Minimalist Compliance Control

Haochen Shi; Songbo Hu; Yifan Hou; Weizhuo Wang; Karen Liu; Shuran Song

2026机器人学习控制安全触觉规划灵巧手

这篇论文针对柔顺控制依赖昂贵力/力矩传感器、而学习式方案又有仿真到现实和安全风险的问题,提出用现代伺服或准直驱电机已有的电流/PWM信号,经简单标定和雅可比估计外力,再接入任务空间导纳控制。核心洞察是柔顺反应更需要力方向和频段响应足够可靠,而非精确力值。实验覆盖机械臂、灵巧手和两类人形机器人,并与VLM、模仿学习、模型规划结合,展示了多种接触任务中的安全、稳定柔顺交互。

One Hand to Rule Them All: Canonical Representations for Unified Dexterous Manipulation figure
RSS 2026Paper 124

One Hand to Rule Them All: Canonical Representations for Unified Dexterous Manipulation

Zhenyu Wei; Yunchao Yao; Mingyu Ding

2026灵巧手操作机器人学习

针对灵巧手策略通常绑定单一硬件、难以跨自由度和运动学结构迁移的问题,论文提出参数化 canonical hand 表示与 canonical URDF,将手部形态编码为可学习参数,并用虚拟关节统一动作空间。实验显示该表示可形成可插值潜空间,保留原 URDF 的抓取/重定向功能,并在未见 LEAP Hand 变体上实现零样本迁移,3 指 LEAP 实机成功率达 81.9%。

AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation figure
RSS 2026Paper 125

AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation

Jiyun Jang; Yujin Sung; Woosung Joung; Daewon Chae; Sangwon Lee; Sohwi Kim; Jinkyu Kim; Jungbeom Lee

2026机器人学习操作基础模型模仿学习数据感知

论文关注视觉运动策略“看懂场景却做不准动作”的问题,指出关键瓶颈在于模型难以从 RGB 中理解机器人基座坐标系下各动作维度的图像含义。AxisGuide 用相机参数和末端位姿把 +x/+y/+z 基座运动方向投影成额外视觉通道,无需改架构或深度监督。在 LIBERO 与真实任务中,该显式坐标提示提升了未见物体位置等分布偏移下的成功率与泛化性。

Learning Deformable Object Manipulation Using Task-Level Iterative Learning Control figure
RSS 2026Paper 126

Learning Deformable Object Manipulation Using Task-Level Iterative Learning Control

Krishna Suresh; Chris Atkeson

Carnegie Mellon University

2026机器人学习操作控制模仿学习数据

面向绳索等可变形物体自由度高、欠驱动且难以精确建模的问题,本文将迭代学习控制提升到任务层:不平均追踪全轨迹,而聚焦飞结中绳索自碰撞的关键状态,并用简化模型和二次规划把任务空间误差转成动作更新。方法仅需一次人类示范并在真机少量试次中学习,在7类差异很大的绳/链上10次内达到100%成功率,多数跨材质迁移仅需2–5次。

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining figure
RSS 2026Paper 127

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining

I.-Chun Arthur Liu; Krzysztof Marcin Choromanski; Sandy Huang; Connor Schenck

2026机器人学习感知操作基础模型模仿学习扩散策略

CLAMP针对2D预训练表征缺少操作所需3D空间信息的问题,利用RGB-D融合点云重渲染含深度/坐标的多视角观测,并引入动态腕部视角、3D相对位置编码和图像-文本-动作对比预训练,同时预训练扩散策略以改善微调初始化。在少量示教下,其在6个仿真和5个真实双臂操作任务上优于现有基线,显示样本效率和成功率均有提升。

Force Policy: Learning Hybrid Force-Position Control Policy under Interaction Frame for Contact-Rich Manipulation figure
RSS 2026Paper 128

Force Policy: Learning Hybrid Force-Position Control Policy under Interaction Frame for Contact-Rich Manipulation

Hongjie Fang; Shirun Tang; Mingyu Mei; Haoxiang Qin; Zihao He; Jingjing Chen; Feng Ying; Chenxi Wang; Wanxi Liu; Zaixing He; Cewu Lu; Shiquan Wang

2026触觉人机交互控制操作感知机器人学习

面向插入、打磨、拧紧等接触丰富操作,论文指出单一端到端策略易混淆视觉规划与高速力反馈,难兼顾泛化和接触稳定。核心做法是从示教中恢复具有物理含义的 interaction frame,并在接触阶段用局部高频策略估计该坐标系,执行混合力/位置控制;自由空间则由全局视觉策略推进任务。真实机器人实验显示其在多类任务中提升接触建立、力调节精度和对新物体几何/物性的泛化,但具体相对增益幅度需看实验表格。

ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation figure
RSS 2026Paper 129

ViTacFormer: Learning Cross-Modal Representation for Visuo-Tactile Dexterous Manipulation

Liang Heng; Haoran Geng; Kaifeng Zhang; Pieter Abbeel; Jitendra Malik

2026机器人学习灵巧手触觉操作感知控制

面向视觉易遮挡、单靠图像难以支撑精细灵巧操作的问题,ViTacFormer在ACT式模仿学习中用交叉注意力持续融合视觉、触觉与本体信息,并通过自回归预测未来触觉信号来塑造更具动作性的跨模态表征,配合先真值触觉后预测触觉的课程训练稳定学习。真实双臂灵巧手基准上,其成功率较强基线约提升50%,并完成最长11阶段、约2.5分钟的长程操作。

Galilean State Estimation for Inertial Navigation Systems with Unknown Time Delay figure
RSS 2026Paper 130

Galilean State Estimation for Inertial Navigation Systems with Unknown Time Delay

Giulio Delama; Martin Scheiber; Yixiao Ge; Tarek Hamel; Stephan Weiss; Robert Mahony

University of Klagenfurt;Systems Theory and Robotics Group;Australian National University;I3S, CNRS, Université Côte d’Azur

2026导航自动驾驶数据

针对商用 GNSS 在 INS 中常见的未知位置测量时延会导致滤波偏差和不一致的问题,论文用 Galilean 对称性把空间状态与时间偏移统一建模,并推导可同时估计导航状态和 GNSS lag 的等变滤波器。两架固定翼 UAV 的 90/120 ms 时延实验及最高 500 ms 仿真显示,EqF 无需离线标定即可接近离线补偿 EKF,并比在线估计时延的 EKF 更稳定、一致。

Learning to Localize Reference Trajectories in Image-Space for Visual Navigation figure
RSS 2026Paper 131

Learning to Localize Reference Trajectories in Image-Space for Visual Navigation

Finn Lukas Busch; Matti Vahs; Quantao Yang; Jesús Gerardo Ortega Peimbert; Yixi Cai; Jana Tumova; Olov Andersson

2026机器人学习感知导航规划灵巧手

现有视觉轨迹导航多把单个子目标图像直接映射为机器人动作,受相机、平台和子目标选择限制。LoTIS将问题改为在当前视图中定位整条参考RGB轨迹,输出各轨迹点的图像坐标、可见性和距离,再交给本地规划器,从而解耦感知与控制,并用跨轨迹训练增强视角/相机不变性。实验中前向导航成功率较SOTA提升20–50个百分点,结合规划器在仿真和真实环境达94–98%,倒退遍历等困难任务提升超过5倍。

Beyond Isolation: A Unified Benchmark for General-Purpose Navigation figure
RSS 2026Paper 132

Beyond Isolation: A Unified Benchmark for General-Purpose Navigation

Seson Sun; Tianyi Yang; Tengyue Wang; Yikai Xue; Zhengjie Xu; Lingming Zhang; Qichen Zhang; Chao.liang; Zhipeng Zhang

AutoLab, SAI, Shanghai Jiao Tong University; Research Lab, Anyverse Dynamics

2026机器人学习导航人机交互腿足机器人数据模仿学习

针对现有导航评测将 VLN、ObjectNav、SocialNav 等技能割裂、且多绑定单一机器人形态的问题,论文提出 OmniNavBench:用复合指令串联 6 类导航/交互任务,并在 Isaac Sim 中支持人形、四足、轮式机器人及可配置传感器,结合 170 个场景和 1,779 条人工遥操作轨迹。实验显示,现有统一导航方法在多阶段任务衔接、动态社交交互和跨形态/真实扫描泛化上明显退化,说明瓶颈更多在连续技能协调而非单项能力。

No Figure
RSS 2026Paper 133

Seeing Danger Before Moving: Learning Environment-Centric Risk for Safe Robot Navigation

Palash Yuvraj Ingle; Young-Gab Kim

2026机器人学习安全导航感知数据规划

危险场景中仅靠机器人临近反应式感知可能来不及避险;本文将风险估计前移到环境侧,融合摄像头与传感器的多模态时空信息,并用贝叶斯滤波形成稳定风险信念作为规划代价。在含烟、热、水、振动和结构障碍的实体测试床上,方法较无风险感知基线减少危险暴露,但具体模型与增益来源受摘要信息限制,文中未充分说明。

Adaptive Smooth Tchebycheff Attention for Multi-Objective Policy Optimization figure
RSS 2026Paper 134

Adaptive Smooth Tchebycheff Attention for Multi-Objective Policy Optimization

Alejandro Murillo-Gonzalez; Mahmoud Ali; Lantao Liu

2026机器人学习强化学习感知触觉控制

面向机器人多目标强化学习中安全、速度与任务收益的非凸权衡,论文指出线性标量化难覆盖凹形 Pareto 区域,而固定 Tchebycheff 又训练不稳。其核心是 PASTA/ASTCH:根据实时目标梯度冲突自适应调节平滑参数,在精确非凸优化与稳定梯度之间弹性切换。实验在隐蔽视觉搜索、无人机避障及 MuJoCo 多目标任务中显示,相比线性和静态非线性基线更能稳定发现非凸 Pareto 最优策略。

Learning Agile Quadrotor Flight in the Real World figure
RSS 2026Paper 135

Learning Agile Quadrotor Flight in the Real World

Yunfan Ren; Zhiyuan Zhu; Jiaxu Xing; Davide Scaramuzza

Robotics and Perception Group, University of Zurich, Switzerland

2026安全控制仿真到现实数据机器人学习触觉

面向四旋翼在风扰、硬件退化等非平稳真实条件下固定仿真策略过于保守的问题,论文主张直接在实机中安全提升性能。其核心是用在线残差学习修正简单动力学模型,结合真实状态锚定的短视窗 BPTT 更新策略,并通过自适应时间缩放逐步逼近平台极限。实机实验中,保守基策略约 100 秒内峰值速度从 1.9 m/s 提升到 7.3 m/s,且可在强风巡检任务中缩短 42% 完成时间。

Asymptotically Optimal Ergodic Coverage on Generalized Motion Fields figure
RSS 2026Paper 136

Asymptotically Optimal Ergodic Coverage on Generalized Motion Fields

Christian Hughes; Yilang Liu; Yanis Lahrach; Julia Engdahl; Houston Warren; Darrick Lee; Fabio Ramos; Travis Miles; Ian Abraham

2026机器人学习控制数据规划导航腿足机器人

面向海洋等随流场变形的动态环境,传统遍历覆盖多假设静态域,难以给欠驱动或开环机器人长期采样保证。论文将MMD遍历度量扩展到由已知时变向量场搬运的离散空间样本,形成流场自适应覆盖目标,在非凸、受流约束域中保持渐近覆盖性质。仿真覆盖海洋、人群和牛群迁移,实机在空中与腿足平台上验证了符合机器人动力学的遍历探索。

Learning What Matters: Adaptive Information Theoretic Objectives for Robot Exploration figure
RSS 2026Paper 137

Learning What Matters: Adaptive Information Theoretic Objectives for Robot Exploration

Youwei Yu; Jionghao Wang; Zhengming Yu; Wenping Wang; Lantao Liu

2026机器人学习强化学习数据导航操作触觉

针对机器人探索中信息增益目标常依赖专家预选参数、且高维系统里许多参数不可观测的问题,论文提出 QOED:用 Fisher 信息矩阵特征空间在线筛出可辨识方向,并在目标中压制非关键参数的干扰。方法可接入 MBPO,在仿真与真实导航、操作任务中分别因方向选择和干扰抑制带来约 35.23% 与 21.98% 提升,真实机械臂和 Jackal 实验也显示更高成功率与更稳定参数估计。

Learning Point Cloud Geometry as a Statistical Manifold: Theory and Practice figure
RSS 2026Paper 138

Learning Point Cloud Geometry as a Statistical Manifold: Theory and Practice

Jinwoo Lee; Jiwoo Kim; Woojae Shin; Giseop Kim; Hyondong Oh

2026机器人学习感知定位建图数据灵巧手

针对 LiDAR 点云稀疏、非均匀导致局部几何估计受视角和传感器影响、进而削弱定位建图与位姿估计的问题,论文将点云几何建模为由逐点 3D 高斯诱导的统计流形,并用自监督网络 POLI 预测点到椭球的局部协方差。该表示可无结构改动接入现有感知流水线,实验显示其几何估计更稳健,并在多类机器人感知任务中带来一致性能提升。

Tune to Learn: How Controller Gains Shape Robot Policy Learning figure
RSS 2026Paper 139

Tune to Learn: How Controller Gains Shape Robot Policy Learning

Antonia Bronars; Younghyo Park; Pulkit Agrawal

Improbable AI Lab

2026控制机器人学习强化学习模仿学习仿真到现实触觉

这篇论文关注位置控制已成机器人学习默认接口后,PD 增益该如何选这一被忽视问题。核心洞察是增益不应按任务刚度/柔顺性来调,而是作为影响可学习性的策略接口:闭环刚度由策略反应与控制动力学共同形成。实验显示,行为克隆更适合柔顺且过阻尼增益,强化学习在匹配超参后几乎各增益均可成功,而仿真到现实迁移会被过硬或过阻尼控制显著伤害。

Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons figure
RSS 2026Paper 140

Robometer: Scaling General-Purpose Robotic Reward Models via Trajectory Comparisons

Anthony Liang; Yigit Korkmaz; Jiahui Zhang; Minyoung Hwang; Abrar Anwar; Sidhant Kaushik; Aditya Shah; Alex S. Huang; Luke Zettlemoyer; Dieter Fox; Yu Xiang; Anqi Li; Andreea Bobu; Abhishek Gupta; Stephen Tu; Erdem Biyik; Jesse Zhang

Univ. of Southern California; UT Dallas; MIT; Indep. Researcher; Univ. of Washington; Ai2; NVIDIA

2026强化学习数据感知模仿学习机器人学习安全

本文针对通用机器人奖励模型过度依赖专家轨迹逐帧进度标签、难以利用失败和次优数据的问题,提出 Robometer:在帧级进度监督外加入轨迹对偏好损失,用全局排序约束校准奖励,并构建含 100 万+多形态轨迹的 RBM-1M。实验显示其在奖励排序相关性上较基线提升约14%,成功/次优区分提升32%,并在在线/离线RL、模仿学习过滤和零样本失败检测中带来2.4–4.5倍成功率增益。

Contact-Anchored Policies: Contact Conditioning Creates Strong Robot Utility Models figure
RSS 2026Paper 141

Contact-Anchored Policies: Contact Conditioning Creates Strong Robot Utility Models

Zichen Jeff Cui; Omar Rayyan; Haritheja Etukuru; Bowen Tan; Zavier Andrianarivo; Zicheng Teng; Yihang Zhou; Krish Mehta; Nicholas Wojno; Kevin Yuanbo Wu; Manan H. Anjaria; Ziyuan Wu; Manrong Mao; Guangxun Zhang; Binit Shah; Yejin Kim; Soumith Chintala; Lerrel Pinto; Nur Muhammad Mahi Shafiullah

2026操作数据机器人学习模仿学习视觉语言模型基础模型

论文针对语言提示在机器人操作中空间约束不精确、模型负担重的问题,提出以环境中的物理接触点替代语言条件的 Contact-Anchored Policies,并将策略拆成抓取、开合等模块化 utility models,通过 EgoGym 仿真快速暴露失败并迭代数据与模型。仅用 23 小时示教,CAP 在新场景、新物体和多种机器人本体上零样本泛化,三类基础操作较大型 VLA 高 56%。

When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering figure
RSS 2026Paper 142

When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering

Jessie Yuan; Yilin Wu; Andrea Bajcsy

Carnegie Mellon University

2026机器人学习视觉语言模型基础模型可解释性扩散策略感知

针对VLM在部署时为扩散/模仿策略做动作筛选时常过度自信、难区分指令歧义与底层策略无能的问题,论文提出UPS,用保形预测校准VLM-基础策略组合的不确定性,并在执行、语言澄清和人工动作干预/残差学习之间切换。仿真与真机操作显示,它能更好识别三类场景,在歧义任务中较未校准 steering 提升约30%,同时减少昂贵人工干预。

ReSteer: Quantifying and Refining the Steerability of Multitask Robot Policies figure
RSS 2026Paper 143

ReSteer: Quantifying and Refining the Steerability of Multitask Robot Policies

Zhenyang Chen; Alan Tian; Liquan Wang; Benjamin Joffe; Yingyan Celine Lin; Yuxiao Chen; Siddharth Karamcheti; Danfei Xu

2026机器人学习数据

ReSteer关注多任务VLA在执行中途常忽略新指令的问题,指出其根源在独立任务示教导致轨迹分布重叠不足、语言对动作约束弱。论文用条件互信息近似量化可转向性,并据此定位低可转向状态、合成任务切换片段,再用成功轨迹自精炼。LIBERO上约提升10–11%可转向成功率,真实厨房场景相对仅遥操作微调提升2.2倍。

Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories figure
RSS 2026Paper 144

Emergent Neural Automaton Policies: Learning Symbolic Structure from Visuomotor Trajectories

Yiyuan Pan; Xusheng Luo; Hanjiang Hu; Peiqi Yu; Changliu Liu

2026数据模仿学习可解释性机器人学习操作灵巧手

面向长时程操作中端到端策略缺少结构先验、传统神经符号方法依赖手工谓词的问题,ENAP从视觉运动示教中无标签地聚类并扩展L*算法推断Mealy状态机,用其表示高层任务模式,再以残差网络做连续控制。实验显示其在复杂操作和低数据场景较VLA至少提升8%、最高27%,参数少39%,同时给出可解释的决策结构。

Universal Pose Pretraining for Generalizable Vision-Language-Action Policies figure
RSS 2026Paper 145

Universal Pose Pretraining for Generalizable Vision-Language-Action Policies

Haitao Lin; Hanyang Yu; Jingshun Huang; He Zhang; Yonggen Ling; Ping Tan; Xiangyang Xue; Yanwei Fu

2026机器人学习感知视觉语言模型模仿学习数据

论文针对现有 VLA 依赖 VQA 式语义特征、难以感知细粒度 3D 状态且动作监督稀疏低效的问题,提出 Pose-VLA:用相机中心坐标下的离散 pose tokens 统一物体位姿与轨迹,并通过 3D 数据空间预训练和机器人轨迹对齐,将感知与本体动作适配解耦。结果在 RoboTwin 2.0 达 79.5% 成功率、LIBERO 达 96.0%,真实任务中每任务 100 条示范即可泛化到多类物体。

EigenSafe: A Spectral Framework for Learning-Based Probabilistic Safety Assessment figure
RSS 2026Paper 146

EigenSafe: A Spectral Framework for Learning-Based Probabilistic Safety Assessment

Inkyu Jang; Jonghae Park; Sihyun Cho; Chams Eddine Mballo; Claire Tomlin; H. Jin Kim

2026安全机器人学习控制操作强化学习模仿学习

针对随机扰动、感知噪声下传统 HJ/CBF 安全指标难以校准到真实安全概率的问题,EigenSafe 将长期安全概率的动态规划写成线性算子迭代,并用主特征值/特征函数分别刻画闭环整体与状态-动作局部安全性;其可从轨迹数据无模型学习,用于约束强化学习更新和模仿策略的测试时安全过滤,并在 Gym 安全 RL 与 UR3 食物准备操作中提升安全性。

DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation figure
RSS 2026Paper 147

DISC: Decoupling Instruction from State-Conditioned Control via Policy Generation

Hanxiang Ren; Pei Zhou; Xunzhe Zhou; Yanchao Yang

2026生成模型控制数据基础模型感知操作

DISC针对语言条件操作中指令与状态共享参数导致的“观察泄漏”和语言绕过问题,改用仅由指令驱动的超网络生成整套任务专属视觉运动策略参数,并以仿梯度优化的两阶段细化提高权重一致性。方法从零训练,在LIBERO-90、Meta-World和真实共享视觉场景任务上优于纠缠式基线,且表现出更好的长程任务、少样本适应和改写指令泛化能力。

Zero-Shot Sim-to-Real Robot Learning: A Dexterous Manipulation Study on Reactive Catching figure
RSS 2026Paper 148

Zero-Shot Sim-to-Real Robot Learning: A Dexterous Manipulation Study on Reactive Catching

Kejia Ren; Gaotian Wang; Andrew Morgan; Kaiyu Hang

Department of Computer Science, Rice University;Robotics and AI Institute

2026仿真到现实操作灵巧手机器人学习控制感知

面向接触丰富、对模型误差和感知噪声极敏感的灵巧操作零样本迁移,论文指出传统域随机化每次 rollout 只见单一随机实例,难以让策略显式应对动力学不确定性。其提出 DRIS,在同一动作下并行传播多个随机实例并联合训练,使策略面向一组可能结果做反应。作者在无被动稳定结构的平板接球任务上验证,仿真和真实实验均显示相较常规基线更稳健,可实现可靠的零样本 sim-to-real。

Emerging Extrinsic Dexterity in Cluttered Scenes via Dynamics-aware Policy Learning figure
RSS 2026Paper 149

Emerging Extrinsic Dexterity in Cluttered Scenes via Dynamics-aware Policy Learning

Yixin Zheng; Jiangran Lyu; Yifan Zhang; Jiayi Chen; Mi Yan; Yuntian Deng; Xuesong Shi; Xiaoguang Zhao; Yizhou Wang; Zhizheng Zhang; He Wang

2026灵巧手控制机器人学习操作强化学习生成模型

本文针对密集杂乱场景中抓取受限、接触耦合复杂导致非抓取操作难以泛化的问题,提出 DAPL:先用物理世界模型学习接触诱发的物体动力学表征,再将其条件化强化学习,并通过课程式 rollout 迭代更新,使策略学会选择性利用或避开环境接触。在 Clutter6D 未见场景中成功率较抓取、人类遥操作和既有表征策略提升超过 25%,真实 10 个杂乱场景约 50% 成功率,并展示零样本 sim-to-real 的货架取物部署。

ViserDex: Visual Sim-to-Real for Robust Dexterous In-hand Reorientation figure
RSS 2026Paper 150

ViserDex: Visual Sim-to-Real for Robust Dexterous In-hand Reorientation

Arjun Bhardwaj; Maximum Wilder-Smith; Mayank Mittal; Vaishakh Patil; Marco Hutter

2026感知灵巧手操作仿真到现实数据控制

ViserDex瞄准灵巧手内重定向中单目RGB难以在遮挡、复杂纹理和光照变化下稳定估计物体位姿的问题。其核心是在3D Gaussian表示空间做预渲染域随机化,生成逼真且多样的位姿估计数据,并用课程强化学习与师生蒸馏训练控制策略。实验中,3DGS数据训练的感知器优于传统渲染,并在16自由度Allegro Hand上对5类物体实现零样本真实迁移和较稳健的连续重定向。

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation figure
RSS 2026Paper 151

SimToolReal: An Object-Centric Policy for Zero-Shot Dexterous Tool Manipulation

Kushal Kedia; Tyler Ga Wei Lum; Jeannette Bohg; Karen Liu

Cornell University; Stanford University

2026机器人学习灵巧手操作强化学习仿真到现实触觉

面向工具操作中细柄抓取、手内重定向和受力接触难以遥操作采集且逐任务仿真调参成本高的问题,SimToolReal 将工具使用抽象为物体中心的目标位姿序列跟踪,在程序生成的工具状原语上训练单一目标条件 RL 策略,并用6D位姿与抓取区域框降低视觉仿真差距。其在24个真实任务、12个物体上零样本部署,任务进度较重定向和固定抓取基线高37%,接近专门训练策略。

Latent Policy Steering through One-Step Flow Policies figure
RSS 2026Paper 152

Latent Policy Steering through One-Step Flow Policies

Hokyun Im; Andrey Kolobov; Jianlong Fu; Youngwoon Lee

Department of Artificial Intelligence, Yonsei University; Microsoft Research

2026机器人学习强化学习数据安全生成模型触觉

论文针对离线机器人强化学习中“追求高回报”与“保持在数据分布内”需靠敏感正则权重折中的问题,提出 LPS:冻结一阶段 MeanFlow 生成策略作为行为先验,让动作空间 Q 梯度直接反传到潜变量策略,避免蒸馏潜空间 critic 的信息损失。实验显示其在 OGBench 和真实机器人操作中优于 BC 与潜变量 steering 基线,且基本无需任务级调参。

When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning figure
RSS 2026Paper 153

When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning

Lakshita Dodeja; Ondrej Biza; Shivam Vats; Stephen Hart; Stefanie Tellex; Robin Walters; Karl Schmeckpeper; Thomas Weng

2026强化学习模仿学习触觉操作人机交互机器人学习

针对行为克隆在示教后难以自我改进、离线到在线强化学习又容易遗忘已有好动作的问题,Q2RL先用少量在线交互从BC策略的动作概率与熵估计Q函数,再通过Q-Gating按Q值在BC与RL动作间切换。其在D4RL、robomimic及真实接触丰富装配/分拣任务中优于基线,真实机器人1–2小时内最高达100%成功率,并较原BC提升最多3.75倍。

Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation figure
RSS 2026Paper 154

Offline Policy Evaluation for Manipulation Policies via Discounted Liveness Formulation

Hao Wang; Joshua Bowden; Colton Crosby; Somil Bansal

2026机器人学习操作强化学习视觉语言模型扩散策略感知

这篇论文针对机器人操作离线评估中稀疏奖励、有限时长截断与恢复行为导致的价值低估问题,将策略评估改写为 discounted liveness 任务,并设计两阶段自举的 Bellman 估计来从成功轨迹向超时轨迹传播任务进展信号。在 VLA、扩散策略仿真及布料折叠示教中,该方法比 TD(0) 和 Monte Carlo 更能反映进展、显著减轻截断偏差。

HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning figure
RSS 2026Paper 155

HydroShear: Hydroelastic Shear Simulation for Tactile Sim-to-Real Reinforcement Learning

An Thanh Dang; Jayjun Lee; Mustafa Mukadam; X. Alice Wu; Bernadette Bucher; Manikantan Nambi; Nima Fazeli

2026触觉仿真到现实强化学习灵巧手人机交互操作

面向接触丰富操作中触觉强化学习难以仿真到现实迁移的问题,HydroShear不再只追求触觉图像外观,而是用SDF与非完整水弹性接触模型显式刻画粘滑转换、路径依赖剪切积累和完整SE(3)物体—传感器交互。其在GelSight Mini上更接近真实剪切场,并使四类任务零样本实机迁移平均成功率达93%,明显高于触觉图像策略和其他剪切仿真方法。

Toward Reliable Sim-to-Real Predictability for MoE-based Robust Quadrupedal Locomotion figure
RSS 2026Paper 156

Toward Reliable Sim-to-Real Predictability for MoE-based Robust Quadrupedal Locomotion

Tianyang Wu; Hanwei Guo; Yuhang Wang; Junshu Yang; Xinyang Sui; Jiayi Xie; Xingyu Chen; Zeyang Liu; Xuguang Lan

2026机器人学习腿足机器人仿真到现实强化学习安全触觉

针对四足强化学习在复杂地形中奖励过拟合、仿真指标难预测实机表现且直接试机风险高的问题,论文将仅依赖本体感知的门控 MoE 运动策略与 RoboGauge 评测套件结合,用多地形、多难度和域随机化的 sim-to-sim 指标筛选可迁移策略。Unitree Go2 实机在雪地、沙地、台阶、斜坡和 30 cm 障碍上保持鲁棒,通过 100 N 冲击测试,并在平地达到约 4.01 m/s,出现窄步宽高速步态。

Guided Streaming Stochastic Interpolant Policy figure
RSS 2026Paper 157

Guided Streaming Stochastic Interpolant Policy

Puming Jiang; Meiyi Wang; Lin Kelvin; Ce Hao; Harold Soh

2026机器人学习控制生成模型

面向动态障碍和在线偏好调整,论文指出分块式生成策略因整段生成与开环执行而反应慢。其核心是在随机插值框架中推导推理时最优引导漂移,并将其嵌入流式控制SSIP,配合免训练STEG和学习式CCG计算梯度。Push-T、Robomimic及Panda实机实验显示,相比引导扩散/流匹配分块策略,SSIP在延迟、反应性和动态任务成功率上更优。

No Figure
RSS 2026Paper 158

Damage Adaptation in Seconds for Architected Materials

James Avtges; Jake B. Ketchum; Helena Young; Taekyoung Kim; Ryan L. Truby; Todd Murphey

2026机器人学习灵巧手

判断受限于 PDF 文本抽取质量。论文面向软体机器人长期自主中的损伤与现场修复适应问题,提出 LEAP:利用架构材料损伤的低维离散表征,结合潜在损伤表示和简单集成方法做本体感知自适应。在 6DoF HSA 软腕描迹任务中,可在一分钟内适应切割、烧蚀和执行器修复,无需仿真实时调整。

No Figure
RSS 2026Paper 159

NeuralActuator: Neural Actuation Modeling for Robot Dynamics and External Force Perception

Zhiyang Dou; John U. Onyemelukwe; Hangxing Zhang; Heng Zhang; Minghao Guo; Yunsheng Tian; Michal Piotr Lipiec; Joshua Jacob; Chao Liu; Peter Yichen Chen; Yuri Ivanov; Wojciech Matusik

2026触觉控制感知数据人机交互机器人学习

判断受限于 PDF 文本抽取质量。本文针对低成本伺服中电流—力矩线性模型失效导致的仿真到现实误差,提出 NeuralActuator,用 Transformer 学习非线性、时变执行器动力学,并同时估计外力、接触门控和电机状态;其通过可微仿真仅用位姿监督训练、无需力矩传感器,在 5 自由度平台上提升动力学建模、无传感力感知和行为克隆控制效果。

Muninn: Your Trajectory Diffusion Model But Faster figure
RSS 2026Paper 160

Muninn: Your Trajectory Diffusion Model But Faster

Gokul Puthumanaillam; Hao Jiang; Ruben Hernandez; Jose Fuentes; Paulo Padrao; Leonardo Bobadilla; Melkior Ornik

2026机器人学习扩散策略规划安全导航强化学习

扩散轨迹规划能表达多模态运动,但多步去噪使在线导航与控制延迟过高。Muninn的核心是把内部表示变化的廉价探针与采样器误差传播系数校准,形成可消耗的轨迹偏差预算,从而在无需重训和改采样器的情况下决定何时复用去噪器输出。实验覆盖D4RL、构型空间规划和视觉运动策略,最高实现4.6倍墙钟加速,并基本保持任务性能、安全指标及硬件闭环效果。

Consensus-based optimization (CBO): Towards Global Optimality in Robotics figure
RSS 2026Paper 161

Consensus-based optimization (CBO): Towards Global Optimality in Robotics

Xudong Sun; Armand Jordana; Massimo Fornasier; Jalal Etesami; Majid Khadiv

2026机器人学习规划

针对MPPI、CEM、CMA-ES等零阶轨迹优化常因局部采样而陷入局部最优的问题,本文将共识优化CBO引入机器人规划,用粒子扩散与按代价加权的共识点进行全局探索,并把常见零阶方法统一到代理目标最小化视角下分析其局限。实验覆盖长时域、欠驱动态平衡和高维终端代价任务,CBO均取得更低代价,显示其在全局轨迹优化中的潜力。

Natural Functional Gradients for Smooth Trajectory Optimization figure
RSS 2026Paper 162

Natural Functional Gradients for Smooth Trajectory Optimization

Kisang Park; Chanwoo Kim; Kyungjae Lee; Sungjoon Choi

2026机器人学习规划安全操作控制

面向狭窄、杂乱操作场景中“可行但不平滑”与“平滑但易陷局部”的轨迹优化矛盾,论文将轨迹视为 Hilbert 空间函数,利用高斯平滑诱导的自然泛函梯度直接更新整条轨迹,并用仅需黑箱评估的 Monte-Carlo 估计避免依赖解析碰撞梯度。实验显示其在受限操作任务中较代表性规划和轨迹优化基线提升可行率,并生成更平滑的执行轨迹;代价是采样计算开销较高。

IMPACT: An Implicit Active-Set Augmented Lagrangian for Fast Contact-Implicit Trajectory Optimization figure
RSS 2026Paper 163

IMPACT: An Implicit Active-Set Augmented Lagrangian for Fast Contact-Implicit Trajectory Optimization

Jiayun Li; Dejian Gong; Georgia Chalvatzaki

PEARL Lab, Dept. of Computer Science, TU Darmstadt, Germany;Robotics Institute Germany (RIG)

2026机器人学习规划控制安全操作灵巧手

针对接触隐式轨迹优化中 MPCC 互补约束导致病态、对接触时序和惩罚调参敏感的问题,IMPACT 保留原始非光滑接触结构,用带保障的增广拉格朗日外层和结构化 BCD 内层在迭代中隐式选择接触分支,并给出可行聚点平稳性保证。实验在 CITO 上较强基线加速 2.9–70 倍、几何均值 13.8 倍,在灵巧手 CI-MPC 中改善控制平滑性,并完成真实 Push-T 推操作验证。

RIO: Flexible Real-time Robot I/O for Cross-Embodiment Robot Learning figure
RSS 2026Paper 164

RIO: Flexible Real-time Robot I/O for Cross-Embodiment Robot Learning

Pablo Agustin Ortega-Kral; Eliot Xing; Arthur Bucker; Vernon Luk; Junseo Kim; Owen Kwon; Angchen Xie; Nikhil Sobanbabu; Yifu Yuan; Megan Lee; Deepam Ameria; Bhaswanth Ayapilla; Jaycie Bussell; Guanya Shi; Jonathan Francis; Jean Oh

Carnegie Mellon University

2026数据机器人学习视觉语言模型操作灵巧手人机交互

机器人学习在跨平台复现与VLA部署中常被硬件、传感器和驱动栈碎片化拖慢。RIO的核心是把控制、遥操作、数据格式、传感器配置和策略部署抽象为轻量、可重组的Python实时I/O组件,而非绑定特定机器人。论文在单臂、双臂和人形三类形态、四种硬件上验证了完整VLA工作流,并用RIO采集数据微调π0.5与GR00T完成抓放、折叠、刷碗等真实任务。

Structured Learning for Electromagnetic Field Modeling and Real-Time Inversion figure
RSS 2026Paper 165

Structured Learning for Electromagnetic Field Modeling and Real-Time Inversion

Antonio Bernardes; Jasan Zughaibi; Michael Muehlebach; Bradley J. Nelson

2026数据控制导航安全基础模型定位建图

面向电磁导航闭环控制中传统 MPEM 对几何假设、初始化和复杂线圈适配性的依赖,本文用结构化 MLP 学习位置相关的非线性磁场映射,同时保留对线圈电流的线性/仿射形式,从而可用伪逆做约 1 ms 的闭式最小范数反演。在 OctoMag 与临床级 Navion 的高密度数据上,其精度接近 MPEM、数据效率相当,并通过采样与模型设计缓解了工作空间伪病态问题。

FreeOcc: Training-Free Embodied Open-Vocabulary Occupancy Prediction figure
RSS 2026Paper 166

FreeOcc: Training-Free Embodied Open-Vocabulary Occupancy Prediction

Zeyu Jiang; Changqing Zhou; Xingxing Zuo; Changhao Chen

2026感知机器人学习视觉语言模型基础模型数据定位建图

面向具身机器人在线建图,FreeOcc针对现有占据预测依赖体素标注、真值位姿且跨场景泛化差的问题,提出无需训练的开放词表框架:用SLAM估计位姿与稀疏几何,几何一致地更新3D Gaussian,并接入视觉语言模型语义,再概率投影为体素占据图。其在EmbodiedOcc-ScanNet上较自监督方法IoU/mIoU提升超过2倍,并在新ReplicaOcc基准零样本优于监督与自监督基线。

No Figure
RSS 2026Paper 167

More with LESS – Local Scene Representations for Tactile Imaging

Zohar Rimon; Elisei Shafer; Tal Tepper; Daniel Kozin; Alon Malka; Roy Holland; Aviv Tamar

2026机器人学习触觉感知操作灵巧手数据

面向软体物体内部结构的触觉成像,现有自监督方法依赖全局无结构表示和机器人受控采样,泛化与实用性受限。LESS将触觉场景拆成带局部感受野的循环编码器网格,再融合状态重建2D/3D内部图像;摘要显示其可由单夹杂体训练泛化到多夹杂和不同尺寸,并支持空间不确定性、手持触诊与3D重建,但定量增益和实验细节文中未充分说明。

No Figure
RSS 2026Paper 168

AnyAmber: A Generalist for Versatile Anonymous Bearing and Range Based Position Tracking

Si Wang; Yanmei Jiao; Yanjun Cao; Rong Xiong; Yue Wang

2026机器人学习基础模型定位建图数据导航安全

针对UWB测距与方位观测定位中机器人数量、锚点/标签布局及匿名视觉观测变化导致方法难以通用的问题,AnyAmber将异构EGAT、不确定性估计、可微分层级PGO、UWB偏置校正和时序图匹配统一到预训练框架中;在目标场景仅用单条轨迹微调时取得优于既有方法的少样本定位表现。判断受限于PDF文本抽取质量。

No Figure
RSS 2026Paper 169

Anticipatory Motion Suppression in Event-Based Cameras

Roberto Pellerito; Nico Messikommer; Giovanni Cioffi; Marco Cannici; Davide Scaramuzza

2026感知定位建图

事件相机的微秒级事件流会混合自运动与独立运动物体,给实时感知和定位带来负担。论文提出运动感知事件抑制框架,在分割当前动态物体的同时预测其未来运动,从而提前过滤动态事件;轻量模型在消费级GPU上达173Hz、显存低于1GB,EVIMO分割精度较SOTA提升67%、推理快53%,并使ViT加速83%、事件视觉里程计ATE降13%。判断受限于仅有摘要信息。

From Local Matches to Global Masks: Template-Guided Instance Detection and Segmentation in Open-World Scenes figure
RSS 2026Paper 170

From Local Matches to Global Masks: Template-Guided Instance Detection and Segmentation in Open-World Scenes

Qifan Zhang; Sai Haneesh Allu; Jikai Wang; Yangxiao Lu; Yu Xiang

2026机器人学习感知

面向机器人在杂乱开放场景中仅凭少量模板找到并分割特定新物体,本文指出传统先生成候选框再匹配的方法受遮挡、背景干扰和 proposal 质量限制明显。L2G-Det 改从模板与查询图的密集局部 patch 匹配出发,筛选可靠候选点,并用带实例特定 object token 的增强 SAM 补全全局掩码。实验显示其在两个实例检测基准和真实机器人搜索导航任务中优于 proposal-based 方法。

No Figure
RSS 2026Paper 171

TE-SDF: Tetra-Encoded Signed Distance Field for Memory-Efficient and Accurate Collision Detection

Harim Ji; Yongseok Lee; Dongjun Lee

2026机器人学习安全感知灵巧手

判断受限于 PDF 文本抽取质量。论文面向接触丰富机器人仿真中复杂几何碰撞检测的精度、显存与可扩展性矛盾,提出 TE-SDF:用四面体网格自适应离散空间,并在每个四面体内编码少量候选表面面片以做局部精确距离评估。摘要称其 GPU 碰撞检测器接入仿真框架后实现了更省内存、准确且可扩展的碰撞检测,但具体增益幅度文中未充分说明。

No Figure
RSS 2026Paper 172

Seeing is Believing: Certified Perception-Based Control from Learned Visual Representations via System Level Synthesis

Antoine Leeman; Shuyu Zhan; Melanie N. Zeilinger; Glen Chou

2026感知控制安全自动驾驶腿足机器人基础模型

判断受限于 PDF 文本抽取质量,论文面向仅凭高分辨率 RGB 图像进行非线性输出反馈控制时的安全约束问题,提出用预训练视觉特征学习低维观测及状态相关误差界,并以 SLS 优化因果仿射时变策略。摘要显示其在车辆、四旋翼、类人及地面车硬件实验中实现零观测约束违例,但泛化与增益来源仍文中未充分说明。

Picasso: Holistic Scene Reconstruction with Physics-Constrained Sampling figure
RSS 2026Paper 173

Picasso: Holistic Scene Reconstruction with Physics-Constrained Sampling

Xihang Yu; Rajat Talak; Lorenzo Shaikewitz; Luca Carlone

2026数据人机交互规划控制

Picasso针对遮挡和噪声下“几何上拟合、物理上错误”的多物体重建问题,强调需把物体姿态/形状放在整场景接触关系中联合推理。方法将几何、一致非穿透与静态平衡作为约束,用推断的接触图引导快速拒绝采样,而非直接优化物理损失。作者还发布10个接触丰富真实场景数据集和物理合理性指标;在Picasso与YCB-V上,结果显示其相较现有方法提升姿态精度与物理合理性,并更符合人类直觉。

Simulation-Ready Cluttered Scene Estimation via Physics-aware Joint Shape and Pose Optimization figure
RSS 2026Paper 174

Simulation-Ready Cluttered Scene Estimation via Physics-aware Joint Shape and Pose Optimization

Wei-Cheng Huang; Jiaheng Han; Xiaohan Ye; Zherong Pan; Kris Hauser

2026机器人学习安全数据规划

面向真实杂乱场景到仿真的迁移,论文指出仅靠视觉估计的形状和位姿常会穿模、失衡,难以用于规划或策略学习。SPARCS 将可微接触模型引入多物体形状—位姿联合优化,并利用增广拉格朗日 Hessian 的稀疏结构加速求解,从单张 RGB-D 初始化后施加力平衡、摩擦锥等约束。实验在最多 5 个物体、22 个凸包的场景中生成了物理有效的 simulation-ready 重建。

Viser: Imperative, Web-based 3D Visualization for Python figure
RSS 2026Paper 175

Viser: Imperative, Web-based 3D Visualization for Python

Brent Yi; Chung Min Kim; Justin Kerr; Gina Wu; Rebecca Feng; Anthony Zhang; Jonas Kulhanek; Hongsuk Choi; Yi Ma; Matthew Tancik; Angjoo Kanazawa

addr; UC Berkeley;ETH Zurich

2026机器人学习感知

机器人与视觉研发常因坐标系、传感器流和交互调试缺少统一可视化而迭代缓慢。Viser 的核心在于用命令式 Python API 结合浏览器端 3D viewer,把点云、网格、Gaussian splats、层级场景图、实时同步和 2D GUI 控件统一为可组合原语,可从轻量调试扩展到机器人专用界面。论文主要展示其跨平台部署、分享、交互与多类任务应用案例,但缺少系统实验评测,性能或效率增益来源文中未充分说明。

Motion-Uncertainty-Aware Next-Best-View Planning for Moving Object Reconstruction figure
RSS 2026Paper 176

Motion-Uncertainty-Aware Next-Best-View Planning for Moving Object Reconstruction

Karen Li; Mattia Mantovani; Robert Wood; Lorenzo Sabattini; Stephanie Gil

Harvard University, Cambridge, MA 02134, USA.

2026机器人学习规划感知

面向移动目标三维重建中“规划时好视角、执行时已失效”的问题,本文把 NBV 视角选择改写为信念空间决策:用固定滞后 GP 从噪声位置观测预测目标未来状态分布,并在该分布上以蒙特卡洛估计覆盖收益,同时考虑候选视角可达性。仿真和真实实验显示,相比不预测的 NBV 与仅跟踪预测位置的方法,重建完整度更高。

No Figure
RSS 2026Paper 177

Relaxation-Aware Multimodal Sensing of Soft Gripper Driven by Structure-Perception-Learning

Yanzhe Wang; Hao Wu; Ziyi Zheng; Huixu Dong

2026机器人学习灵巧手感知触觉人机交互控制

面向软体手长时间抓持中因材料黏弹性应力松弛导致握持力持续衰减的问题,论文提出结构—感知—学习一体化框架:可变刚度软夹爪结合机载视觉与红外热成像跟踪形变和温度,并用温度耦合黏弹力表示与物理启发学习模型进行力趋势重构和补偿。摘要显示,在280秒力控抓持保持任务中平均绝对误差为0.066N,较固定开口和仅瞬时估计基线分别降低80%和95%;判断受限于仅有摘要信息。

CoCo-InEKF: State Estimation with Learned Contact Covariances in Dynamic, Contact-Rich Scenarios figure
RSS 2026Paper 178

CoCo-InEKF: State Estimation with Learned Contact Covariances in Dynamic, Contact-Rich Scenarios

Michael Baumgartner; David Müller; Agon Serifi; Ruben Grandia; Espen Knoop; Markus Gross; Moritz Bächer

2026机器人学习腿足机器人操作人机交互

面向腿足机器人在舞蹈、滑移和多接触等动态场景中的本体状态估计,本文指出二值接触假设难以表达部分接触和方向性打滑。CoCo-InEKF将InEKF做成可微框架,并用轻量网络为候选接触点预测连续接触速度协方差,通过状态误差端到端训练,避免人工接触标签和阈值。双足机器人实验显示其在线速度估计精度、效率权衡和滤波一致性优于传统InEKF、学习接触分类和纯端到端基线。

Vec-QMDP: Vectorized POMDP Planning on CPUs for Real-Time Autonomous Driving figure
RSS 2026Paper 179

Vec-QMDP: Vectorized POMDP Planning on CPUs for Real-Time Autonomous Driving

Jin Xuanjin; Yanxin Dong; Bin Sun; Huan Xu; Zhihui Hao; Xianpeng Lang; Panpan Cai

2026机器人学习规划自动驾驶数据安全基础模型

面向自动驾驶中高维不确定信念空间导致的实时 POMDP 规划瓶颈,Vec-QMDP 选择绕开 CPU-GPU 同步和 GPU 分支发散,基于 QMDP 将场景树解耦到 CPU 多核与 SIMD 通道,并用数据导向布局、全局/局部向量化、UCB 负载均衡和向量化 STR-tree 加速搜索与碰撞检测。在 nuPlan 上其树构建吞吐较串行 POMDP 提升 227–1073 倍,实现毫秒级规划并取得领先驾驶表现。

From Reaction to Anticipation: Proactive Failure Recovery through Agentic Task Graph for Robotic Manipulation figure
RSS 2026Paper 180

From Reaction to Anticipation: Proactive Failure Recovery through Agentic Task Graph for Robotic Manipulation

Sheng Xu; Ruixing Jin; Huayi Zhou; Bo Yue; Guanren Qiao; Yunxin Tai; Yueci Deng; Kui Jia; Guiliang Liu

2026机器人学习操作灵巧手规划

面向长时程双臂操作中故障不可避免、传统“检测-推理-恢复”反应式流程延迟高且易回退的问题,论文提出 AgentChord:先将任务构造成有向任务图,再由多智能体提前插入面向具体失效模式的前进式恢复分支,并用编译监视器低延迟触发预生成恢复动作。实验显示其在仿真和真实双臂任务中提升成功率与执行效率,生成的恢复轨迹也有助于增强策略鲁棒性。

No Figure
RSS 2026Paper 181

Hypothesis-driven Model Expansion under Uncertainty for Open-World Robot Planning

Anxing Xiao; Hanbo Zhang; Tianrun Hu; David Hsu

2026机器人学习规划基础模型生成模型

面向家庭服务机器人在开放世界中遭遇未知物体、动作和任务时闭世界知识库失效的问题,论文提出在规划中显式维护带不确定性的模型扩展:用基础模型生成状态与转移假设,并让自动规划同时完成验证与目标执行,错误时迭代修正知识。摘要称其在仿真和真实环境中提升了自主知识扩展与任务执行能力,但判断受限于 PDF 文本抽取质量。

ELVIS: Ensemble-Calibrated Latent Imagination for Long-Horizon Visual MPC figure
RSS 2026Paper 182

ELVIS: Ensemble-Calibrated Latent Imagination for Long-Horizon Visual MPC

Yurui Du; Pinhao Song; Yutong Hu; Renaud Detry

Yurui Du and Renaud Detry are with KU Leuven, Dept. Electrical Engineering, Research unit Processing Speech and Images, B-3000 Leuven, Belgium.

2026规划感知控制强化学习操作触觉

面向视觉模型强化学习中长时域 MPC 易受遮挡、分支未来和模型误差累积影响的问题,ELVIS 在 RSSM 潜空间中结合高斯混合 MPPI 与基于 critic ensemble/UCB 的时变 λ-return,使规划同时保留多模态假设并按不确定性调节想象深度。实验显示其在 14 个 DMC 视觉任务上优于 TD-MPC2、DreamerV3,并可零样迁移到强遮挡的真实喷砂任务。

Informative Path Planning with Guaranteed Estimation Uncertainty figure
RSS 2026Paper 183

Informative Path Planning with Guaranteed Estimation Uncertainty

Kalvik Jakkala; Saurav Agarwal; Jason O'kane; Srinivas Akella

2026机器人学习规划导航安全自动驾驶数据

面向海洋/地形等环境监测,传统割草式覆盖虽有几何保证但易重复采样,常规IPP又缺少估计质量证书。论文把GP后验方差阈值转化为覆盖约束,结合非平稳核、非凸障碍环境下的采样点选择与近最短路径规划,并给出近似保证。真实地形数据和ASV/AUV外场实验显示,在满足全局不确定性上界的同时,可用更少采样点和更短航程达到目标。

KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning figure
RSS 2026Paper 184

KinDER: A Physical Reasoning Benchmark for Robot Learning and Planning

Yixuan Huang; Bowen Li; Vaibhav Saxena; Yichao Liang; Utkarsh Aashu Mishra; Liang Ji; Lihan Zha; Jimmy Wu; Nishanth Kumar; Sebastian Scherer; Danfei Xu; Tom Silver

2026规划机器人学习安全操作模仿学习导航

针对机器人学习与规划中“物理推理”难以被单独衡量的问题,KinDER将感知、语言和应用场景复杂度剥离,构建25个程序生成环境、Gymnasium接口、参数化技能/演示及覆盖TAMP、模仿学习、强化学习和基础模型的13个基线。实验显示现有方法在空间关系、非抓取操作、工具使用、组合几何与动态约束上普遍受挫,并通过移动操作臂real-to-sim-to-real验证仿真任务与真实交互的对应性。

Integrated Hierarchical Decision-Making in Inverse Kinematic Planning and Control figure
RSS 2026Paper 185

Integrated Hierarchical Decision-Making in Inverse Kinematic Planning and Control

Kai Pfeiffer; Quan Zhang; Yuqing Chen; Gordon Owusu Boateng; Yuquan Wang; Vincent Bonnet; Abderrahmane Kheddar

2026机器人学习规划控制灵巧手

这篇论文针对机器人逆运动学中离散候选点选择、双臂抓取分配与最少关节激活等决策常与IK分离、或依赖昂贵MINLP/近似可达性的痛点,提出基于ℓ0稀疏性的分层非线性规划与S-SHQP求解器,将优先级决策和全身IK规划/控制联合求解。方法利用稀疏分层结构和专用QP求解提升效率,并支持并行选择且避免重复分配;实验显示在Unitree G1从100个候选位置实时选择时约1.5 ms,快于PIQP和MOSEK。

No Figure
RSS 2026Paper 186

HOP: Fast Differential Dynamic Programming for Horizon-Optimal Trajectory Planning

Miaomiao Dai; Zhongqiang Ren

2026机器人学习规划控制灵巧手触觉

面向机器人中常见的最短规划时域问题,HOP试图突破传统 LQR/iLQR/DDP 固定时域的限制。其核心洞察是将 Riccati 递推改写为线性分式变换,从而在时变 LQR 中复用计算,并与 DDP 结合处理非线性动力学和非二次代价。摘要显示其达到暴力搜索同一最优解且最高快 40 倍;由于仅有摘要,细节判断受限。

Implicit Null-space Manifold Generation for Redundant Robotic Systems figure
RSS 2026Paper 187

Implicit Null-space Manifold Generation for Redundant Robotic Systems

Taiki Ishigaki; Teresa Vidal-Calleja; Ko Ayusawa; Eiichi Yoshida

Tokyo University of Science, Japan;University of Technology Sydney, Australia;National Institute of Advanced Industrial Science and Technology, Japan

2026机器人学习生成模型操作

这篇论文针对冗余机器人只在单次求解中利用雅可比零空间、却不保留解集几何的问题,提出用雅可比引导采样在解流形附近取点,并以高斯过程隐式场表示其零水平集,从而把任务约束解空间转化为可复用的配置空间距离场。实验在三连杆与7自由度Franka上展示了对流形结构、邻近查询和连续任务族建模的有效性,但大规模高维扩展仍受采样探索限制。

No Figure
RSS 2026Paper 188

Exploit Agile Mobility of Steerable-Wheeled Mobile Robots: A Fast Motion Planning Approach

Wang Xi; Jingxuan Tang; Zhiyuan Zeng; Yushan Li; Jianping He

2026机器人学习导航规划安全控制操作

该文针对可转向轮移动机器人规划常被特定任务、执行器限制和四轮矩形布局绑定的问题,将运动性能最大化与执行器可行性统一为优化模型,并提出收缩非凸可行集的快速 anytime 算法。摘要显示其证明了下降、收敛和可行性,在轨迹跟踪仿真中较基线计算时间约降一个数量级且约束满足更好;判断受限于仅有摘要信息。

Sampling-Based Follow-the-Leader Motion Planning for Manipulator-Mounted Continuum Robots figure
RSS 2026Paper 189

Sampling-Based Follow-the-Leader Motion Planning for Manipulator-Mounted Continuum Robots

Chengnan Shentu; Nicholas Baldassini; Oluwagbotemi D. Iseoluwa; Radian Gondokaryono; Jessica Burgner-Kahrs

University of Toronto

2026机器人学习操作规划导航控制

面向安装在机械臂上的连续体机器人,既有 FTL 规划多假设固定基座或单自由度插入,难以利用全 SE(3) 基座。本文用采样式框架将全局形状搜索与基座位姿求解解耦,通过闭式几何构造直接确定基座并避免在线迭代优化,且兼容一般前向模型。仿真 120 条路径实现 100% 成功、0% 末端误差和 1.9% 平均形状偏差,并在 6-DOF 腱驱连续体机器人硬件上验证。

Certifiable Gradient-Based Contact-Rich Manipulation via Smoothing-Error Reachable Tubes figure
RSS 2026Paper 190

Certifiable Gradient-Based Contact-Rich Manipulation via Smoothing-Error Reachable Tubes

Wei-Chen Li; Glen Chou

Georgia Institute of Technology, Atlanta, Georgia 30308

2026控制操作安全灵巧手

针对接触丰富操作中混合接触动力学导致梯度消失/不连续,而平滑模型又会带来执行失配的问题,本文将平滑误差显式建模为集合偏差,并用可达管约束时变仿射反馈策略,在利用平滑梯度优化的同时认证真实非光滑系统的安全与到达性。实验覆盖平面推动、双臂/灵巧手操作,约束违例降为零,并较基线取得更小目标误差。

Parallel Differentiable Reachability for Learning and Planning with Certified Neural Dynamics and Controllers figure
RSS 2026Paper 191

Parallel Differentiable Reachability for Learning and Planning with Certified Neural Dynamics and Controllers

Keyi Shen; Glen Chou

2026机器人学习控制规划操作

针对神经网络动力学与控制器在不确定性下难以获得可用于训练和在线规划的安全保证,论文提出基于 JAX 的 DiffReach,将 Taylor 模型 flowpipe 与 CROWN 线性界传播统一为可并行、可微的可达集计算,并用于认证训练和可达性-aware MPC。实验覆盖非抓取操作、四旋翼、硬件及最高 72 维系统,显示其能在保持有界不确定性下可达集过近似证书的同时支持实际在线规划。

CRAFT: A Tendon-Driven Hand with Hybrid Hard-Soft Compliance figure
RSS 2026Paper 192

CRAFT: A Tendon-Driven Hand with Hybrid Hard-Soft Compliance

Leo Lin; Shivansh Patel; Jay Moon; Svetlana Lazebnik; Unnat Jain

2026灵巧手操作人机交互感知

面向接触丰富操作中刚性灵巧手易碰撞损坏、软手又难保持可重复运动的问题,CRAFT 的关键洞察是“只在有用处变软”:在关节使用 TPU 软材料与滚动接触结构吸收冲击,在连杆保持 PLA 刚性,并用 PIP-DIP 双向耦合保证轨迹稳定。实验显示其在强度、耐久和重复性上优于或接近 LEAP,遥操作中更擅长脆弱和低摩擦物体,并覆盖 33 类 Feix 抓取,成本低于 600 美元。

LightTact: A Visual-Tactile Fingertip Sensor for Deformation-Independent Contact Sensing figure
RSS 2026Paper 193

LightTact: A Visual-Tactile Fingertip Sensor for Deformation-Independent Contact Sensing

Changyi Lin; Boda Huo; Mingyang Yu; Emily Ruppel; Bingqing Chen; Jonathan Francis; Ding Zhao

2026机器人学习感知触觉人机交互操作视觉语言模型

针对液体、半液体和超软/薄材料接触几乎不产生形变、传统视觉触觉传感器难以可靠感知的问题,LightTact通过遮蔽环境光的侧视光学结构,让只有真实接触产生的散射光进入相机,实现“可见即接触”的像素级信号。实验显示其在强光、多材料和轻微接触下仍能稳定分割接触,并支持抹水、蘸取面霜、薄膜交互及VLM直接解读触视觉图像。

No Figure
RSS 2026Paper 194

Bridging Language and Physics: Automated Design of Continuum Robots with Large Language Models

Jingyi Chen; Mohan Zhang; Laura Yao; Yingtai Ni; Jianmin Ji; Jie Peng; Song Wang; Tianlong Chen

2026机器人学习视觉语言模型操作灵巧手腿足机器人强化学习

针对LLM从高层需求自动设计机器人时难以处理具身物理约束的问题,论文提出AID-SR,将仿真观测到的物理状态转为结构化反馈,并结合语义批评、人类反馈与迭代优化来闭环改进连续体机器人设计。在14个腱驱动任务中,96.2%设计通过仿真可行性检查,26.7%经强化学习后完成任务,并制作3个实物验证;判断受限于PDF文本抽取质量。

Latent Diffeomorphic Co-Design of End-Effectors for Deformable and Fragile Object Manipulation figure
RSS 2026Paper 195

Latent Diffeomorphic Co-Design of End-Effectors for Deformable and Fragile Object Manipulation

Kei Ikemura; Yifei Dong; Florian T. Pokorny

2026机器人学习操作控制灵巧手

面向果冻、鱼片等易变形且易损物体,论文指出单独设计夹爪或控制策略会限制接触几何与受力分布的优化。其核心是用潜在微分同胚形状空间表示末端执行器,并结合应力感知双层协同优化与特权信息到点云策略蒸馏,实现仿真设计到真实零样本部署。实验显示,共设计硬件和控制在抓取、推动、舀取食材任务中提升成功率并降低接触损伤。

Computational Design of a Low-Visibility UAV Using a Human-Aligned Perceptual Metric figure
RSS 2026Paper 196

Computational Design of a Low-Visibility UAV Using a Human-Aligned Perceptual Metric

Jingxian Wang; Chen Yu; David Matthews; Emma Alexander; Sam Kriegman; Michael Rubenstein

2026操作控制安全感知

面向巡检、监测等场景中机器人被察觉会干扰对象行为的问题,论文提出单桨高速自旋 UAV Phantom Twist,将人类感知对齐的 LPIPS 可见性指标放入结构设计优化,在满足质心、惯量、气动与控制约束下布置电池、PCB、电机和配重。实物与飞行测试显示,优化设计可稳定悬停并比常规四旋翼显著降低视觉可感知性。

No Figure
RSS 2026Paper 197

A Dual-Mode Electrical Capacitance Tomography Sensor for Robotic Proximity Servoing and Grasping

Duanpeng Shi; Yuliang Wang; Yuming Huang; Huaping Liu; Di Guo

2026机器人学习灵巧手感知触觉操作安全

判断受限于 PDF 文本抽取质量。论文针对视觉远场与接触近场之间的感知断层及安全交互需求,提出基于电容层析成像的双模式传感系统,并用 CapacitiveServo-Net 直接从互电容扰动估计距离、姿态和材料。摘要称其在 7 自由度机械臂上实现非接触跟踪、实时对齐及接近阶段的材料识别和自适应抓取优化。

Continuum Robot Modeling with Action Conditioned Flow Matching figure
RSS 2026Paper 198

Continuum Robot Modeling with Action Conditioned Flow Matching

Jiong Lin; Jinchen Ruan; Hod Lipson

2026机器人学习感知数据

针对腱驱连续体机器人因柔顺、摩擦、走线和制造差异导致的稳态形状难建模问题,论文把自建模转化为动作条件下的点云生成:用多 RGB-D 相机采集3D打印TDCR数据,并以流匹配从电机状态生成致密几何。仿真2/3/5模块和真实2/3模块实验中,CD、EMD优于VSM、PointFlow、NeRF/3DGS等基线;但方法限于固定形态与动作范围,载荷扩展仅在仿真验证。

No Figure
RSS 2026Paper 199

A Super-Resolution and Multi-Axis Tactile Sensor with Soft Artificial Skin

Hongxu Wei; Zhoulu; Peisen Xu; Yang Xu; Xuanyi Yang; Wei Zhao; Jiming Chen; Gaofeng Li

2026触觉机器人学习操作灵巧手感知定位建图

判断受限于 PDF 文本抽取质量。论文针对机器人操作中触觉阵列多只能测法向力、难以获得类人皮肤级高分辨三维接触的问题,提出单片三悬臂梁三维解耦单元,并结合软硅胶层牵引耦合与模型/学习混合重建实现超分辨定位和测力;摘要报告三维力 MAE 为 0.19 N、接触定位 MAE 为 0.49 mm,空间分辨率提升 26 倍,并在试管遥操作与抗干扰抓取中验证用途。

No Figure
RSS 2026Paper 200

Active Surface-Driven Reconfigurable Gripper: Robust Grasping and Sequential Manipulation of Thin Objects

Ziyi Zheng; Keqi Zhu; Hao Wu; Yanzhe Wang; Huixu Dong

2026机器人学习灵巧手操作人机交互控制

薄片物体抓取对进近精度依赖高、鲁棒性差,本文以书本为代表提出带主动表面拇指与欠驱动柔顺手指的可重构夹爪,通过手内重定位和环境柔顺接触降低控制复杂度。摘要显示其对平放书本、纸张、织物、鼠标垫及书架竖放书本均有较高成功率,并可完成长序列抓取-放置任务;判断受限于仅有摘要信息。

Long-Context Robot Imitation Learning by Focusing on Key History Frames figure
RSS 2026Paper 201

Long-Context Robot Imitation Learning by Focusing on Key History Frames

Max Sobol Mark; Jacky Liang; Maria Attarian; Chuyuan Fu; Debidatta Dwibedi; Dhruv Shah; Aviral Kumar

Carnegie Mellon University;Google DeepMind

2026机器人学习模仿学习操作视觉语言模型感知

这篇论文针对需要记忆已搜索位置、已完成子目标等历史信息的操作任务,指出直接把长观测序列喂给模仿学习策略会因历史空间覆盖不足而放大伪相关。其核心是 BPP:用现成视觉语言模型问答式筛选任务相关关键帧,把长历史压缩为语义事件供低层策略使用。在4个真实双臂任务和3个仿真任务中,BPP较无记忆和朴素历史基线更稳健,真实评测成功率最高提升约70%。

Functional Force-Aware Retargeting from Virtual Human Demos to Soft Robot Policies figure
RSS 2026Paper 202

Functional Force-Aware Retargeting from Virtual Human Demos to Soft Robot Policies

Uksang Yoo; Mengjia Zhu; Evan Pezent; Jom Preechayasomboon; Jean Oh; Jeffrey Ichnowski; Amirhossein H. Memar; Ben Abbatematteo; Homanga Bharadhwaj; Ashish Deshpande; Harsha Prahlad

2026触觉灵巧手操作模仿学习机器人学习定位建图

针对软体灵巧手与人手在结构、工作空间和非线性顺应性上的巨大差异,传统按关节或指尖轨迹重定向难以迁移接触丰富操作。SoftAct 用 VR 采集含接触斑块与力的人类示教,并以两阶段力感知重定向分配人/机器人手指、在线修正指尖目标,使策略学习功能性接触而非外形相似。实验中指尖跟踪 RMSE 最高降 55%、方差降 69%,仿真和零样机实机部署成功率均优于运动学与学习基线。

LAP: Language-Action Pre-training Enables Zero-Shot Cross-Embodiment Transfer figure
RSS 2026Paper 203

LAP: Language-Action Pre-training Enables Zero-Shot Cross-Embodiment Transfer

Lihan Zha; Asher James Hancock; Mingtong Zhang; Tenny Yin; Yixuan Huang; Dhruv Shah; Allen Z. Ren; Anirudha Majumdar

2026机器人学习视觉语言模型基础模型感知数据操作

针对现有 VLA 虽经多机器人预训练仍难以零样本迁移到新本体、常需微调的问题,LAP 的核心洞察是动作表示会破坏或保留 VLM 预训练语义:它把末端低层动作转写为自然语言描述,并结合轻量扩散动作专家实现连续控制。LAP-3B 在未见真实机器人和操作任务上平均成功率超过 50%,约为最强先前 VLA 的 2 倍,并显示更高微调效率与较好 scaling。

Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration figure
RSS 2026Paper 204

Unlocking In-the-Wild Loco-Manipulation with Robot-Free Egocentric Demonstration

Modi Shi; Shijiapeng; Jin Chen; Haoran Jiang; Tianyu Li; Ping Luo; Di Huang; Hongyang Li; Li Chen

The University of Hong Kong;Shanghai Innovation Institute;Beihang University

2026机器人学习数据操作移动操作模仿学习腿足机器人

面向人形机器人移动操作中远程操控数据昂贵且场景单一的问题,EgoHumanoid尝试用无需机器人的第一视角人类示范与少量机器人数据共同训练VLA策略。其关键在于通过视角重投影/补全和统一动作空间,将人类导航、接近物体与任务分解等高层行为对齐到机器人可执行控制上。在Unitree G1的室内外任务中,人类数据平均提升约20%,未见场景提升达51%,增益可能主要来自更大、更丰富的真实场景数据。

HoMMI: Learning Whole-Body Mobile Manipulation from Human Demonstrations figure
RSS 2026Paper 205

HoMMI: Learning Whole-Body Mobile Manipulation from Human Demonstrations

Xiaomeng Xu; Jisang Park; Han Zhang; Eric Cousineau; Aditya Bhat; Jose Barreiros; Dian Wang; Jeannette Bohg; Shuran Song

2026机器人学习操作移动操作模仿学习数据灵巧手

HoMMI针对移动双臂操作中遥操作采集昂贵、UMI腕视角又缺乏全局上下文的问题,提出带头戴自我视角的机器人无关人类示教框架,并用去具身化3D视觉表示、look-at头部动作抽象和约束感知全身控制缩小人机差异。真实机器人实验显示,其可从人类示教直接完成洗衣、搬运等长程任务,洗衣任务成功率达90%,优于仅腕视角或直接加入头部RGB的基线。

Mimic Intent, Not Just Trajectories figure
RSS 2026Paper 206

Mimic Intent, Not Just Trajectories

Renming Huang; Chendong Zeng; Wenjing Tang; Jintian Cai; Cewu Lu; Panpan Cai

2026机器人学习操作模仿学习视觉语言模型生成模型触觉

MINT针对VLA/模仿学习只拟合动作轨迹、在环境变化和技能迁移中易失效的问题,将动作片段经DCT做多尺度频域token化:最粗尺度约束为低频Intent token,细尺度表示高频执行残差,并用逐尺度自回归从意图生成执行。实验覆盖LIBERO、MetaWorld、CALVIN、LIBERO-Plus和真机,报告了SOTA成功率、更强扰动鲁棒性、约60%的一次示范迁移提升及真机相对π0.5提升29%。

TAIL-Safe: Task-Agnostic Safety Monitoring for Imitation Learning Policies figure
RSS 2026Paper 207

TAIL-Safe: Task-Agnostic Safety Monitoring for Imitation Learning Policies

Riad Ahmed; Momotaz Begum

2026机器人学习安全模仿学习数据操作灵巧手

针对模仿学习操作策略在轻微初始扰动和累积误差下即可能失败、缺少运行时任务成功保证的问题,TAIL-Safe用可见性、可识别性和可抓取性构造Lipschitz安全Q函数,将其零上水平集视为经验安全集,并用基于Q梯度的恢复滤波修正危险动作;借助Gaussian Splatting数字孪生收集失败数据,在Franka真实任务中使易受扰动的flow-matching策略获得更稳定的成功执行。

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning figure
RSS 2026Paper 208

TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning

Matthew M. Hong; Jesse Zhang; Anusha Nagabandi; Abhishek Gupta

University of Washington; Amazon FAR

2026机器人学习强化学习扩散策略基础模型触觉导航

本文针对BC预训练策略动作分布过窄、导致RL微调缺乏探索信号的问题,提出先用CSP在观测/点云/VLA嵌入等输入上加入前向扩散噪声,使策略在精确模仿与边际动作覆盖间连续插值;再用TMRL让RL动态调节扩散时间步以控制探索强度。实验显示该机制提升仿真操控与导航的微调样本效率,并在真实复杂操控中实现一小时内成功微调。

Action-to-Action Flow Matching figure
RSS 2026Paper 209

Action-to-Action Flow Matching

Jindou Jia; Gen Li; Xiangyu Chen; Tuo An; Yuxuan Hu; Jingliang Li; Xinying Guo; Jianfei Yang

2026机器人学习扩散策略生成模型控制感知

针对扩散/Flow策略从高斯噪声反复去噪导致实时控制延迟高的问题,A2A将历史本体动作序列嵌入高维潜空间,作为生成起点,学习从过去动作分布到未来动作的流,利用机器人运动连续性缩短传输路径。仿真和真实实验显示其可用单步生成动作,较普通扩散和Flow推理最多约20倍/5倍加速,并提升视觉扰动鲁棒性与未见配置泛化;但对离散开关类动作收益有限。

LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion figure
RSS 2026Paper 210

LDA-1B: Scaling Latent Dynamics Action Model via Universal Embodied Data Ingestion

Jiangran Lyu; Kai Liu; Xuheng Zhang; Haoran Liao; Yusen Feng; Wenxuan Zhu; Tingrui Shen; Jiayi Chen; Jiazhao Zhang; Yifei Dong; Cui Wenbo; Senmao Qi; Shuo Wang; Yixin Zheng; Mi Yan; Xuesong Shi; Haoran Li; Dongbin Zhao; Ming-Yu Liu; Zhizheng Zhang; Li Yi; Yizhou Wang; He Wang

2026机器人学习数据控制基础模型灵巧手感知

本文针对机器人基础模型过度依赖高质量行为克隆、难以利用异构具身数据中的动力学知识的问题,提出 LDA-1B:用 EI-30k 统一摄入 3 万小时混合质量人/机器人轨迹,在结构化 DINO 潜空间中联合学习动力学、策略与视觉预测,并用多模态扩散 Transformer 对齐异步视觉和动作。仿真与真实实验中,其在接触、灵巧和长程任务上相对 π0.5 最高提升 21%、48%、23%,且可从低质量轨迹中获得微调收益。

RSS 2025

163 篇
Learned Perceptive Forward Dynamics Model for Safe and Platform-aware Robotic Navigation figure
RSS 2025Paper 001

Learned Perceptive Forward Dynamics Model for Safe and Platform-aware Robotic Navigation

Pascal Roth, Jonas Frey, Cesar Cadena, Marco Hutter

ETH Zurich † NVIDIA ‡ Max Planck Institute for Intelligent Systems

2025机器人学习安全导航控制感知腿足机器人

论文针对腿足机器人在复杂地形中导航时,传统简化动力学与手工代价函数既难调参又难反映平台能力的问题,提出感知式前向动力学模型:结合周围高度几何与本体感觉历史,预测多步未来状态及失败风险,并嵌入零样本 MPPI,以更简单代价实现平台相关的安全规划。ANYmal 上其位姿预测较基线平均提升 41%,粗糙地形仿真导航成功率提升 27%,并展示了仿真到现实迁移;但增益分解文中未充分说明,判断受限于 PDF 文本抽取质量。

Demonstrating ViSafe: Vision-enabled Safety for High-speed Detect and Avoid figure
RSS 2025Paper 002

Demonstrating ViSafe: Vision-enabled Safety for High-speed Detect and Avoid

Parv Kapoor, Ian Higgins, Nikhil Varma Keetha, Jay Patrikar, Brady Moon, Zelin Ye, Yao He, Ivan Cisneros, Changliu Liu, Eunsuk Kang, Sebastian Scherer

2025安全感知导航机器人学习自动驾驶触觉

ViSafe 代表的是一条“以感知不确定性为输入、以 CBF 为安全外壳”的 vision-only airborne DAA 路线:它的贡献不在于单个模块更强,而在于把视觉、状态估计和安全控制组织成了一个可部署的闭环。

Self-supervised Multi-future Occupancy Forecasting for Autonomous Driving figure
RSS 2025Paper 003

Self-supervised Multi-future Occupancy Forecasting for Autonomous Driving

Bernard Lange, Masha Itkina, Jiachen Li, Mykel Kochenderfer

2025自动驾驶感知导航安全扩散策略生成模型

这是一篇把自动驾驶 occupancy forecasting 从栅格级确定性外推,推进到连续潜空间中的多模态随机世界模型的工作,核心贡献是更好的表示与更合理的不确定性建模,而不是单纯堆大模型。

MISO: Multiresolution Submap Optimization for Efficient Globally Consistent Neural Implicit Reconstruction figure
RSS 2025Paper 004

MISO: Multiresolution Submap Optimization for Efficient Globally Consistent Neural Implicit Reconstruction

Yulun Tian, Hanwen Cao, Sunghwan Kim, Nikolay Atanasov

2025机器人学习同步定位与建图/定位数据基础模型感知

MISO 把大规模 neural SDF SLAM 从“全场几何优化”改造成“多分辨率 submap 的隐空间分层对齐”,核心贡献是用更合理的优化结构换取可扩展性和全局一致性,而不是单纯堆更强的表示或更大的模型。

DRO: Doppler-Aware Direct Radar Odometry with Gyroscope figure
RSS 2025Paper 006

DRO: Doppler-Aware Direct Radar Odometry with Gyroscope

Cedric Le Gentil, Leonardo Brizi, Daniil Lisus, Xinyuan Qiao, Giorgio Grisetti, Timothy Barfoot

2025机器人学习数据同步定位与建图/定位安全强化学习感知

DRO 的位置是:把 spinning radar odometry 从“特征/关联驱动的离散配准”推进到“连续时间、密集强度、gyro/Doppler 物理约束”的直接优化框架,其中真正的进步主要来自建模方式重写,而不是某个单点模块。

Certifiably-Correct Mapping for Safe Navigation Despite Odometry Drift figure
RSS 2025Paper 007

Certifiably-Correct Mapping for Safe Navigation Despite Odometry Drift

Devansh R. Agrawal, Rajiv Govindjee, Taekyung Kim, Trushant Adeshara, Jiangbo Yu, Anurekha Ravikumar, Dimitra Panagou

2025机器人学习同步定位与建图/定位安全导航感知规划

这是把 SLAM/建图从“尽量准确重建世界”推进到“对局部 free space 给出形式化安全证书”的工作,核心贡献是用增量位姿不确定性驱动 safe set 收缩,从而把地图错误从碰撞风险改写成可控的保守遗忘。

Debiasing 6-DOF IMU via Hierarchical Learning of Continuous Bias Dynamics figure
RSS 2025Paper 009

Debiasing 6-DOF IMU via Hierarchical Learning of Continuous Bias Dynamics

Ben Liu, Tzu-Yuan Lin, Wei Zhang, Maani Ghaffari

2025数据控制感知同步定位与建图/定位可解释性

这是一篇把 IMU 去偏差从“学习一个补偿项”推进到“学习可由 pose 监督反演的连续 bias dynamics”的工作,核心贡献是用连续时间、几何一致的显式建模,绕开了 bias GT 依赖。

π₀: A Vision-Language-Action Flow Model for General Robot Control figure
RSS 2025Paper 010

π₀: A Vision-Language-Action Flow Model for General Robot Control

Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Robert Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Lucy Xiaoyang Shi, Laura Smith, James Tanner, Quan Vuong, Anna Walling, Haohuan Wang, Ury Zhilinsky

2025视觉语言模型基础模型感知灵巧手控制机器人学习

π₀ 代表的是“用预训练 VLM 提供语义先验、再用 flow matching 学连续动作分布”的通用机器人策略路线;它的真正价值更像是把一般机器人控制推进到可扩展的语义条件生成范式,而不是证明了一种全新的规划智能。

SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Models figure
RSS 2025Paper 011

SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Models

Delin Qu, Haoming Song, Qizhi Chen, Yuanqi Yao, Xinyi Ye, Jiayuan Gu, Zhigang Wang, Yan Ding, Bin Zhao, Dong Wang, Xuelong Li

2025视觉语言模型感知基础模型操作机器人学习控制

SpatialVLA 的本质是把 VLA 从“2D 语义驱动的动作生成”改造成“egocentric 3D 对齐的空间模仿系统”,核心贡献在于用空间归纳偏置提升了跨本体、跨场景的操作泛化,而不只是扩大模型或数据。

FAST: Efficient Action Tokenization for Vision-Language-Action Models figure
RSS 2025Paper 012

FAST: Efficient Action Tokenization for Vision-Language-Action Models

Karl Pertsch, Kyle Stachowicz, Brian Ichter, Danny Driess, Suraj Nair, Quan Vuong, Oier Mees, Chelsea Finn, Sergey Levine

2025机器人学习视觉语言模型感知灵巧手数据扩散策略

FAST 是把机器人动作从逐步分桶改造成频域压缩码流的 VLA 前端,它真正推动的是一种“先压缩、后自回归”的动作建模范式,而不是简单的 tokenization 小修小补。

Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks figure
RSS 2025Paper 013

Uni-NaVid: A Video-based Vision-Language-Action Model for Unifying Embodied Navigation Tasks

Jiazhao Zhang, Kunyu Wang, Shaoan Wang, Minghan Li, Haoran Liu, Songlin Wei, Zhongyuan Wang, Zhizheng Zhang, He Wang

2025机器人学习导航视觉语言模型感知数据

Uni-NaVid代表的是一条“用大规模多任务数据和在线记忆压缩,把导航从任务碎片化系统推进到可实时运行的统一VLA policy”的路线,但其增益很可能主要来自数据覆盖、表征共享和工程可部署性,而非某个全新的推理机制。

Learning to Act Anywhere with Task-centric Latent Actions figure
RSS 2025Paper 014

Learning to Act Anywhere with Task-centric Latent Actions

Qingwen Bu, Yanting Yang, Jisong Cai, Shenyuan Gao, Guanghui Ren, Maoqing Yao, Ping Luo, Hongyang Li

2025视觉语言模型数据基础模型机器人学习导航操作

UniVLA 代表的是一条从“依赖动作标注的端到端 VLA”转向“在任务中心 latent action 空间里做跨 embodiment 规划”的路线,其核心贡献是让 web-scale video 真正进入机器人 policy 学习管线。

Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets figure
RSS 2025Paper 015

Unified World Models: Coupling Video and Action Diffusion for Pretraining on Large Robotic Datasets

Chuning Zhu, Raymond Yu, Siyuan Feng, Benjamin Burchfiel, Paarth Shah, Abhishek Gupta

2025机器人学习数据扩散策略模仿学习控制生成模型

UWM 的核心贡献是把机器人模仿学习改写成一个可同时吸收动作数据和视频数据的联合扩散世界模型,实质上是在用更强的生成式归纳偏置与数据复用能力,替代纯 BC 对高质量动作标注的依赖。

CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision figure
RSS 2025Paper 016

CLIP-RT: Learning Language-Conditioned Robotic Policies from Natural Language Supervision

Gi-Cheon Kang, Junghyun Kim, Kyuhwan Shim, Jun Ki Lee, Byoung-Tak Zhang

2025感知数据模仿学习视觉语言模型基础模型机器人学习

CLIP-RT 是一条把机器人学习从低层动作模仿重写为语言语义对齐与可扩展数据采集的路线:核心贡献不在更大模型,而在用自然语言重构监督和动作表示,从而提升新技能学习的可迁移性与采集可扩展性。

Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success figure
RSS 2025Paper 017

Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success

Moo Jin Kim, Chelsea Finn, Percy Liang

2025机器人学习视觉语言模型感知灵巧手基础模型模仿学习

这是一篇把 VLA fine-tuning 从“语言式自回归生成”重构为“并行的连续动作块预测”的工作,核心贡献是通过改变输出时序与表示方式,让 pretrained VLM 真正更像可部署的机器人控制器。

NaVILA: Legged Robot Vision-Language-Action Model for Navigation figure
RSS 2025Paper 018

NaVILA: Legged Robot Vision-Language-Action Model for Navigation

An-Chieh Cheng, Yandong Ji, Zhaojing Yang, Zaitian Gongye, Xueyan Zou, Jan Kautz, Erdem Biyik, Hongxu Yin, Sifei Liu, Xiaolong Wang

2025机器人学习腿足机器人视觉语言模型感知导航强化学习

NaVILA把腿足机器人VLN从“VLM直接学控制”改成“VLM生成语言化中层计划、专用控制器负责执行”的两层范式,核心贡献是用动作表示重构来换取更好的泛化、可迁移性和真实部署鲁棒性。

ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy figure
RSS 2025Paper 019

ConRFT: A Reinforced Fine-tuning Method for VLA Models via Consistency Policy

Yuhui Chen, Shuai Tian, Shugao Liu, Yingting Zhou, Haoran Li, Dongbin Zhao

2025机器人学习视觉语言模型触觉模仿学习操作强化学习

ConRFT 是把 VLA 微调从纯监督适配推进到“离线示范 + 价值约束 + 在线受控改进”的 reinforced fine-tuning 路线,核心价值在于用一致性 policy 把真机小样本 RL 变得可行,但其增益是否超越数据覆盖与系统工程仍需更强验证。

Demonstrating MuJoCo Playground figure
RSS 2025Paper 020

Demonstrating MuJoCo Playground

Kevin Zakka, Baruch Tabanpour, Qiayuan Liao, Mustafa Haiderbhai, Samuel Holt, Jing Yuan Luo, Arthur Allshire, Erik Frey, Koushil Sreenath, Lueder Alexander Kahrs, Carmelo Sferrazza, Yuval Tassa, Pieter Abbeel

2025灵巧手腿足机器人仿真到现实机器人学习

这是一篇把 MuJoCo/MJX、批量渲染和真机控制整合成统一 GPU 原生工作流的系统论文,其核心贡献是显著降低机器人 sim-to-real 的迭代成本,而不是提出新的学习算法。

Demonstrating GPU Parallelized Robot Simulation and Rendering for Generalizable Embodied AI with ManiSkill3 figure
RSS 2025Paper 021

Demonstrating GPU Parallelized Robot Simulation and Rendering for Generalizable Embodied AI with ManiSkill3

Stone Tao, Fanbo Xiang, Arth Shukla, Yuzhe Qin, Xander Hinrichsen, Xiaodi Yuan, Chen Bao, Xinsong Lin, Yulin Liu, Tse-Kai Chan, Yuan Gao, Xuanlin Li, Tongzhou Mu, Nan Xiao, Arnav Gurha, Viswesh Nagaswamy Rajesh, Yong Woo Choi, Yen-Ru Chen, Zhiao Huang, Roberto Calandra, Rui Chen, Shan Luo, Hao Su

2025操作强化学习模仿学习感知机器人学习导航

ManiSkill3 不是一篇“新算法”论文,而是把机器人学习从窄场景、低吞吐的仿真范式推进到可做多任务异构大规模训练的平台级工作,其核心贡献是系统 scaling 与分布扩张,而非新的控制或学习理论。

RoboVerse: A Unified Platform, Benchmark and Dataset for Scalable and Generalizable Robot Learning figure
RSS 2025Paper 022

RoboVerse: A Unified Platform, Benchmark and Dataset for Scalable and Generalizable Robot Learning

Haoran Geng, Feishi Wang, Songlin Wei, Yuyang Li, Bangjun Wang, Boshi An, Haozhe Lou, Charlie Tianyue Cheng, Peihao Li, Haozhe Chen, Yutong Liang, Yuxi Qian, Jiageng Mao, Weikang Wan, Yiran Geng, Mingtong Zhang, Jiangran Lyu, Siheng Zhao, Jiazhao Zhang, Chaoyi Xu, Jialiang Zhang, Chengyang Zhao, Haoran Lu, Yufei Ding, Ran Gong, Yuran Wang, Yuxuan Kuang, Ruihai Wu, Baoxiong Jia, Hao Dong, Siyuan Huang, Yue Wang, Jitendra Malik, Pieter Abbeel

2025数据机器人学习强化学习模仿学习触觉导航

RoboVerse 不是提出新 policy 的论文,而是用统一仿真接口 + 大规模合成数据 + 标准化 benchmark,把机器人学习从碎片化实验推进到可规模化、可复用、可比较的基础设施路线。

Robot Data Curation with Mutual Information Estimators figure
RSS 2025Paper 023

Robot Data Curation with Mutual Information Estimators

Joey Hejna, Suvir Mirchandani, Ashwin Balakrishna, Annie Xie, Ayzaan Wahid, Jonathan Tompson, Pannag R. Sanketi, Dhruv Shah, Coline Manon Devin, Dorsa Sadigh

2025机器人学习数据模仿学习感知灵巧手

这篇论文把机器人演示数据筛选从“看起来像专家”推进到“对 state-action 互信息的贡献有多大”,本质上是一个面向小数据机器人场景的统计型 curation 方法,而非新的模仿学习范式。

Robot Learning with Super-Linear Scaling figure
RSS 2025Paper 025

Robot Learning with Super-Linear Scaling

Marcel Torne Villasevil, Arhan Jain, Jiayi Yuan, Vidyaaranya Macha, Lars Lien Ankile, Anthony Simeonov, Pulkit Agrawal, Abhishek Gupta

2025数据机器人学习基础模型模仿学习操作强化学习

这篇工作把机器人学习从“人类提供数据、模型去拟合”推进到“模型逐步接管数据生成”的自举式范式,真正贡献是一个面向真实场景的、以扫描和蒸馏驱动的可摊薄人力成本的数据飞轮。

Action Flow Matching for Lifelong Learning figure
RSS 2025Paper 026

Action Flow Matching for Lifelong Learning

Alejandro Murillo-González, Lantao Liu

2025控制安全数据机器人学习自动驾驶灵巧手

AFM 把 continual robot learning 从“在失配动力学上继续探索并修模型”改写成“先用 flow matching 校正动作意图,再用更有信息的数据反向对齐模型”,属于动作层数据重分布而非纯参数更新的一类方法。

Solving Multi-Agent Safe Optimal Control with Distributed Epigraph Form MARL figure
RSS 2025Paper 027

Solving Multi-Agent Safe Optimal Control with Distributed Epigraph Form MARL

Songyuan Zhang, Oswin So, Mitchell Black, Zachary Serlin, Chuchu Fan

2025机器人学习安全强化学习多机器人控制触觉

这是把 multi-agent hard safety 的核心难题从“调权衡”改成“找可行上界并可分解执行”的一类结构化 safe MARL 方法,核心贡献在于 epigraph 重写与分布式可解性证明,而不是新的策略学习模块。

RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning figure
RSS 2025Paper 028

RLDG: Robotic Generalist Policy Distillation via Reinforcement Learning

Charles Xu, Qiyang Li, Jianlan Luo, Sergey Levine

2025机器人学习基础模型强化学习触觉操作数据

RLDG 本质上是把 RL 从“直接优化 policy”的角色改成“为 generalist 生成高质量监督数据”的角色,用任务专用专家重塑 foundation model 的动作先验,从而在精密操作上获得更强执行力而不牺牲通用性。

ROMAN: Open-Set Object Map Alignment for Robust View-Invariant Global Localization figure
RSS 2025Paper 029

ROMAN: Open-Set Object Map Alignment for Robust View-Invariant Global Localization

Mason Peterson, Yixuan Jia, Yulun Tian, Annika Thomas, Jonathan P. How

2025机器人学习同步定位与建图/定位数据导航基础模型感知

ROMAN 是把全球定位从“图像/特征匹配”推进到“开放词表对象子图的一致性对齐”的一类方法代表,其真正贡献是用语义、形状和重力先验重写了高歧义场景下的数据关联机制。

LiDAR Registration with Visual Foundation Models figure
RSS 2025Paper 031

LiDAR Registration with Visual Foundation Models

Niclas Vödisch, Giovanni Cioffi, Marco Cannici, Wolfram Burgard, Davide Scaramuzza

2025感知基础模型机器人学习灵巧手数据同步定位与建图/定位

这篇论文把长期LiDAR配准从“学习3D几何描述子”改写为“用DINOv2视觉表征做点匹配,再交给传统几何求解”,核心贡献是证明视觉基础模型能显著抬高长期注册中的对应质量与泛化上限。

Building Rome with Convex Optimization figure
RSS 2025Paper 032

Building Rome with Convex Optimization

Haoyu Han, Heng Yang

2025感知

这篇论文属于“用 learned 3D 先验重写经典 BA,再借助 SDP/BM 做全局可扩展求解”的路线,真正贡献是把原本依赖初始化的非凸几何估计问题改造成了一个更容易被全局优化处理的 lifted optimization problem。

Demonstrating MOSART: Opening Articulated Structures in the Real World figure
RSS 2025Paper 033

Demonstrating MOSART: Opening Articulated Structures in the Real World

Arjun Gupta, Michelle Zhang, Rishik Sathua, Saurabh Gupta

2025机器人学习操作移动操作模仿学习基础模型数据

这是一篇把 articulated object opening 当作真实世界 mobile manipulation 试金石的系统论文:它用模块化几何先验证明了,在当前数据与视角条件下,结构化系统比端到端学习更接近可部署的泛化。

Vysics: Object Reconstruction Under Occlusion by Fusing Vision and Contact-Rich Physics figure
RSS 2025Paper 034

Vysics: Object Reconstruction Under Occlusion by Fusing Vision and Contact-Rich Physics

Bibit Bianchini, Minghan Zhu, Mengti Sun, Bowen Jiang, Camillo Jose Taylor, Michael Posa

2025机器人学习感知控制触觉操作同步定位与建图/定位

Vysics 把遮挡下的对象重建从纯视觉补全,推进为“用接触动力学反推隐藏几何”的机器人建模框架,其主要贡献是一个更适合 manipulation 场景的几何-物理统一 inductive bias,而不是单纯的模块堆叠。

Implicit Neural-Representation Learning for Elastic Deformable-Object Manipulations figure
RSS 2025Paper 035

Implicit Neural-Representation Learning for Elastic Deformable-Object Manipulations

Jeongho Ha, Minseok Song, Bonggyeong Park, Daehyung Park

2025操作强化学习机器人学习感知触觉

这是一篇把弹性物体操作从“直接学控制”转成“先学可补全的隐式几何状态、再用 RL 对齐任务”的方法论文,本质贡献是为部分可见软体操作提供了更强的状态归纳偏置,而非提出了新的控制范式。

V-HOP: Visuo-Haptic 6D Object Pose Tracking figure
RSS 2025Paper 037

V-HOP: Visuo-Haptic 6D Object Pose Tracking

Hongyu Li, Mingxi Jia, Mete Tuluhan Akbulut, Yu Xiang, George Konidaris, Srinath Sridhar

2025触觉感知灵巧手数据操作仿真到现实

V-HOP 的位置不是“又一个 vision+tactile 融合模型”,而是把多模态 6D tracking 推向“跨 embodiment 表征对齐 + 时序状态估计”的路线,真正解决真实操作里传感器异构和单帧不稳定这两个根瓶颈。

Joint State and Noise Covariance Estimation figure
RSS 2025Paper 038

Joint State and Noise Covariance Estimation

Kasra Khosoussi, Iman Shames

2025机器人学习感知同步定位与建图/定位

这是一篇把 SLAM/视觉中的噪声协方差从手工超参数提升为可解析在线估计变量的论文,核心贡献是用约束 ML/MAP 让“状态—权重”联合优化变成可落地、可接现有求解器的统计更新框架。

Map Space Belief Prediction for Manipulation-Enhanced Mapping figure
RSS 2025Paper 039

Map Space Belief Prediction for Manipulation-Enhanced Mapping

Joao Marcos Correia Marques, Nils Dengler, Jesper Mücke, Tobias Zaenker, Shenlong Wang, Maren Bennewitz, Kris Hauser

2025机器人学习操作同步定位与建图/定位规划

这是一篇把机械搜索式的“看/动”决策重写成 calibrated map-belief propagation 的工作,本质贡献是用空间化世界模型把主动感知、操作后果预测和信息增益规划统一起来,而不是单纯做更强的视点选择。

PINGS: Gaussian Splatting Meets Distance Fields within a Point-Based Implicit Neural Map figure
RSS 2025Paper 040

PINGS: Gaussian Splatting Meets Distance Fields within a Point-Based Implicit Neural Map

Yue Pan, Xingguang Zhong, Liren Jin, Louis Wiesmann, Marija Popovic, Jens Behley, Cyrill Stachniss

2025机器人学习同步定位与建图/定位数据基础模型感知

PINGS 把 3DGS 从“独立的外观表示”改造成受 SDF 约束的 surface-aware rendering 分支,并通过共享 point-based latent map 让几何与外观在大规模 SLAM 中真正互相纠偏。

RAMEN: Real-time Asynchronous Multi-agent Neural Implicit Mapping figure
RSS 2025Paper 041

RAMEN: Real-time Asynchronous Multi-agent Neural Implicit Mapping

Hongrui Zhao, Boris Ivanovic, Negar Mehr

2025机器人学习多机器人同步定位与建图/定位数据

RAMEN 本质上是把多机器人神经隐式建图从“必须同步的参数平均”推进到“面向异步通信的可靠性加权共识”,解决的是分布式优化在真实网络条件下的失稳问题,而不是单纯提升表示能力。

Bilevel Learning for Bilevel Planning figure
RSS 2025Paper 043

Bilevel Learning for Bilevel Planning

Bowen Li, Tom Silver, Sebastian Scherer, Alexander G. Gray

2025机器人学习规划操作模仿学习灵巧手移动操作

这是把 bilevel planning 从“手工抽象上做规划”推进到“抽象本身也要被学习并受规划反向约束”的工作,核心贡献是为机器人组合泛化提供了一个更可扩展的神经-符号闭环。

Global Contact-Rich Planning with Sparsity-Rich Semidefinite Relaxations figure
RSS 2025Paper 046

Global Contact-Rich Planning with Sparsity-Rich Semidefinite Relaxations

Shucheng Kang, Guorui Liu, Heng Yang

2025机器人学习规划导航灵巧手

这篇论文把 contact-rich planning 从“难以全局求解的非凸轨迹优化”推进到“可利用机器人特定稀疏结构进行高阶凸松弛的 POP 问题”,核心贡献是结构化全局优化,而不是单纯的求解器改良。

Efficient Hierarchical Any-Angle Path Planning on Multi-Resolution 3D Grids figure
RSS 2025Paper 049

Efficient Hierarchical Any-Angle Path Planning on Multi-Resolution 3D Grids

Victor Reijgwart, Cesar Cadena, Roland Siegwart, Lionel Ott

2025机器人学习规划导航感知基础模型数据

这是一篇把 Theta* 的 any-angle 几何最优性与 octree 的层级压缩真正融合起来的规划工作:核心贡献是用区域级 predecessor 传播和按歧义细化,把 3D Euclidean 全局规划从“高分辨率图搜索”变成“稀疏结构上的递归最短路”。

Differentiable GPU-Parallelized Task and Motion Planning figure
RSS 2025Paper 050

Differentiable GPU-Parallelized Task and Motion Planning

William Shen, Caelan Reed Garrett, Nishanth Kumar, Ankit Goyal, Tucker Hermans, Leslie Pack Kaelbling, Tomás Lozano-Pérez, Fabio Ramos

2025机器人学习规划导航安全操作灵巧手

cuTAMP 不是在 TAMP 里提出一种更强的单次求解器,而是把离散骨架搜索和连续约束求解重构为 GPU 上的大规模并行 test-time 搜索,从而用“覆盖多个 basin + 可微精修”替代传统串行采样/优化的脆弱性。

Flow Matching Ergodic Coverage figure
RSS 2025Paper 051

Flow Matching Ergodic Coverage

Max Muchen Sun, Allison Pinosky, Todd Murphey

2025机器人学习控制生成模型灵巧手

它把 ergodic coverage 从“只能用少数手工 metric 的轨迹优化”升级为“可匹配任意 reference flow 的 LQ flow matching 框架”,本质上是一次把生成模型几何引入控制 synthesis 的接口层创新。

Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation figure
RSS 2025Paper 052

Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation

Han Xue, Jieji Ren, Wendi Chen, Gu Zhang, Fang Yuan, Guoying Gu, Huazhe Xu, Cewu Lu

2025触觉感知扩散策略操作机器人学习模仿学习

这是一篇把 contact-rich 模仿学习从“开环动作块预测”推进到“慢速轨迹规划 + 高频触觉闭环纠偏”的工作,核心贡献是新的时间尺度分解,而不只是更大模型或更多传感器。

Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization figure
RSS 2025Paper 053

Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization

Lujie Yang, H.j. Terry Suh, Tong Zhao, Bernhard Paus Graesdal, Tarik Kelestemur, Jiuguang Wang, Tao Pang, Russ Tedrake

2025机器人学习数据操作规划生成模型灵巧手

这是一篇把“人类示范 + 物理约束优化”用作数据生成器的论文:它真正贡献的不是新 policy,而是让少量 demo 通过 trajectory optimization 被放大成跨 embodiment 的可执行接触数据分布。

PP-Tac: Paper Picking Using Omnidirectional Tactile Feedback in Dexterous Robotic Hands figure
RSS 2025Paper 056

PP-Tac: Paper Picking Using Omnidirectional Tactile Feedback in Dexterous Robotic Hands

Pei Lin, Yuzhe Huang, Jianpeng Ma, Chenxi Xiao, Wanlin Li, Ziyuan Jiao

2025机器人学习灵巧手触觉操作感知控制

PP-Tac 是一条把纸类拾取从视觉驱动抓取改写为触觉闭环接触控制的路线,真正贡献在于用全向触觉把高滑移变形任务变成可在线纠偏的问题,而 diffusion 轨迹学习更像是在这个控制框架上补足动作先验。

Demonstrating the Octopi-1.5 Visual-Tactile-Language Model figure
RSS 2025Paper 058

Demonstrating the Octopi-1.5 Visual-Tactile-Language Model

Samson Yu, Lin Kelvin, Harold Soh

2025机器人学习触觉灵巧手感知视觉语言模型模仿学习

Octopi-1.5 代表的是一种把触觉感知、语言常识和检索记忆拼成可教学推理系统的演化路线,但目前更像是强 backbone + memory augmentation 的系统集成,而非触觉理解本身的理论突破。

Robust Peg-in-Hole Assembly under Uncertainties via Compliant and Interactive Contact-Rich Manipulation figure
RSS 2025Paper 060

Robust Peg-in-Hole Assembly under Uncertainties via Compliant and Interactive Contact-Rich Manipulation

Yiting Chen, Kenneth Kimble, Howard H. Qian, Podshara Chanrungmaneekul, Robert Seney, Kaiyu Hang

2025机器人学习操作安全人机交互感知

这是一篇把 peg-in-hole 从“精确规划问题”重写为“通过受控接触逐步收缩不确定性的问题”的论文,核心贡献是用 manipulation funnel 把感知与执行统一成同一种约束吸收机制。

AMO: Adaptive Motion Optimization for Hyper-Dexterous Humanoid Whole-Body Control figure
RSS 2025Paper 061

AMO: Adaptive Motion Optimization for Hyper-Dexterous Humanoid Whole-Body Control

Jialong Li, Xuxin Cheng, Tianshu Huang, Shiqi Yang, Ri-Zhao Qiu, Xiaolong Wang

2025机器人学习腿足机器人灵巧手控制强化学习操作

AMO 的位置是:它不是在 humanoid whole-body control 上再做一个 policy,而是通过重构训练 reference 和命令空间,把“能到哪里、怎么稳地到”这件事从窄步态 imitation 推进到可扩 workspace 的连续泛化控制。

Demonstrating Berkeley Humanoid Lite: An Open-source, Accessible, and Customizable 3D-printed Humanoid Robot figure
RSS 2025Paper 062

Demonstrating Berkeley Humanoid Lite: An Open-source, Accessible, and Customizable 3D-printed Humanoid Robot

Yufeng Chi, Qiayuan Liao, Junfeng Long, Xiaoyu Huang, Sophia Shao, Borivoje Nikolic, Zhongyu Li, Koushil Sreenath

2025机器人学习腿足机器人感知强化学习触觉控制

这是一篇把 humanoid 研究从封闭高门槛硬件,推进到开放、低成本、可复现平台的基础设施型论文,其核心价值是重构研究入口,而不是刷新控制算法本身。

Learning Getting-Up Policies for Real-World Humanoid Robots figure
RSS 2025Paper 063

Learning Getting-Up Policies for Real-World Humanoid Robots

Xialin He, Runpei Dong, Zixuan Chen, Saurabh Gupta

2025机器人学习腿足机器人安全控制灵巧手强化学习

这篇论文把 humanoid 起身从“直接学控制”改成“先发现恢复轨迹、再蒸馏成可部署策略”的 curriculum 学习问题,证明了在复杂接触场景下,真正有效的提升主要来自任务分解与 inductive bias,而不只是更大规模的 RL。

Learning Humanoid Standing-up Control across Diverse Postures figure
RSS 2025Paper 064

Learning Humanoid Standing-up Control across Diverse Postures

Tao Huang, Junli Ren, Huayi Wang, Zirui Wang, Qingwei Ben, Muning Wen, Xiao Chen, Jianan Li, Jiangmiao Pang

2025机器人学习控制腿足机器人安全操作移动操作

HoST 代表的是一种把 humanoid 起身从“轨迹执行”改写为“受限姿态泛化 RL”的方法演化:核心贡献是通过分布覆盖和动作约束,让站起策略第一次看起来像能真机落地的恢复控制器,而不是只在仿真里成立的动作模板。

LangWBC: Language-directed Humanoid Whole-Body Control via End-to-end Learning figure
RSS 2025Paper 065

LangWBC: Language-directed Humanoid Whole-Body Control via End-to-end Learning

Yiyang Shao, Bike Zhang, Qiayuan Liao, Xiaoyu Huang, Yuman Gao, Yufeng Chi, Zhongyu Li, Sophia Shao, Koushil Sreenath

2025机器人学习腿足机器人控制强化学习触觉

LangWBC 本质上是把“文本到动作”的问题从轨迹生成改写成带物理先验的闭环 latent control:它的贡献更像是用 CVAE + RL teacher 重建了一个可被语言索引的 humanoid 动作流形,而不是单纯做了一个更强的 text-to-motion 模型。

ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills figure
RSS 2025Paper 066

ASAP: Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills

Tairan He, Jiawei Gao, Wenli Xiao, Yuanhang Zhang, Zi Wang, Jiashun Wang, Zhengyi Luo, Guanqi He, Nikhil Sobanbabu, Chaoyi Pan, Zeji Yi, Guannan Qu, Kris Kitani, Jessica K. Hodgins, Linxi Fan, Yuke Zhu, Changliu Liu, Guanya Shi

2025机器人学习控制腿足机器人仿真到现实数据基础模型

ASAP 是一条把 sim-to-real mismatch 重新表述为动作残差对齐问题的 humanoid 控制路线:它的真正贡献在于用真实数据把仿真环境校正到更接近可执行控制,而不是去逼近一个完整、精确的物理世界模型。

A Unified and General Humanoid Whole-Body Controller for Fine-Grained Locomotion figure
RSS 2025Paper 067

A Unified and General Humanoid Whole-Body Controller for Fine-Grained Locomotion

Yufei Xue, Wentao Dong, Minghuan Liu, Weinan Zhang, Jiangmiao Pang

2025机器人学习腿足机器人控制可解释性操作移动操作

HuGWBC 的位置是:把 humanoid whole-body locomotion 从“单一跟踪型控制”推进到“命令空间驱动的可组合控制”,其真正贡献在于用统一命令空间和干预鲁棒训练把多步态、细粒度姿态调节与上半身外部接管整合到同一个可部署策略里。

BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds figure
RSS 2025Paper 068

BeamDojo: Learning Agile Humanoid Locomotion on Sparse Footholds

Huayi Wang, Zirui Wang, Junli Ren, Qingwei Ben, Tao Huang, Weinan Zhang, Jiangmiao Pang

2025腿足机器人强化学习操作机器人学习安全感知

BeamDojo 不是把 humanoid sparse foothold locomotion 做成了更大的 RL,而是通过 polygonal-foot reward 重写、双 critic 解耦和两阶段 curriculum,把一个几乎不可学的稀疏接触问题变成了可探索、可部署的策略学习问题。

HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit figure
RSS 2025Paper 070

HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit

Qingwei Ben, Feiyu Jia, Jia Zeng, Junting Dong, Dahua Lin, Jiangmiao Pang

2025控制腿足机器人操作移动操作灵巧手强化学习

HOMIE 不是又一个 humanoid teleop 装置,而是用“RL 接管下半身 + 同构外骨骼直接映射上半身 + 传感手套接管手部”的结构化重分工,把 humanoid loco-manipulation 从高噪声反演问题改造成可高频、低损耗的数据飞轮。

Curating Demonstrations using Online Experience figure
RSS 2025Paper 071

Curating Demonstrations using Online Experience

Annie S. Chen, Alec M. Lessing, Yuejiang Liu, Chelsea Finn

2025机器人学习模仿学习数据操作灵巧手

这篇论文把 demonstration curation 从人工经验和静态损失,推进到基于机器人在线成败反馈的策略可靠性筛选,本质上是在做 embodiment-aware 的数据重写,而不是单纯训练更强的 imitation policy。

CodeDiffuser: Attention-Enhanced Diffusion Policy via VLM-Generated Code for Instruction Ambiguity figure
RSS 2025Paper 072

CodeDiffuser: Attention-Enhanced Diffusion Policy via VLM-Generated Code for Instruction Ambiguity

Guang Yin, Yitong Li, Yixuan Wang, Dale Mcconachie, Paarth Shah, Kunimatsu Hashimoto, Huan Zhang, Katherine Liu, Yunzhu Li

2025机器人学习视觉语言模型操作感知扩散策略可解释性

CodeDiffuser 的定位是:用 VLM 生成可执行代码来显式消解语言歧义,再把语义转成 3D 注意力去约束 diffusion policy,本质上是在机器人操控里用“程序化 grounding”替代黑盒端到端语义-动作耦合。

Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies figure
RSS 2025Paper 073

Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies

Chen Xu, Tony Khuong Nguyen, Emma Dixon, Christopher Rodriguez, Patrick Miller, Robert Lee, Paarth Shah, Rares Andrei Ambrus, Haruki Nishimura, Masha Itkina

2025感知模仿学习数据操作机器人学习安全

这是一篇把机器人 failure detection 从“依赖 failure supervision 的分类问题”重构为“只用成功数据做顺序 OOD 监控”的工作,核心价值在于建模转向与可校准的 runtime 安全预警,而非单纯的 detector engineering。

Unified Video Action Model figure
RSS 2025Paper 074

Unified Video Action Model

Shuang Li, Yihuai Gao, Dorsa Sadigh, Shuran Song

2025生成模型机器人学习控制扩散策略感知

UVA 的位置是:把视频当作控制表征学习的监督源、把动作当作独立推理目标,用共享 latent + 推理解耦把 video-based policy 从慢而脆的级联生成,推进到一个更实用的统一多模态控制框架。

DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies figure
RSS 2025Paper 075

DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies

Tony Tao, Mohan Kumar Srirama, Jason Jingzhou Liu, Kenneth Shaw, Deepak Pathak

2025机器人学习数据灵巧手人机交互操作模仿学习

DexWild 代表的是一类“用大规模自然人类交互补场景覆盖、用少量机器人数据做执行对齐”的 dexterous manipulation 路线,其核心贡献是数据范式和跨 embodiment 训练组织方式,而不是新的控制算法。

From Foresight to Forethought: VLM-In-the-Loop Policy Steering via Latent Alignment figure
RSS 2025Paper 076

From Foresight to Forethought: VLM-In-the-Loop Policy Steering via Latent Alignment

Yilin Wu, Thomas Tian, Gokul Swamy, Andrea Bajcsy

2025机器人学习视觉语言模型生成模型操作模仿学习感知

这是一篇把 VLM 从“直接看机器人动作做判断”改造成“先由 latent world model 预测后果、再由 VLM 以语言语义做选择”的 policy steering 工作,本质贡献是用表示对齐来修补生成式机器人控制中的预测-评估鸿沟。

Is Your Imitation Learning Policy Better than Mine? Policy Comparison with Near-Optimal Stopping figure
RSS 2025Paper 077

Is Your Imitation Learning Policy Better than Mine? Policy Comparison with Near-Optimal Stopping

David Snyder, Asher James Hancock, Apurva Badithela, Emma Dixon, Patrick Miller, Rares Andrei Ambrus, Anirudha Majumdar, Masha Itkina, Haruki Nishimura

2025机器人学习模仿学习操作安全灵巧手数据

这是一篇把机器人 policy comparison 从固定样本的 batch testing 重写为近最优 sequential stopping 的统计方法论文,核心贡献是用更合理的停止机制在小样本、高成本评估中省 trial、保正确性,而不是提出新的学习器。

DDAT: Diffusion Policies Enforcing Dynamically Admissible Robot Trajectories figure
RSS 2025Paper 078

DDAT: Diffusion Policies Enforcing Dynamically Admissible Robot Trajectories

Jean-Baptiste Bouvier, Kanghyun Ryu, Qiayuan Liao, Koushil Sreenath, Negar Mehr

2025机器人学习扩散策略安全生成模型触觉规划

DDAT 把 diffusion policy 从“生成看起来合理的轨迹”推进到“在训练和推理中都被局部动力学可达性约束塑形的轨迹生成器”,其真正贡献是用投影几何重写了扩散轨迹规划的 inductive bias,而不是单纯堆一个约束模块。

FACTR: Force-Attending Curriculum Training for Contact-Rich Policy Learning figure
RSS 2025Paper 079

FACTR: Force-Attending Curriculum Training for Contact-Rich Policy Learning

Jason Jingzhou Liu, Yulong Li, Kenneth Shaw, Tony Tao, Russ Salakhutdinov, Deepak Pathak

2025触觉机器人学习数据感知人机交互操作

FACTR 不是简单地“把力觉加进机器人”,而是通过课程式削弱视觉捷径,重排多模态训练中的信息主导权,让 contact-rich policy 真正学会依赖 force。

Interface-level Intent Inference for Environment-agnostic Robot Teleoperation Assistance figure
RSS 2025Paper 081

Interface-level Intent Inference for Environment-agnostic Robot Teleoperation Assistance

Larisa Y.c. Loke, Brenna Argall

2025机器人学习人机交互控制数据安全同步定位与建图/定位

这篇论文把 teleoperation 的共享控制从“理解机器人前的用户意图”前移为“恢复被接口扭曲的原始意图”,属于一种面向受限输入通道的 interface-level denoising / alignment,而非传统 robot-level intent prediction。

Sense and Sensibility: What makes an social robot convincing to high-school students? figure
RSS 2025Paper 082

Sense and Sensibility: What makes an social robot convincing to high-school students?

Pablo Gonzalez-Oliveras, Olov Engwall, Ali Reza Majlesi

2025机器人学习视觉语言模型

这是一篇把教育机器人研究从“提升亲和力”推进到“校准可信度风险”的工作:它证明了学生会被机器人的确定性表演显著带偏,因此真正该优化的不是说服力本身,而是可信度呈现与信息可靠性的对齐。

FEAST: A Flexible Mealtime-Assistance System Towards In-the-Wild Personalization figure
RSS 2025Paper 083

FEAST: A Flexible Mealtime-Assistance System Towards In-the-Wild Personalization

Rajat Kumar Jenamani, Tom Silver, Ben Dodson, Shiqin Tong, Anthony Song, Yuting Yang, Ziang Liu, Benjamin Howe, Aimee Whitneck, Tapomayukh Bhattacharjee

2025机器人学习安全视觉语言模型多机器人人机交互

FEAST 代表的是一种把照护机器人个性化从黑箱策略学习转向“用户可编辑、可验证、可解释的行为程序”的方法演化,而它的价值主要来自这种受约束的表示与交互设计,而不是 LLM 本身。

Demonstrating a Control Framework for Physical Human-Robot Interaction Toward Industrial Applications figure
RSS 2025Paper 084

Demonstrating a Control Framework for Physical Human-Robot Interaction Toward Industrial Applications

Bastien Muraccioli, Mathieu Celerier, Mehdi Benallegue, Gentiane Venture

2025机器人学习控制人机交互安全触觉

这篇论文把 pHRI 从“柔顺控制演示”推进到“带安全约束的工业级控制架构原型”,真正贡献是用 QP 层次化地统一了任务精度、可切换柔顺和底层扭矩执行,但其泛化性仍明显依赖高质量系统辨识与平台定制。

Demonstrating Shared Force-Language Embeddings for Natural Human-Robot Communication figure
RSS 2025Paper 086

Demonstrating Shared Force-Language Embeddings for Natural Human-Robot Communication

Ravi Tejwani, Karl Angel Velazquez, John Payne, Paolo Bonato, Haruhiko Asada

2025机器人学习触觉人机交互多机器人数据强化学习

这篇工作属于“把语言与触觉/力做共享表示对齐”的多模态协作路线,真正贡献是提出跨模态可交换语义空间,而不是单纯提升某个控制或语言模块。

Optimal Interactive Learning on the Job via Facility Location Planning figure
RSS 2025Paper 087

Optimal Interactive Learning on the Job via Facility Location Planning

Shivam Vats, Michelle D. Zhao, Patrick Callaghan, Mingxi Jia, Maxim Likhachev, Oliver Kroemer, George Konidaris

2025规划机器人学习操作灵巧手多机器人人机交互

这是一篇把多任务交互学习重写成设施选址式全局成本规划的工作,核心贡献是用可近似的 OR 结构替代单任务主动学习式的局部 query 选择,从而实现更省人的长期协作。

Interruption Handling for Conversational Robots figure
RSS 2025Paper 089

Interruption Handling for Conversational Robots

Shiye Cao, Jiwon Moon, Amama Mahmood, Victor Nikhil Antony, Ziang Xiao, Anqi Liu, Chien-Ming Huang

2025机器人学习灵巧手人机交互视觉语言模型数据控制

这是一篇把 interruption 从“turn-taking 失败”重构为“语用意图驱动的在线对话控制”的系统论文,核心贡献在于 policy 设计与人类交互范式迁移,而不是单纯的检测或生成。

ASTRID: A Robotic Tutor for Nurse Training to Reduce Healthcare-Associated Infections figure
RSS 2025Paper 090

ASTRID: A Robotic Tutor for Nurse Training to Reduce Healthcare-Associated Infections

Peizhu Qian, Filip Bajraktari, Carlos Quintero-Pena, Qingxi Meng, Shannan Hamlin, Lydia E. Kavraki, Vaibhav V. Unhelkar

2025机器人学习可解释性

ASTRID 代表的是一种“把专家式流程监督外化为机器人可执行的实时约束反馈”的护理训练路线,核心贡献是人机共设计下的 procedural tutor,而非新的感知或学习算法。

Towards Uncertainty Unification: A Case Study for Preference Learning figure
RSS 2025Paper 091

Towards Uncertainty Unification: A Case Study for Preference Learning

Shaoting Peng, Haonan Chen, Katherine Rose Driggs-Campbell

2025机器人学习人机交互

这是一个把“人类偏好的犹豫程度”显式并入 GP 偏好学习与主动查询的工作,本质上是在做人类不确定性与机器人不确定性的联合建模,而非单纯提升一个 preference learner 的容量。

Demonstrating Arena 5.0: A Photorealistic ROS2 Simulation Framework for Developing and Benchmarking Social Navigation figure
RSS 2025Paper 092

Demonstrating Arena 5.0: A Photorealistic ROS2 Simulation Framework for Developing and Benchmarking Social Navigation

Linh Kästner, Volodymyr Shcherbyna, Harold Soh, Giang Nguyen Huu Truong, Do Duc Anh, Ton Manh Kien, Tim Seeger, Ahmed Martban, Vu Thanh Lam, Nguyen Quoc Hung, Pham Thai Hoang Tung, Tran Dang An, Eva Wiese, Maximilian Ho-Kyoung Schreff

2025机器人学习导航生成模型规划

Arena 5.0 不是一个新导航方法,而是把 social navigation 研究从低保真、碎片化的仿真测试,推进到 ROS2 对齐、可扩展、可 benchmark 的高保真实验基础设施。

Safety with Agency: Human-Centered Safety Filter with Application to AI-Assisted Motorsports figure
RSS 2025Paper 093

Safety with Agency: Human-Centered Safety Filter with Application to AI-Assisted Motorsports

Donggeon David Oh, Justin Lidard, Haimin Hu, Himani Sinhmar, Elle Lazarski, Deepak Edakkattil Gopinath, Emily Sumner, Jonathan Decastro, Guy Rosman, Naomi Leonard, Jaime Fernández Fisac

2025安全人机交互控制自动驾驶可解释性数据

这篇工作把共享自治里的安全过滤器从“最后时刻接管”改造成“基于学习到的安全值函数、对人类意图做最小侵入投影的 model-free 安全约束控制”,核心贡献是把安全与 agency 同时纳入同一个干预几何里。

Resolving Conflicting Constraints in Multi-Agent Reinforcement Learning with Layered Safety figure
RSS 2025Paper 094

Resolving Conflicting Constraints in Multi-Agent Reinforcement Learning with Layered Safety

Jasmine Jerry Aloor, Jason Jangho Choi, Jingqi Li, Maria G. Mendoza, Hamsa Balakrishnan, Claire Tomlin

2025机器人学习安全强化学习多机器人触觉人机交互

这是一篇把多智能体安全从“统一硬约束求解”推进到“冲突稀疏化 + 局部安全修正”的分层式 MARL 论文,核心贡献是重构了安全与学习的职责分配,而不是单纯堆了一个 safety module。

FERMI: Flexible Radio Mapping with a Hybrid Propagation Model and Scalable Autonomous Data Collection figure
RSS 2025Paper 095

FERMI: Flexible Radio Mapping with a Hybrid Propagation Model and Scalable Autonomous Data Collection

Yiming Luo, Yunfei Wang, Hongming Chen, Chengkai Wu, Ximin Lyu, Jinni Zhou, Jun Ma, Fu Zhang, Boyu Zhou

2025机器人学习数据同步定位与建图/定位多机器人人机交互规划

FERMI 是把 radio mapping 从端到端黑箱拟合重构为“物理先验残差学习 + 多机器人并行采集”的结构化方案,核心贡献在于提升稀疏数据下的外推与构图效率,而不是单纯提高回归精度。

Collaborative Object Transportation in Space via Impact Interactions figure
RSS 2025Paper 097

Collaborative Object Transportation in Space via Impact Interactions

Joris Verhagen, Jana Tumova

2025机器人学习控制人机交互规划

这篇论文把微重力协同搬运从“连续推拉控制”改写成“基于碰撞事件的 STL 约束编排”,核心贡献是用冲击作为主控制通道重塑了可规划性,而不是单纯提升了接触控制精度。

APEX-MR: Multi-Robot Asynchronous Planning and Execution for Cooperative Assembly figure
RSS 2025Paper 098

APEX-MR: Multi-Robot Asynchronous Planning and Execution for Cooperative Assembly

Philip Huang, Ruixuan Liu, Shobhit Aggarwal, Changliu Liu, Jiaoyang Li

2025机器人学习操作多机器人规划安全灵巧手

APEX-MR 的实质贡献,是把多机器人协作装配从“联合并行规划问题”改写成“顺序骨架上的依赖驱动异步执行问题”,其创新主要在执行层的部分序化,而不是更复杂的联合规划。

Hierarchical Temporal Logic Task and Motion Planning for Multi-Robot Systems figure
RSS 2025Paper 099

Hierarchical Temporal Logic Task and Motion Planning for Multi-Robot Systems

Zhongqi Wei, Xusheng Luo, Changliu Liu

2025机器人学习规划多机器人导航操作灵巧手

这是一篇把 multi-robot TAMP 从“任务搜索 + 轨迹优化”重写为“层级逻辑驱动的产品图最短路”的工作,核心贡献在于用更强的结构化表示把任务分配和连续规划统一进可扩展的求解框架。

How to Coordinate UAVs and UGVs for Efficient Mission Planning? Optimizing Energy-Constrained Cooperative Routing with a DRL Framework figure
RSS 2025Paper 101

How to Coordinate UAVs and UGVs for Efficient Mission Planning? Optimizing Energy-Constrained Cooperative Routing with a DRL Framework

Mohammad Safwan Mondal, Subramanian Ramasamy, Pranav Bhounsule

2025强化学习规划多机器人自动驾驶安全触觉

这篇论文把 UAV-UGV 协同规划从全局联合优化重构为 sortie 级的异构序列决策,用 transformer + 可行性约束实现了更可扩展的学习式调度/路由器,但其核心增益更像是结构化分解与搜索预算,而非纯粹的端到端推理突破。

DexterityGen: Foundation Controller for Unprecedented Dexterity figure
RSS 2025Paper 103

DexterityGen: Foundation Controller for Unprecedented Dexterity

Zhao-Heng Yin, Changhao Wang, Luis Pineda, Francois Robert Hogan, Chaithanya Krishna Bodduluri, Akash Sharma, Patrick Lancaster, Ishita Prasad, Mrinal Kalakrishnan, Jitendra Malik, Mike Lambeta, Tingfan Wu, Pieter Abbeel, Mustafa Mukadam

2025机器人学习灵巧手控制强化学习操作数据

DexterityGen 本质上是把灵巧操作做成一个可被高层提示调用的生成式低层动作先验;它的贡献更像是数据覆盖驱动的控制架构重组,而不是单纯的单任务 policy 提升。

Dexonomy: Synthesizing All Dexterous Grasp Types in a Grasp Taxonomy figure
RSS 2025Paper 105

Dexonomy: Synthesizing All Dexterous Grasp Types in a Grasp Taxonomy

Jiayi Chen, Yubin Ke, Lin Peng, He Wang

2025机器人学习灵巧手数据基础模型生成模型感知

Dexonomy 不是在发明新的抓取优化,而是在用“类型模板 + 物体先对齐 + 局部物理精修”的方式,把灵巧抓取从单样本规划变成了可规模化生成 taxonomy 数据的结构化管线。

Dex1B: Learning with 1B Demonstrations for Dexterous Manipulation figure
RSS 2025Paper 106

Dex1B: Learning with 1B Demonstrations for Dexterous Manipulation

Jianglong Ye, Keyi Wang, Chengjing Yuan, Ruihan Yang, Yiquan Li, Jiyue Zhu, Yuzhe Qin, Xueyan Zou, Xiaolong Wang

2025机器人学习模仿学习灵巧手数据操作生成模型

Dex1B 的本质是把灵巧操作从“小规模优化示范学习”推进到“带几何归纳偏置的迭代式数据扩张”,其核心贡献更像一个可扩展的数据生产范式,而不是单纯一个更大的数据集。

Demonstrating Multi-Suction Item Picking at Scale via Multi-Modal Learning of Pick Success figure
RSS 2025Paper 107

Demonstrating Multi-Suction Item Picking at Scale via Multi-Modal Learning of Pick Success

Che Wang, Jeroen Vanbaar, Chaitanya Mitash, Shuai Li, Dylan Randle, Weiyao Wang, Sumedh Anand Sontakke, Kostas Bekris, Kapil Katyal

2025机器人学习操作数据感知安全

这是一个典型的工业机器人表征学习升级案例:用域内多模态预训练+条件化读出,把原本依赖人工特征的抓取成功判别,推进到可从真实执行日志中规模化学习的任务相关表示。

Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation figure
RSS 2025Paper 109

Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation

Abhiram Maddukuri, Zhenyu Jiang, Lawrence Yunliang Chen, Soroush Nasiriany, Yuqi Xie, Yu Fang, Wenqi Huang, Zu Wang, Zhenjia Xu, Nikita Chernyadev, Scott Reed, Ken Goldberg, Ajay Mandlekar, Linxi Fan, Yuke Zhu

2025数据操作感知基础模型生成模型机器人学习

这是一篇把 sim-to-real 从“精确转移问题”改写为“语义对齐的数据混合问题”的论文:它的核心贡献不是更逼真的仿真,而是证明并系统化了仿真数据在真实机器人操作联合训练中的有效条件与边界。

CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World figure
RSS 2025Paper 110

CordViP: Correspondence-based Visuomotor Policy for Dexterous Manipulation in Real-World

Yankai Fu, Ning Chen, Qiuxuan Feng, Zichen Zhou, Mengzhen Liu, Mingdong Wu, Tianxing Chen, Shanyu Rong, Jiaming Liu, Hao Dong, Shanghang Zhang

2025机器人学习灵巧手感知操作模仿学习同步定位与建图/定位

CordViP 属于“以对象-手对应为中心的灵巧操作表示学习”路线:它不是单纯增强 3D 感知,而是把接触和几何对应显式化,从而让真实世界 dexterous manipulation 更稳、更可泛化。

Generalizing Safety Beyond Collision-Avoidance via Latent-Space Reachability Analysis figure
RSS 2025Paper 113

Generalizing Safety Beyond Collision-Avoidance via Latent-Space Reachability Analysis

Kensuke Nakamura, Lasse Peters, Andrea Bajcsy

2025机器人学习安全生成模型控制灵巧手模仿学习

这篇论文把 HJ reachability 从手工 state-space 的碰撞规避,推进到生成式 latent space 上的视觉失败安全过滤,核心贡献是把“不可手写的安全约束”变成“可学习、可传播、可插拔的表示空间安全问题”。

Distilling Contact Planning for Fast Trajectory Optimization in Robot Air Hockey figure
RSS 2025Paper 115

Distilling Contact Planning for Fast Trajectory Optimization in Robot Air Hockey

Julius Jankowski, Ante Marić, Puze Liu, Davide Tateo, Jan Peters, Sylvain Calinon

2025规划控制机器人学习安全导航

这是一个把接触规划做成“可蒸馏的随机最优控制”,再用在线 MPC 执行的混合方法;它的本质贡献是用结构化接触建模和低维决策分解,把原本难以实时求解的动态击打问题压缩成可部署的高层接触选择。

Leveling the Playing Field: Carefully Comparing Classical and Learned Controllers for Quadrotor Trajectory Tracking figure
RSS 2025Paper 116

Leveling the Playing Field: Carefully Comparing Classical and Learned Controllers for Quadrotor Trajectory Tracking

Pratik Kunapuli, Jake Welde, Dinesh Jayaraman, Vijay Kumar

2025控制强化学习机器人学习自动驾驶数据触觉

这是一篇把 quadrotor learned-vs-classical control 的“性能之争”重新还原为“信息边界与评测协议之争”的论文:它的主要贡献不是新控制器,而是证明很多 RL 优势其实来自不对称 benchmark。

Behavior Synthesis via Contact-Aware Fisher Information Maximization figure
RSS 2025Paper 118

Behavior Synthesis via Contact-Aware Fisher Information Maximization

Hrishikesh Sathyanarayan, Ian Abraham

2025机器人学习数据人机交互控制

这篇论文把接触学习从“用交互数据做估计”推进到“为可辨识性主动合成接触行为”,本质上是一次以 Fisher information 为核心的 contact-aware active experiment design。

Riemannian Direct Trajectory Optimization of Rigid Bodies on Matrix Lie Groups figure
RSS 2025Paper 120

Riemannian Direct Trajectory Optimization of Rigid Bodies on Matrix Lie Groups

Sangli Teng, Tzu-Yuan Lin, William A. Clark, Ram Vasudevan, Maani Ghaffari

2025机器人学习规划控制安全

这篇工作把刚体轨迹优化从“参数化后做数值优化”推进到“在 Lie group 上直接做带约束的二阶 Riemannian 优化”,核心贡献是几何建模与求解器结构的对齐,而不是单纯的算法堆叠。

Provably-Safe, Online System Identification figure
RSS 2025Paper 121

Provably-Safe, Online System Identification

Bohao Zhang, Zichang Zhou, Ram Vasudevan

2025机器人学习安全操作规划控制

这篇论文把未知负载辨识从“先冒险采数据再拟合”改造成“在可证安全的探索轨道上持续收紧参数集合”的闭环方法,属于安全主动辨识而非传统系统辨识的增量优化。

Human2LocoMan: Learning Versatile Quadrupedal Manipulation with Human Pretraining figure
RSS 2025Paper 122

Human2LocoMan: Learning Versatile Quadrupedal Manipulation with Human Pretraining

Yaru Niu, Yunzhe Zhang, Mingyang Yu, Changyi Lin, Chenhao Li, Yikai Wang, Yuxiang Yang, Wenhao Yu, Tingnan Zhang, Zhenzhen Li, Jonathan Francis, Bingqing Chen, Jie Tan, Ding Zhao

Carnegie Mellon University;Google DeepMind

2025机器人学习数据腿足机器人操作模仿学习人机交互

这是一个把人类演示变成四足操作预训练信号的跨实体模仿学习工作,其真正贡献在于用模态级对齐和模块化共享表示,把原本难以迁移的人-机差异压缩成可学习的接口问题。

SATA: Safe and Adaptive Torque-Based Locomotion Policies Inspired by Animal Learning figure
RSS 2025Paper 124

SATA: Safe and Adaptive Torque-Based Locomotion Policies Inspired by Animal Learning

Li Peizhuo, Hongyi Li, Ge Sun, Jin Cheng, Xinrong Yang, Guillaume Bellegarda, Milad Shafiee Ashtiani, Yuhong Cao, Auke Ijspeert, Guillaume Adrien Sartoretti

2025安全控制腿足机器人机器人学习仿真到现实人机交互

SATA 的本质是把腿足 locomotion 从“姿态跟踪+后端补偿”推进到“直接力矩交互+动物式探索先验”的路线,用更强的物理归纳偏置去换取安全、顺应和零样本迁移。

Bridging the Sim-to-Real Gap for Athletic Loco-Manipulation figure
RSS 2025Paper 125

Bridging the Sim-to-Real Gap for Athletic Loco-Manipulation

Nolan Fey, Gabriel B. Margolis, Martin Peticco, Pulkit Agrawal

2025机器人学习强化学习操作移动操作仿真到现实数据

这篇论文提出了一条面向高动态机器人操作的 sim-to-real 路线:先用无 torque 标签的 residual actuator model 校准复杂致动器,再用 reference-hint curriculum 让 whole-body policy 从可跟踪的运动先验中偏移到任务最优解。

Adaptive Locomotion on Mud through Proprioceptive Sensing of Substrate Properties figure
RSS 2025Paper 126

Adaptive Locomotion on Mud through Proprioceptive Sensing of Substrate Properties

Shipeng Liu, Jiaze Tang, Siyuan Meng, Feifei Qian

2025机器人学习腿足机器人触觉数据

这篇论文把泥地适应从“识别地形再调参”推进到“用本体感知反演泥土物理参数并直接闭环控制”,属于基于物理 inductive bias 的 proprioceptive terrain estimation,而不是数据驱动地形分类。

Discrete-Time Hybrid Automata Learning: Legged Locomotion Meets Skateboarding figure
RSS 2025Paper 127

Discrete-Time Hybrid Automata Learning: Legged Locomotion Meets Skateboarding

Hang Liu, Sangli Teng, Ben Liu, Wei Zhang, Maani Ghaffari

2025机器人学习腿足机器人感知控制强化学习触觉

这篇工作把一个复杂接触任务重写成带显式模式结构的 RL 问题,用 multi-critic 和 Beta policy 去做结构化信用分配,核心价值在于 hybrid inductive bias,而不是单纯更强的策略网络。

SafeMimic: Towards Safe and Autonomous Human-to-Robot Imitation for Mobile Manipulation figure
RSS 2025Paper 128

SafeMimic: Towards Safe and Autonomous Human-to-Robot Imitation for Mobile Manipulation

Arpit Bahety, Arnav Balaji, Ben Abbatematteo, Roberto Martín-Martín

2025机器人学习安全操作移动操作模仿学习灵巧手

SafeMimic 代表的是一种“从单次人类视频抽取任务骨架,再用安全约束搜索完成机器人适配”的方法谱系,它的真正贡献是把视频模仿、风险过滤和失败回溯整合成了可在真实 mobile manipulation 中运行的自主学习闭环。

Flying Hand: End-Effector-Centric Framework for Versatile Aerial Manipulation Teleoperation and Policy Learning figure
RSS 2025Paper 130

Flying Hand: End-Effector-Centric Framework for Versatile Aerial Manipulation Teleoperation and Policy Learning

Guanqi He, Xiaofeng Guo, Luyi Tang, Yuanhang Zhang, Mohammadreza Mousaei, Jiahe Xu, Junyi Geng, Sebastian Scherer, Guanya Shi

2025操作控制灵巧手人机交互机器人学习模仿学习

这是一篇把 aerial manipulation 从“任务专用系统集合”推进到“末端执行器中心的通用操作框架”的工作,核心贡献是接口与分层抽象,而不是单点控制性能。

RUKA: Rethinking the Design of Humanoid Hands with Learning figure
RSS 2025Paper 131

RUKA: Rethinking the Design of Humanoid Hands with Learning

Anya Zorin, Irmak Guzey, Nikhil X. Bhattasali, Lerrel Pinto

2025灵巧手腿足机器人操作数据控制机器人学习

RUKA 不是在追求更强的灵巧手模型,而是在用人形硬件形态对齐和数据驱动逆控制,把低成本 tendon-driven 手从“难以控制的硬件”变成“可复用的研究平台”。

Tactile sensing enables vertical obstacle negotiation for elongate many-legged robots figure
RSS 2025Paper 133

Tactile sensing enables vertical obstacle negotiation for elongate many-legged robots

Juntao He, Baxi Chong, Massimiliano Iaschi, Vincent R. Nienhusser, Sehoon Ha, Daniel Goldman

2025机器人学习腿足机器人触觉控制导航感知

这是把 many-legged 机器人的垂直越障从视觉全局规划,转成触觉驱动的局部闭环 skill 的一篇工作,本质贡献是利用形态冗余与低带宽触觉建立了更适合该平台的爬障 inductive bias。

Boxi: Design Decisions in the Context of Algorithmic Performance for Robotics figure
RSS 2025Paper 134

Boxi: Design Decisions in the Context of Algorithmic Performance for Robotics

Jonas Frey, Turcan Tuna, Lanke Frank Tarimo Fu, Cedric Weibel, Katharine Patterson, Benjamin Krummenacher, Matthias Müller, Julian Nubert, Maurice Fallon, Cesar Cadena, Marco Hutter

2025机器人学习操作腿足机器人同步定位与建图/定位

这是一篇把机器人感知平台设计从“隐性工程经验”提升为“影响状态估计上限的研究问题”的系统论文,核心贡献在于证明并沉淀了传感器模态、同步和标定对算法性能的决定性作用。

Dynamic Safety in Complex Environments: Synthesizing Safety Filters with Poisson’s Equation figure
RSS 2025Paper 137

Dynamic Safety in Complex Environments: Synthesizing Safety Filters with Poisson’s Equation

Gilbert Bahati, Ryan M. Bena, Aaron Ames

2025机器人学习安全腿足机器人控制模仿学习数据

这是把动态环境中的 safe set synthesis 从启发式势场/距离场,推进到“由 Poisson 椭圆方程生成、可直接接入 CBF 的安全函数”这一类方法的工作,核心贡献是结构化 inductive bias 和可部署的 perception-to-safety 接口。

Meta-Learning Online Dynamics Model Adaptation in Off-Road Autonomous Driving figure
RSS 2025Paper 139

Meta-Learning Online Dynamics Model Adaptation in Off-Road Autonomous Driving

Jacob Levy, Jason Gibson, Bogdan Vlahov, Erica Tevere, Evangelos Theodorou, David Fridovich-Keil, Patrick Spieler

2025控制自动驾驶安全数据人机交互视觉语言模型

这篇工作属于“把越野场景下的在线动力学学习,从高维重训练改写为 meta-learned 低维子空间滤波”的方法演化,核心贡献是把可部署的自适应控制做成了一个更合理的结构化识别问题。

Enhancing Autonomous Driving Systems with On-Board Deployed Large Language Models figure
RSS 2025Paper 140

Enhancing Autonomous Driving Systems with On-Board Deployed Large Language Models

Nicolas Baumann, Cheng Hu, Paviththiren Sivasothilingam, Haotong Qin, Lei Xie, Michele Magno, Luca Benini

2025机器人学习视觉语言模型自动驾驶控制规划安全

这篇论文代表的是“LLM 作为本地、受约束的语义控制中间层”这一条路线:它真正贡献的是把自然语言意图、安全 MPC 和边缘部署组织成一个可运行接口,而不是提出了一种新的自动驾驶决策范式。

RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation figure
RSS 2025Paper 142

RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation

Minwoo Kim, Geunsik Bae, Jinwoo Lee, Woojae Shin, Changseung Kim, Myongyol Choi, Heejung Shin, Hyongdong Oh

2025强化学习感知导航规划触觉数据

RAPID 不是简单把 BC 换成 IRL,而是用带特权地图的规划专家重构视觉导航的监督形式,把高速无人机局部规划从动作拟合推进到奖励恢复驱动的策略学习。

Neural Inertial Odometry from Lie Events figure
RSS 2025Paper 143

Neural Inertial Odometry from Lie Events

Royina Karegoudra Jayanth, Yinshuang Xu, Evangelos Chatzipantazis, Kostas Daniilidis, Daniel Gehrig

2025同步定位与建图/定位操作数据感知

这篇论文把 IMU 里的 neural displacement prior 从“学习原始等频序列到位移”推进到“先在 SE(3) 预积分上做 Lie event canonicalization,再让现成 prior 学更稳的变化表示”,核心贡献是输入层的不变性重构,而不是更强的下游推理模型。

Uncertainty-Aware Trajectory Prediction via Rule-Regularized Heteroscedastic Deep Classification figure
RSS 2025Paper 144

Uncertainty-Aware Trajectory Prediction via Rule-Regularized Heteroscedastic Deep Classification

Kumar Manas, Christian Schlauch, Adrian Paschke, Christian Wirth, Nadja Klein

2025数据机器人学习自动驾驶安全操作视觉语言模型

这是一篇把轨迹预测从“纯数据拟合”推进到“规则先验约束下的校准型概率分类”的工作,核心贡献是用 LLM 规模化注入交通规则,再用 heteroscedastic SNGP 让多模态预测在低数据和 OOD 场景里更可信。

Novel Demonstration Generation with Gaussian Splatting Enables Robust One-Shot Manipulation figure
RSS 2025Paper 146

Novel Demonstration Generation with Gaussian Splatting Enables Robust One-Shot Manipulation

Sizhe Yang, Wenye Yu, Jia Zeng, Jun Lv, Kerui Ren, Cewu Lu, Dahua Lin, Jiangmiao Pang

2025机器人学习感知数据模仿学习操作生成模型

这篇工作把机器人示范增强从 2D 图像编辑推进到 3DGS 驱动的空间一致性示范生成,本质上是在用更强的 3D inductive bias 和更好的标签传播来替代昂贵的真实采集与脆弱的 sim2real。

STDArm: Transfer Visuomotor Policy From Static Data Training to Dynamic Robot Manipulation figure
RSS 2025Paper 147

STDArm: Transfer Visuomotor Policy From Static Data Training to Dynamic Robot Manipulation

Yifan Duan, Heng Li, Yilong Wu, Wenhao Yu, Xinran Zhang, Yedong Shen, Jianmin Ji, Yanyong Zhang

2025机器人学习操作数据移动操作腿足机器人控制

STDArm 代表的是一种执行层迁移路线:不重做动态策略学习,而是用高频控制、运动预测和时延校准,把静态训练的 visuomotor policy 变成能在移动平台上实时工作的系统。

PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation figure
RSS 2025Paper 148

PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation

Yifan Yin, Zhengtao Han, Shivam Aarya, Shuhang Xu, Jianxin Wang, Jiawei Peng, Angtian Wang, Alan Yuille, Tianmin Shu

2025操作感知数据模仿学习基础模型机器人学习

PartInstruct 的本质贡献,是把机器人细粒度操作从“语言到动作”的粗粒度跟随,推进到“语言到部件到 3D 子目标再到动作”的结构化学习,并用数据和评测把这条链条钉住了。

You Only Teach Once: Learn One-Shot Bimanual Robotic Manipulation from Video Demonstrations figure
RSS 2025Paper 149

You Only Teach Once: Learn One-Shot Bimanual Robotic Manipulation from Video Demonstrations

Huayi Zhou, Ruixiang Wang, Yunxin Tai, Yueci Deng, Guiliang Liu, Kui Jia

2025机器人学习灵巧手操作模仿学习人机交互扩散策略

这篇论文把双臂操作从“靠大量机器人示教学连续控制”改写成“从一次人类视频中提取协作骨架,再通过结构化扩增训练任务专用策略”,其核心贡献更像数据与表示的重参数化,而不是单纯的新策略网络。

Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models figure
RSS 2025Paper 150

Manual2Skill: Learning to Read Manuals and Acquire Robotic Skills for Furniture Assembly Using Vision-Language Models

Chenrui Tie, Shengxiang Sun, Jinxuan Zhu, Yiwei Liu, Jingxiang Guo, Yue Hu, Haonan Chen, Junting Chen, Ruihai Wu, Lin Shao

2025操作视觉语言模型感知机器人学习导航同步定位与建图/定位

这是把手册理解改写成“结构图生成 + 几何落地 + 规划执行”的家具装配系统,核心价值在于强 inductive bias,而不是端到端智能。

RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation figure
RSS 2025Paper 152

RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation

Kun Wu, Chengkai Hou, Jiaming Liu, Zhengping Che, Xiaozhu Ju, Zhuqin Yang, Meng Li, Yinuo Zhao, Zhiyuan Xu, Guang Yang, Shichao Fan, Xinhua Wang, Fei Liao, Zhen Zhao, Guangyu Li, Zhao Jin, Lecheng Wang, Jilei Mao, Ning Liu, Pei Ren, Qiang Zhang, Yaoxu Lyu, Mengzhen Liu, He Jingyang, Yulin Luo, Zeyu Gao, Chenxuan Li, Chenyang Gu, Yankai Fu, Di Wu, Xingyu Wang, Sixiang Chen, Zhenyu Wang, Pengju An, Siyuan Qian, Shanghang Zhang, Jian Tang

2025机器人学习数据操作模仿学习视觉语言模型灵巧手

RoboMIND 不是在提出新的操控算法,而是在用统一采集规范和多 embodiment 高覆盖数据,把 robot manipulation 从“零散数据驱动的局部模仿”推进到“可规模化训练通用策略”的基础设施阶段。

PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation figure
RSS 2025Paper 153

PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation

Wenxuan Li, Hang Zhao, Zhiyuan Yu, Yu Du, Qin Zou, Ruizhen Hu, Kai Xu

2025机器人学习操作生成模型仿真到现实感知控制

PIN-WM 把非抓取操作从“学动作”改写成“从视觉辨识物理并在物理邻域内做鲁棒策略学习”的问题,它的核心贡献是用可微物理把少样本世界模型做成了可迁移的 Sim2Real 中间层。

ArticuBot: Learning Universal Articulated Object Manipulation Policy via Large Scale Simulation figure
RSS 2025Paper 156

ArticuBot: Learning Universal Articulated Object Manipulation Policy via Large Scale Simulation

Yufei Wang, Ziyu Wang, Mino Nakura, Pratik Bhowal, Chia-Liang Kuo, Yi-Ting Chen, Zackory Erickson, David Held

2025模仿学习操作感知机器人学习导航灵巧手

ArticuBot 不是在发明新的 articulated manipulation 理论,而是在用大规模仿真蒸馏和几何锚定的层级表示,把“开门”这类局部接触任务推到更强的跨对象、跨本体 zero-shot 泛化边界。

Dynamic Rank Adjustment in Diffusion Policies for Efficient and Flexible Training figure
RSS 2025Paper 159

Dynamic Rank Adjustment in Diffusion Policies for Efficient and Flexible Training

Xiatao Sun, Shuo Yang, Yinxing Chen, Francis Fan, Yiyan (Edgar) Liang, Daniel Rakita

2025机器人学习扩散策略模仿学习生成模型

这篇论文把 diffusion policy 的训练从固定 full-rank 优化,改造成一种可随阶段退火的动态低秩训练框架,核心贡献是让从头训练的机器人交互式模仿学习在算力上变得可落地。

Gripper Pose and Object Pointflow as Interfaces for Robotic Bimanual Manipulation figure
RSS 2025Paper 160

Gripper Pose and Object Pointflow as Interfaces for Robotic Bimanual Manipulation

Yuyin Yang, Zetao Cai, Yang Tian, Jia Zeng, Jiangmiao Pang

2025机器人学习灵巧手操作感知同步定位与建图/定位安全

PPI 把双臂操作从“直接学连续动作”改成“先学 keypose / pointflow 这类几何接口,再在其约束下生成动作”,本质上是在用更强的空间归纳偏置修复连续策略的感知短板。

SKIL: Semantic Keypoint Imitation Learning for Generalizable Data-efficient Manipulation figure
RSS 2025Paper 161

SKIL: Semantic Keypoint Imitation Learning for Generalizable Data-efficient Manipulation

Shengjie Wang, Jiacheng You, Yihang Hu, Jiongye Li, Yang Gao

2025模仿学习数据操作感知机器人学习基础模型

SKIL 的位置是:用视觉基础模型把模仿学习从像素级端到端控制,改造成语义关键点驱动的稀疏条件生成,从而在少样本真实操作里换来更强的泛化与数据效率,但其上限仍受制于关键点表征能否完整覆盖任务状态。

Learning Interpretable Features from Interventions figure
RSS 2025Paper 163

Learning Interpretable Features from Interventions

Erin Hedlund-Botti, Julianna Schalkwyk, Nina Marie Moorman, Chuxuan Yang, Lakshmi Seelam, Sanne Van Waveren, Russell Perkins, Paul Robinette, Matthew Craig Gombolay

2025机器人学习可解释性操作模仿学习

这篇工作把个性化 LfD 从“学会模仿用户示范”推进到“从用户干预中提取可解释失败语义并据此分流纠错”,本质上是一次面向偏好对齐的局部化、语义化 intervention learning。

RSS 2024

134 篇
Stein Variational Ergodic Search figure
RSS 2024Paper 001

Stein Variational Ergodic Search

Darrick Lee, Cameron Lerch, Fabio Ramos, Ian Abraham

Mathematical Institute;University of Oxford;Yale University;NVIDIA, USA;The University of Sydney, Australia

2024机器人学习控制模仿学习

论文针对连续空间探索中可行覆盖轨迹近乎无限、传统遍历搜索又常只给出单一路径的问题,把遍历覆盖重写为轨迹后验推断,并用带粒子排斥的 Stein 变分方法并行逼近该分布,利用遍历度量的多峰结构一次求得多条可执行且彼此差异化的覆盖策略。仿真与实机无人机实验表明,该方法能在拥挤和动态环境中在线生成、切换多种探索方案,提升探索多样性与适应性。

Parallel and Proximal Linear-Quadratic Methods for Real-Time Constrained Model-Predictive Control figure
RSS 2024Paper 002

Parallel and Proximal Linear-Quadratic Methods for Real-Time Constrained Model-Predictive Control

Wilson Jallet, Ewen Dantec, Etienne Arlaud, Nicolas Mansard, Justin Carpentier

∗LAAS-CNRS, University of Toulouse;Toulouse, France;Inria - D´epartement d’Informatique de l’´Ecole Normale Sup´erieure, PSL Research University;ANITI, University of Toulouse

2024机器人学习控制安全规划灵巧手腿足机器人

面向全身控制中变量多、求解窗口只有几毫秒的约束MPC,本文聚焦SQP/牛顿步中最耗时的等式约束LQR子问题。作者把带对偶近端正则、隐式动力学的Riccati递推重写为块消元形式,先提升串行求解效率,再扩展为参数化LQ以按时间段并行求解多个子问题。方法集成到ALIGATOR后,相比先前串行公式更快,并在多项基准和真实四足机器人MPC上验证了实时可用性。

Differentiable Robust Model Predictive Control figure
RSS 2024Paper 003

Differentiable Robust Model Predictive Control

Alex Oshin, Hassan Almubarak, Evangelos Theodorou

Georgia Institute of Technology

2024机器人学习控制规划安全导航自动驾驶

针对确定性MPC在真实环境中易受模型误差和外界扰动影响、而鲁棒MPC参数又难以手工调优的问题,本文用隐函数定理统一推导可微最优控制,并将其嵌入带安全屏障状态的tube-based MPC,使名义规划层和辅助跟踪层都能在线按梯度自动调整参数。该方法计算复杂度接近一次有限时域LQR,在5个非线性机器人系统(含MuJoCo与Robotarium)上相比非线性tube-MPC表现出更高的安全性、鲁棒性与任务成功率,并能适应分布外扰动。

Computation-Aware Learning for Stable Control with Gaussian Process figure
RSS 2024Paper 004

Computation-Aware Learning for Stable Control with Gaussian Process

Wenhan Cao, Alexandre Capone, Rishabh Yadav, Sandra Hirche, Wei Pan

University of Manchester;Tsinghua University;Carnegie Mellon University;Technical University of Munich

2024控制安全数据机器人学习

这篇工作关注小型无人机等算力受限机器人在用GP在线学习动力学时,近似求解协方差逆带来的计算误差会破坏稳定性,而以往通常只考虑数据不足造成的不确定性。文中把GP后验不确定性拆成“数学不确定性+计算不确定性”,并将后者纳入Lyapunov导数、吸引域估计和CLF-SOCP控制器设计。仿真与四旋翼跟踪实验表明,该方法能避免高估安全吸引域,在固定计算预算下以更保守的约束换来更低跟踪误差和更好的稳定性。

Decentralized Multi-Robot Line-of-Sight Connectivity Maintenance under Uncertainty figure
RSS 2024Paper 005

Decentralized Multi-Robot Line-of-Sight Connectivity Maintenance under Uncertainty

Yupeng Yang, Yiwei Lyu, Yanze Zhang, Sha Yi, Wenhao Luo

2024机器人学习控制安全多机器人感知触觉

这篇论文关注多机器人在遮挡环境中维持视距通信时,现实定位噪声会让传统基于精确位姿或刚性编队的方法过于脆弱或保守。作者提出概率视距连通屏障证书 PrLOS-CBC,并结合双层优化与去中心化 Dec-LOS-LCT,在高斯不确定性下选择需保留的 LOS 边、最小改动原始任务控制,同时满足安全约束。理论上给出可行性与最优性分析,仿真和真实机器人实验表明该方法能以高概率保持全局及子群连通,且对原任务干扰更小。

Hamilton-Jacobi Reachability Analysis for Hybrid Systems with Controlled and Forced Transitions figure
RSS 2024Paper 006

Hamilton-Jacobi Reachability Analysis for Hybrid Systems with Controlled and Forced Transitions

Javier Borquez, Shuang Peng, Yiyu Chen, Quan Nguyen, Somil Bansal

2024机器人学习控制安全触觉腿足机器人规划

针对接触丰富机器人常见的混合动力系统,难点在于连续状态演化与离散模式切换需要同时做安全分析,而现有HJ可达性多只适用于纯连续系统。本文将HJ可达性推广到含受控与强制切换的非线性混合系统,用统一价值函数刻画离散/连续联合状态下的后向可达管,并给出可数值求解的广义HJB框架,从而同时输出安全集与最优连续、离散控制。仿真及四足机器人多步态实验表明,该方法能在扰动和控制约束下完成安全模式规划与避障到达。

JIGGLE: An Active Sensing Framework for Boundary Parameters Estimation in Deformable Surgical Environments figure
RSS 2024Paper 007

JIGGLE: An Active Sensing Framework for Boundary Parameters Estimation in Deformable Surgical Environments

Nikhil Uday Shinde, Xiao Liang, Fei Liu, Yutong Zhang, Florian Richter, Sylvia Lee Herbert, Michael C. Yip

University of California San Diego

2024机器人学习安全控制操作灵巧手感知

这篇工作面向手术机器人在遮挡强、视觉有限时难以安全判断组织附着点的问题,提出 JIGGLE:把可微软体仿真与 EKF 结合,在线概率估计薄层组织的边界/缝合位置,并用优化控制主动选择既增大信息增益又约束撕裂风险的探测动作。模拟中其边界估计在多种形状上整体优于 Adam,PCD 多数接近或达到 100%;在离体鸡皮双目内镜实验中也能稳定推断缝合点,并处理切割、缝合带来的拓扑变化。

Conformalized Teleoperation: Confidently Mapping Human Inputs to High-Dimensional Robot Actions figure
RSS 2024Paper 008

Conformalized Teleoperation: Confidently Mapping Human Inputs to High-Dimensional Robot Actions

Michelle D Zhao, Reid Simmons, Henny Admoni, Andrea Bajcsy

Carnegie Mellon University, Robotics Institute

2024机器人学习同步定位与建图/定位人机交互控制数据导航

论文关注辅助遥操作中“低维人类输入到高维机械臂动作”映射的可信度:现有学习式映射在多峰偏好、低精度示教或分布外操作者下常会过度自信。作者让控制器预测动作分位数,并用自适应保形预测在线校准不确定区间,再将高维区间汇总为分数以检测高风险输入/状态。2D导航和7DoF抓杯、到达实验表明,该方法比未校准映射更能发现高误差样本,能揭示由用户偏好多样性和训练轨迹噪声带来的失配,但仍无法区分不确定性的具体来源。

Optimal Non-Redundant Manipulator Surface Coverage with Rank-Deficient Manipulability Constraints figure
RSS 2024Paper 009

Optimal Non-Redundant Manipulator Surface Coverage with Rank-Deficient Manipulability Constraints

Tong Yang, Li Huang, Jaime Valls Miro, Yue Wang, Rong Xiong

∗Robotics Laboratory, Zhejiang University, P.R. China;Robotics Institute, University of Technology Sydney, NSW, Australia.;¶Institute of Advanced Digital Technologies and Instrumentation, Zhejiang University, P.R. China.

2024机器人学习操作安全规划导航同步定位与建图/定位

面向抛光、喷涂等表面作业,传统非冗余机械臂覆盖规划常因逆运动学多解且刻意避开奇异位形,导致频繁抬刀重构、轨迹不连续。本文提出SNCPP,核心是利用对任务仍有足够可操作性的“有效奇异位形”连接原本断开的构型区域,并通过枚举奇异处连通关系,把含奇异性的拓扑图转化为现有NCPP可求解形式,无需显式计算奇异点。仿真与真实实验在三类场景中均表明,该方法能进一步减少姿态重构并实现无中断连续覆盖。

AdaptiGraph: Material-Adaptive Graph-Based Neural Dynamics for Robotic Manipulation figure
RSS 2024Paper 010

AdaptiGraph: Material-Adaptive Graph-Based Neural Dynamics for Robotic Manipulation

Kaifeng Zhang, Baoyu Li, Kris Hauser, Yunzhu Li

University of Illinois Urbana-Champaign

2024控制操作人机交互机器人学习数据感知

针对机器人操纵中同类物体会因刚度、粒径、受压中心等物性差异而表现出不同动力学、现有图模型又常需按材料重训的问题,AdaptiGraph将材料表示为粒子图,把材料类别与连续物性变量共同条件化到统一GNN中,并通过测试时少样本交互优化物性,实现对新物体的在线适配。实验覆盖绳索、颗粒、布料和刚体盒,结果表明其能得到较可解释的物性估计,并在真实预测与操纵任务上优于无物性条件或无自适应基线,尤其对极端和分布外物性更稳健。

Human-oriented Representation Learning for Robotic Manipulation figure
RSS 2024Paper 011

Human-oriented Representation Learning for Robotic Manipulation

Mingxiao Huo, Mingyu Ding, Chenfeng Xu, Thomas Tian, Xinghao Zhu, Yao Mu, Lingfeng Sun, Masayoshi Tomizuka, Wei Zhan

UC Berkeley;University of Hong Kong

2024机器人学习操作感知灵巧手人机交互数据

这篇工作关注现有机器人视觉表征多依赖自监督目标,往往缺少对手-物交互、状态变化等人类操作偏置的建模,导致下游操作泛化不足。作者提出在人类第一视角数据上对预训练视觉编码器做“面向人”的多任务微调,并用Task Fusion Decoder在对象状态变化分类、关键时刻定位和接触区域检测等任务间进行跨任务融合,使表征更聚焦操纵相关结构。实验表明,该方法能稳定提升R3M、MVP、EgoVLP在仿真与真实操作中的策略学习表现,并在Ego4D感知任务上也取得增益。

Dynamic On-Palm Manipulation via Controlled Sliding figure
RSS 2024Paper 012

Dynamic On-Palm Manipulation via Controlled Sliding

William Yang, Michael Posa

University of Pennsylvania

2024机器人学习操作控制规划灵巧手安全

论文面向物流场景中对速度更敏感的非抓取操作,研究传统方法常刻意回避的手掌面滑移问题。核心洞察是把滑移视为可调控接触模式而非误差源:作者用 contact-implicit MPC 在线规划粘滞、滑动和接触建立/断开,并通过低层跟踪中的力跟踪设计弥合简化模型与真实机械臂的偏差。实机在 Franka 上约5秒内完成托盘取回、抬升和放回,且无需参考轨迹或运动基元,并额外展示了借墙旋转托盘的泛化能力。

Efficient Data Collection for Robotic Manipulation via Compositional Generalization figure
RSS 2024Paper 013

Efficient Data Collection for Robotic Manipulation via Compositional Generalization

Jensen Gao, Annie Xie, Ted Xiao, Chelsea Finn, Dorsa Sadigh

Stanford University, 2Google DeepMind

2024机器人学习数据操作模仿学习基础模型感知

该文关注机器人操作示教数据昂贵、却难以覆盖所有环境组合的问题,核心洞察是视觉模仿学习策略具备一定“组合泛化”能力:训练中分别见过物体、桌高、纹理等因素后,可能泛化到未见组合,因此提出按因素系统变化而非穷举组合的域内采集策略(如 Stair/L)。实验表明,真实机器人在组合测试中达到59/90,迁移到全新环境成功率77.5%,明显优于无显式变化采集的2.5%;但这种提升很大程度依赖先验机器人数据,去掉 BridgeData V2 后仅27.5%。

Demonstrating Learning from Humans on Open-Source Dexterous Robot Hands figure
RSS 2024Paper 014

Demonstrating Learning from Humans on Open-Source Dexterous Robot Hands

Kenneth Shaw, Ananye Agarwal, Shikhar Bahl, Mohan Kumar Srirama, Alexandre Kirchmeyer, Aditya Kannan, Aravind Sivakumar, Deepak Pathak

Carnegie Mellon University

2024机器人学习灵巧手操作人机交互仿真到现实数据

论文针对灵巧手“昂贵、难制造、难用于学习”的瓶颈,集中展示三种约2000美元、可3D打印装配的开源机械手,并把硬件与学习管线打通:包括保持更大指间运动范围的LEAP Hand、软体腱驱的DASH Hand,以及更接近人手尺寸且更强的LEAP Hand v2,配套支持MoCap遥操作、人类视频/动作到机器人重定向,以及sim2real与真实世界强化学习持续改进。该文主要结果是系统级演示与开源落地,统一定量增益文中未充分说明。

Reconciling Reality through Simulation: A Real-To-Sim-to-Real Approach for Robust Manipulation figure
RSS 2024Paper 015

Reconciling Reality through Simulation: A Real-To-Sim-to-Real Approach for Robust Manipulation

Marcel Torne Villasevil, Anthony Simeonov, Zechu Li, April Chan, Tao Chen, Abhishek Gupta, Pulkit Agrawal

Massachusets Institute of Technology;University of Washington

2024机器人学习数据模仿学习强化学习感知仿真到现实

论文关注模仿学习在真实操作中对位姿变化、物理扰动和视觉干扰缺乏鲁棒性,而纯真实世界强化学习又代价高且不安全的问题。RialTo 的核心洞察是:先用少量真实视频/演示快速构建目标场景的数字孪生,再通过“逆蒸馏”把真实演示迁入仿真,利用特权状态与稀疏奖励做强化学习增稳,最后蒸馏回可部署策略。在放盘子、摆书等多项真实任务上,方法将策略鲁棒性提升超过67%,并降低了场景建模、奖励设计和额外人工示教需求。

SAGE: Bridging Semantic and Actionable Parts for GEneralizable Articulated-Object Manipulation under Language Instructions figure
RSS 2024Paper 016

SAGE: Bridging Semantic and Actionable Parts for GEneralizable Articulated-Object Manipulation under Language Instructions

Haoran Geng, Songlin Wei, Congyue Deng, Bokui Shen, He Wang, Leonidas Guibas

Department of Computer Science, Stanford University1;CFCS, School of Computer Science, Peking University2

2024机器人学习操作视觉语言模型感知灵巧手人机交互

面向日常铰接物体,难点在于语言里提到的语义部件与真正决定操作方式的可动作部件常不一致,导致跨品类泛化差。SAGE先把指令解析为由部件、关节和状态变化组成的动作程序,再将语义部件映射到带运动先验的GAParts,并融合大视觉语言模型与小型领域模型完成理解和感知,辅以失败后的交互反馈闭环。仿真与真实机器人实验表明,它在多类物体和多样语言目标上优于基线,泛化性与鲁棒性更强。

Demonstrating Event-Triggered Investigation and Sample Collection for Human Scientists using Field Robots and Large Foundation Models figure
RSS 2024Paper 017

Demonstrating Event-Triggered Investigation and Sample Collection for Human Scientists using Field Robots and Large Foundation Models

Tirthankar Bandyopadhyay, Fletcher Talbot, Callum Bennie, Hashini Senaratne, Xun Li, Brendan Tidd, Mingze Xi, Jan Stiefel, Volkan Dedeoglu, Rod Taylor, Tea Molnar, Ziwei Wang, Josh Pinskier, Feng Xu, Lois Liow, Ben Burgess-Limerick, Jesse Haviland, Pavan Sikka, Simon Murrell, Jane Hodgkinson, Jiajun Liu, Fred Pauling, Stanislav Funiak

2024机器人学习数据模仿学习感知基础模型操作

论文面向偏远、高风险环境中的科学考察,目标是把科学家从繁重遥操作和现场采样中解放出来,只保留高层决策。其核心在于把事件触发传感网络、探索/采样双机器人、语义地图、软夹爪移动操作与大基础模型结合,让系统能以自然语言提供场景语义并按指令取样。主要结果是在仿月球沙坑中完成了从震动事件发现、现场勘查到样本抓取的端到端闭环演示,但系统增益来源与各模块量化贡献文中未充分说明。

CraterGrader: Autonomous Robotic Terrain Manipulation for Lunar Site Preparation and Earthmoving figure
RSS 2024Paper 018

CraterGrader: Autonomous Robotic Terrain Manipulation for Lunar Site Preparation and Earthmoving

Ryan Lee, Benjamin Younes, Alexander Pletta, John Harrington, Russell Q. Wong, William Whittaker

Carnegie Mellon University.

2024机器人学习同步定位与建图/定位操作规划安全感知

论文针对月面场地准备中低能耗、无GPS、地形会随作业持续变形且难以依赖遥操作的问题,提出 CraterGrader,将在线地形感知与动态建图、基于最优传输的土方搬运规划、无GPS高精定位以及底盘—铲刀一体控制结合起来,在未知且非恒定的月壤参数下闭环整地。系统在类月环境中完成了无先验自主平整与找坡,并达到 NASA LuSTR 任务规格,说明该方法对月面土方作业具有实际可行性。

POAM: Probabilistic Online Attentive Mapping for Efficient Robotic Information Gathering figure
RSS 2024Paper 019

POAM: Probabilistic Online Attentive Mapping for Efficient Robotic Information Gathering

Weizhe Chen, Lantao Liu, Roni Khardon

Luddy School of Informatics, Computing, and Engineering;Indiana University, Bloomington, IN 47408, USA

2024机器人学习数据同步定位与建图/定位基础模型规划安全

论文关注机器人信息采集中,非平稳GP虽能表达空间变化和不确定性,但在大尺度在线决策中计算代价过高。作者的关键洞察是,现有在线稀疏GP与Attentive Kernel结合时,诱导点优化会干扰输入相关长度尺度学习;为此提出POAM,用变分EM按长度尺度直接构造诱导点,并对变分参数和超参数给出常数时间在线更新。主动水深测绘实验表明,它相较SSGP、OVC等方法同时提升了运行效率、预测精度和不确定性量化质量。

Blending Data-Driven Priors in Dynamic Games figure
RSS 2024Paper 020

Blending Data-Driven Priors in Dynamic Games

Justin Lidard, Haimin Hu, Asher Hancock, Zixu Zhang, Albert Gimo Contreras, Vikash Modi, Jonathan DeCastro, Deepak Gopinath, Guy Rosman, Naomi Leonard, Maria Santos, Jaime Fernández Fisac

2024机器人学习数据规划自动驾驶安全人机交互

论文关注自动驾驶中“按博弈最优规划”与“按数据学到的人类先验行动”之间的张力:前者常把人假设得过于理性,后者又可能忽视闭环交互与安全。作者提出 KLGame,把数据驱动参考策略以 KL 正则形式嵌入非合作动态博弈,并设计可实时求解多模态近似反馈纳什均衡的算法,用可调参数在任务最优与行为模仿之间连续切换。仿真、Waymo 数据集及真实驾驶实验表明,该方法比未正则化基线更能利用人类行为先验,在交互一致性与安全规划上更优。

Demonstrating HOUND: A Low-cost Research Platform for High-speed Off-road Underactuated Nonholonomic Driving figure
RSS 2024Paper 021

Demonstrating HOUND: A Low-cost Research Platform for High-speed Off-road Underactuated Nonholonomic Driving

Sidharth Talia, Matthew Schmittle, Alexander Lambert, Alexander Spitzer, Christoforos Mavrogiannis, Siddhartha Srinivasa

2024机器人学习自动驾驶安全控制灵巧手数据

这篇论文的动机是越野高速自动驾驶研究门槛高、真机试验风险大,导致类似 F1TENTH 的低成本可复用平台在越野场景仍然缺位。作者提出约 3000 美元的 1/10 比例 HOUND,把 BeamNG 的软/硬件在环测试与仅依赖 IMU 和轮速的低层防侧翻控制并入开源栈,核心思路是用主动安全替代昂贵加固。实测在泥地、草地、碎石和柏油上累计运行 50 公里,最高约 7 m/s、侧向加速度达 9 m/s²,并表明防侧翻机制与高层控制可兼容。

Model Predictive Control for Aggressive Driving Over Uneven Terrain figure
RSS 2024Paper 022

Model Predictive Control for Aggressive Driving Over Uneven Terrain

Tyler Han, Alex Liu, Anqi Li, Alexander Spitzer, Guanya Shi, Byron Boots

University of Washington

2024机器人学习控制安全自动驾驶规划导航

论文聚焦全尺寸越野车在7–10 m/s高速穿越山坡、侧坡和沟渠时,纯几何可通行性判据忽略惯性与地形耦合,容易引发侧翻或冲沟失效。作者提出面向采样式MPC/MPPI的物理约束框架,将风险归纳为可并行计算的侧翻约束与沟渠穿越约束,并结合低层速度控制实现无先验地图下的实时规划。实车在坡地、沟渠和2至3公里复杂越野赛道上验证,相比几何基线在保持安全运行的同时最高提速22%。

Demonstrating CropFollow++: Robust Under-Canopy Navigation with Keypoints figure
RSS 2024Paper 023

Demonstrating CropFollow++: Robust Under-Canopy Navigation with Keypoints

Arun Narenthiran Sivakumar, Mateus Valverde Gasparino, Michael McGuire, Vitor Akihiro Hisano Higuti, M. Ugur Akcal, Girish Chowdhary

Field Robotics Engineering and Sciences Hub (FRESH), University of Illinois Urbana-Champaign (UIUC)

2024导航感知数据可解释性机器人学习自动驾驶

论文针对作物冠层下行间仅约0.75米、GPS多路径失效且LiDAR受杂波干扰,导致农机难以稳定自主导航的问题,提出CropFollow++:用三个语义关键点表征可通行三角区域,并把热力图方差作为置信度来检测遮挡,再结合IMU与MPC求取控制。相比直接预测状态,这种表示更可解释、更模块化;在约1.9公里晚季复杂田间测试中,碰撞从33次降到13次,并在多台覆盖作物播种机器人上累计部署25公里。

SEEK: Semantic Reasoning for Object Goal Navigation in Real World Inspection Tasks figure
RSS 2024Paper 024

SEEK: Semantic Reasoning for Object Goal Navigation in Real World Inspection Tasks

Muhammad Fadhil Ginting, Sung-Kyun Kim, David Fan, Matteo Palieri, Mykel Kochenderfer, Ali-akbar Agha-mohammadi

Stanford University, 2Field AI

2024机器人学习导航视觉语言模型规划感知腿足机器人

面向真实巡检中“目标物体在大空间里难找、仅靠机载感知缺乏常识且检测存在不确定性”的问题,SEEK把楼层/房间先验构成动态场景图,再用由 LLM 蒸馏训练的轻量关系语义网络估计目标在各房间的存在概率,并结合在线观测做概率式全局规划和局部搜索。实验显示,它在 Matterport 与 Gazebo 中比经典规划和文中比较的 LLM 规划更高效、路径更短,并在 Spot 腿足机器人办公室巡检中完成了真实目标搜索。

Yell At Your Robot: Improving On-the-Fly from Language Corrections figure
RSS 2024Paper 025

Yell At Your Robot: Improving On-the-Fly from Language Corrections

Lucy Xiaoyang Shi, Zheyuan Hu, Tony Z. Zhao, Archit Sharma, Karl Pertsch, Jianlan Luo, Sergey Levine, Chelsea Finn

Stanford University;UC Berkeley

2024机器人学习视觉语言模型控制感知灵巧手模仿学习

针对长时序灵巧操作中任一步失败都会拖垮整体成功率、而整段示教又昂贵的问题,YAY Robot把人类口头纠正直接作为层级策略的监督信号:底层用语言条件技能即时执行细粒度指令,高层在任务中被用户语音覆盖,并在事后用这些纠正数据迭代微调,类似把 DAgger 扩展到“语言动作”。在真实双臂装袋、配零食和清理任务上,实时纠正将成功率从15%提到50%,持续训练后的自主成功率从15%升至45%,且无需额外遥操作。

Task Adaptation in Industrial Human-Robot Interaction: Leveraging Riemannian Motion Policies figure
RSS 2024Paper 026

Task Adaptation in Industrial Human-Robot Interaction: Leveraging Riemannian Motion Policies

Mike Allenspach, Michael Pantic, Rik Girod, Lionel Ott, Roland Siegwart

2024机器人学习人机交互控制规划安全强化学习

这篇论文面向工业人机协作中“任务顺序未知、人工遥操作又低效”的问题,提出基于RMP的纯反应式运动控制框架,把人类纠偏输入转化为各局部运动策略的在线重加权,从而在不手动控轨迹的前提下动态改任务并同时保留安全约束。定量实验在工业风格场景中验证了其能有效按操作员意图切换任务,并与代表性基线完成对比;但具体增益来源文中未充分拆解。

Risk-Calibrated Human-Robot Interaction via Set-Valued Intent Prediction figure
RSS 2024Paper 027

Risk-Calibrated Human-Robot Interaction via Set-Valued Intent Prediction

Justin Lidard, Hang Pham, Ariel Bachman, Bryan Boateng, Anirudha Majumdar

Princeton University, Princeton, New Jersey 08540

2024机器人学习安全人机交互控制规划操作

针对人机协作中人类意图多义、深度预测又常过度自信,机器人容易在冒险执行和频繁打扰人之间失衡的问题,本文提出 RCIP:用集合值意图预测表达不确定性,并把序列级风险控制转成多重假设检验,只调少量参数即可校准预训练风险感知策略,在有限样本下保证累计损失/失覆盖风险,仅在无法控险时请求澄清。仿真和真实分拣任务表明,RCIP 在维持设定风险水平的同时,将求助率相对基线降低约 5%–11%,双臂分拣中也降低约 8%。

Constraint-Aware Intent Estimation for Dynamic Human-Robot Object Co-Manipulation figure
RSS 2024Paper 028

Constraint-Aware Intent Estimation for Dynamic Human-Robot Object Co-Manipulation

Yifei Simon Shao, Tianyu Li, Shafagh Keyvanian, Pratik Chaudhari, Vijay Kumar, Nadia Figueroa

GRASP Laboratory, University of Pennsylvania, Philadelphia, PA, 19104 USA

2024机器人学习安全人机交互操作控制多机器人

面向人机共同搬运重物时“既要懂人意图、又不能过度助力”的难题,论文把人的意图表示为低维动态系统,用粒子滤波仅依据历史运动和跟踪误差,并结合人类可操作性与机器人运动学约束,在线估计完整6DoF目标与运动;再以估计置信度调节变阻抗,在主动辅助与顺从之间平滑切换,且不依赖末端力/力矩传感器。在真实动态共搬运任务中,该方法较基线取得更好的意图预测与协作表现,并更好兼顾安全性和可行性。

Demonstrating HumanTHOR: A Simulation Platform and Benchmark for Human-Robot Collaboration in a Shared Workspace figure
RSS 2024Paper 029

Demonstrating HumanTHOR: A Simulation Platform and Benchmark for Human-Robot Collaboration in a Shared Workspace

Chenxu Wang, Boyuan Du, Jiaxin Xu, Huaping Liu

2024机器人学习多机器人人机交互操作控制灵巧手

论文针对共享工作空间的人机协作研究常受限于实体平台成本高、2D游戏过简的问题,提出基于AI2THOR的HumanTHOR,用VR让人以第一视角实时进入具身仿真,并提供同步协作与图文通信,围绕目标导航和移动操作建立日常任务基准。用户实验中,规则机器人和 oracle 机器人都能有效帮助人类,且不同基线拉开明显差距,说明该平台能评测协作能力,但当前算法离高水平协作仍有明显空间。

Developing Design Guidelines for Older Adults with Robot Learning from Demonstration figure
RSS 2024Paper 030

Developing Design Guidelines for Older Adults with Robot Learning from Demonstration

Erin Hedlund-Botti, Lakshmi Seelam, Chuxuan Yang, Nathaniel Belles, Zulfiqar Haider Zaidi, Matthew Gombolay

Georgia Institute of Technology

2024模仿学习机器人学习操作感知人机交互

论文针对居家助老机器人必须持续适应个体偏好、而老年用户又难以用传统编程表达需求的问题,首次系统评估老年人使用实时、带随机性的示教学习(LfD)教机器人操作的体验。作者以通用设计为框架,先通过焦点小组和试点研究迭代出被动观察式全栈界面,再在32人实验中比较老年人与年轻人。结果表明老年人对机器人表现显著更挑剔,也更倾向认为示教流程不易用,由此提炼出改进反馈、可理解性与容错性的设计准则。

FLAIR: Feeding via Long-Horizon AcquIsition of Realistic dishes figure
RSS 2024Paper 031

FLAIR: Feeding via Long-Horizon AcquIsition of Realistic dishes

Rajat Kumar Jenamani, Priya Sundaresan, Maram Sakr, Tapomayukh Bhattacharjee, Dorsa Sadigh

Cornell University, 2Stanford University, 3University of British Columbia

2024机器人学习操作灵巧手感知视觉语言模型基础模型

这篇论文关注辅助进食从“单一、规整食物”走向真实混合餐盘时的长时序决策难题:机器人不仅要会挑起不同食物,还要兼顾效率、常识搭配和用户偏好。FLAIR 的核心是把 VLM 感知、基于技能库的分层效率评估,以及 LLM 的偏好/常识规划结合起来,决定下一口该喂什么并调用相应操作技能。实验表明,它在 6 类真实餐盘上能更高效完成清盘,用户研究覆盖 42 人,并已在 3 台机器人上联动口部递送系统成功服务一位行动受限用户。

The Benefits of Sound Resound: An In-Person Replication of the Ability of Character-Like Robot Sound to Improve Perceived Social Warmth figure
RSS 2024Paper 032

The Benefits of Sound Resound: An In-Person Replication of the Ability of Character-Like Robot Sound to Improve Perceived Social Warmth

Nnamdi Nwagwu, Adeline Schneider, Ibrahim Syed, Brian J. Zhang, Naomi T. Fitter

∗Collaborative Robotics and Intelligent Systems (CoRIS) Institute;Oregon State University, Corvallis, Oregon, USA;Music Department, Oregon State University, Corvallis, Oregon, USA

2024机器人学习感知人机交互多机器人

论文针对机器人声音研究多停留在线上、缺少线下具身协作验证的问题,在 Stretch RE2 上开展 30 人面对面复现实验,比较无附加声、功能声与将情感声和变形声合并的“角色化”声音,并额外考察可定位性与价值感。结果表明,角色化声音能显著提升机器人被感知的社会温暖度,部分复现既有在线结论;增强声音还提升了空间可定位性,而功能声对能力感和舒适性的收益较弱,增益来源不清。

Leveraging Large Language Model for Heterogeneous Ad Hoc Teamwork Collaboration figure
RSS 2024Paper 033

Leveraging Large Language Model for Heterogeneous Ad Hoc Teamwork Collaboration

Xinzhu Liu, Peiyan Li, Wenju Yang, Di Guo, Huaping Liu

2024机器人学习多机器人视觉语言模型数据规划操作

论文关注比同构协作更难、也更贴近实际的异构临时组队场景:新机器人会在任务进行中从任意位置加入一支事先未知的队伍,既要补位又不能打乱原有协作。作者提出无需额外训练的去中心化层次规划框架,用 LLM 结合 IRoT 反思机制动态推断临时机器人的子任务与子技能,并构建基于 ProcTHOR-10K 的整理基准。仿真对比、消融和实机实验表明,该方法能更好适应不同队友能力与策略,提升团队任务效率与协作鲁棒性。

INTERPRET: Interactive Predicate Learning from Language Feedback for Generalizable Task Planning figure
RSS 2024Paper 034

INTERPRET: Interactive Predicate Learning from Language Feedback for Generalizable Task Planning

Muzhi Han, Yifeng Zhu, Song-Chun Zhu, Ying Nian Wu, Yuke Zhu

University of California, Los Angeles, 2The University of Texas at Austin

2024机器人学习规划视觉语言模型人机交互操作控制

这篇工作针对长时程操作中“LLM 规划灵活但缺乏可靠保证、经典规划可靠却依赖人工设计谓词”的矛盾,提出 InterPreT:让机器人在交互中从非专家语言反馈学习目标谓词和动作前提谓词,由 GPT-4 生成并迭代修正可调用感知 API 的 Python 谓词,再据此学习符号算子并在线编译成 PDDL 规划域。实验表明,它仅用简单训练任务学到的抽象就能迁移到更多物体和新目标,在最难泛化设置下仿真成功率 73%、真实世界 40%,显著优于基线。

Safe Planning for Articulated Robots Using Reachability-based Obstacle Avoidance With Spheres figure
RSS 2024Paper 035

Safe Planning for Articulated Robots Using Reachability-based Obstacle Avoidance With Spheres

Jonathan Michaux, Adam Li, Qingyi Chen, Che Chen, Ram Vasudevan

2024机器人学习安全规划控制导航操作

这篇论文针对机械臂在拥挤、人机共存环境中既要实时重规划又要严格避障的问题,指出现有轨迹优化常依赖离散碰撞检查或软约束,安全性不足,而既有RTD虽可证安全但可达集过于保守。SPARROWS用球形前向占据把整段运动的扫掠体上界为一组球,并结合对多面体障碍的精确符号距离,在滚动时域优化中直接施加连续时间安全约束。实验表明其可达集更紧,在单臂和双臂的密集场景中比多种SOTA更容易找到可行且无碰撞的轨迹。

Motion Planning in Foliated Manifolds using Repetition Roadmap figure
RSS 2024Paper 036

Motion Planning in Foliated Manifolds using Repetition Roadmap

Jiaming hu, Shrutheesh Raman Iyer, Jiawei Wang, Henrik I Christensen

∗Contextual Robotics Institute, University of California, San Diego

2024机器人学习规划导航安全操作灵巧手

本文关注抓取/搬运这类约束会随阶段变化的多模态操作问题:单用顺序流形难准确描述,改用叶状流形后又会因候选流形暴增而难规划。作者提出 FoliatedRepMap,把重复规划经验组织成动态路线图,用 GMM 同时编码成功与失败采样,并结合 atlas 近似局部切空间、按需扩展搜索范围,在新任务上为跨流形搜索提供引导。文中在多种仿真与真实操作场景中报告了更高效、更稳健的规划,但各模块分别带来的增益来源文中未充分说明。

Language-Augmented Symbolic Planner for Open-World Task Planning figure
RSS 2024Paper 037

Language-Augmented Symbolic Planner for Open-World Task Planning

Guanqi Chen, Lei Yang, Ruixing Jia, Zhe Hu, Yizhou Chen, Wei Zhang, Wenping Wang, Jia Pan

∗The University of Hong Kong;Chongqing Institute of Microelectronics Industry Technology, University of Electronic Science and Technology of China;Southern University of Science and Technology;¶Texas A&M University

2024机器人学习规划视觉语言模型灵巧手安全基础模型

这篇工作针对开放环境中符号规划依赖完备PDDL知识、因遗漏前提或对象属性而在长时序任务里容易执行失败的问题,提出LASP:不让LLM直接替代规划器,而是在出错后结合执行观测诊断缺失知识,补全前提、属性和对象集合,并与环境交互后重新规划。实验表明,LASP在存在单个乃至多个知识缺口的开放世界任务上都能持续修复知识库并完成任务。

Collision-Affording Point Trees: SIMD-Amenable Nearest Neighbors for Fast Motion Planning with Pointclouds figure
RSS 2024Paper 038

Collision-Affording Point Trees: SIMD-Amenable Nearest Neighbors for Fast Motion Planning with Pointclouds

Clayton Ramsey, Zachary Kingston, Wil Thomason, Lydia E Kavraki

Rice University

2024机器人学习安全规划感知导航数据

论文针对仅有传感器点云时,采样式运动规划被碰撞检测拖慢的问题,提出面向SIMD的CAPT数据结构。其核心洞察是利用边验证查询的空间相关性进行批量早停,并通过复制局部潜在碰撞点换取无分支、并行友好的精确点云查询;另给出基于空间填充曲线的降采样方法且保持规划可行性。实验表明,单核CPU上平均查询时间低于10ns,规划可在1ms内生成有效路径,端到端速度超过60FPS。

Homotopic Path Set Planning for Robot Manipulation and Navigation figure
RSS 2024Paper 039

Homotopic Path Set Planning for Robot Manipulation and Navigation

Jing Huang

Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong

2024机器人学习规划导航多机器人操作安全

论文关注在障碍密集环境中,为多机器人群体或可变形物体关键点同时生成满足拓扑约束的路径集,动机是单一路径或时空联合规划难以兼顾效率、可行性与协同性。其核心做法是先用扩展可见性判据稀疏提取关键通道,再以通道感知代价在路径长度与可容纳自由空间之间折中规划枢轴路径,并通过可变形路径迁移集中生成同伦路径集。仿真和实物实验表明,该流程比逐条分别规划更高效,且较传统基于间隙的规划更能得到可行、协调的导航与操作路径。

Practice Makes Perfect: Planning to Learning Skill Parameter Policies figure
RSS 2024Paper 040

Practice Makes Perfect: Planning to Learning Skill Parameter Policies

Nishanth Kumar, Tom Silver, Willie McClinton, Linfeng Zhao, Stephen Proulx, Tomás Lozano-Pérez, Leslie Pack Kaelbling, Jennifer L. Barry

The AI Institute, ‡MIT CSAIL, §Northeastern University

2024机器人学习规划操作灵巧手安全控制

面向由参数化技能串联而成的长时程操作任务,论文关注机器人在部署后如何利用“空闲时间”自主决定该练哪项技能,以最快提升未来任务成功率。作者提出 EES:先估计各技能当前熟练度,再外推出“继续练习能涨多少”,并结合任务分布与到达可练状态的规划成本进行能力感知规划,从而选择最值得练的技能。仿真中该方法比7个基线更具样本效率;在两项真实移动操作任务上,Spot 机器人无需环境重置、仅数小时自主练习后成功率明显提升。

World Models for General Surgical Grasping figure
RSS 2024Paper 041

World Models for General Surgical Grasping

Hongbin Lin

The Chinese University of Hong Kong;Lipscomb University

2024机器人学习灵巧手控制感知生成模型同步定位与建图/定位

这篇论文针对手术机器人抓取过度依赖位姿估计或特征跟踪、因而难以泛化到陌生器械并易受感知与控制扰动影响的问题,提出基于世界模型与深度强化学习的 GAS,直接学习像素级视觉运动策略;其关键在于用物体尺寸先验补全并显式建模不可靠深度区域的不确定性,再把目标的 mask 与 depth 通过动态放大编码为紧凑输入,以缓解手术场景中小目标、低信噪比带来的学习困难。系统可由仿真零微调迁移到真实机器人,在复杂场景下对未见过的 5 类目标和不同夹爪平均成功率达 69%,并在 6 类扰动下保持较强鲁棒性。

SpringGrasp: Synthesizing Compliant, Dexterous Grasps under Shape Uncertainty figure
RSS 2024Paper 042

SpringGrasp: Synthesizing Compliant, Dexterous Grasps under Shape Uncertainty

Sirui Chen, Jeannette Bohg, Karen Liu

Department of Computer Science, Stanford University

2024机器人学习灵巧手规划触觉操作控制

这篇论文针对灵巧手在单/双视角深度观测下存在形状不确定、传统依赖精确几何和接触点优化易失效的问题,提出 SpringGrasp:把抓取视为从预抓取到稳定平衡的顺应性动态过程,用“虚拟弹簧”建模手指阻抗,并设计可微解析指标联合优化预抓取位姿、目标接触位置和每指增益,同时显式规避高不确定区域。真实机器人在14个日常物体上两视角成功率达89%、单视角84%,较基于 force closure 的规划器至少提升18%,消融显示不建模不确定性会明显降性能。

DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation figure
RSS 2024Paper 043

DexCap: Scalable and Portable Mocap Data Collection System for Dexterous Manipulation

Chen Wang, Haochen Shi, Weizhuo Wang, Ruohan Zhang, Li Fei-Fei, Karen Liu

Stanford University

2024机器人学习灵巧手数据感知操作模仿学习

针对灵巧操作数据采集依赖昂贵遥操作、单目视觉又易遮挡且缺少精确3D信息的问题,论文提出便携式手部动捕系统DexCap,并设计DexIL把人手mocap直接转成机器人策略:用电磁手套、腕部相机SLAM和胸前RGB-D/LiDAR采集手腕/手指运动与场景点云,再以逆运动学重定向、点云扩散式行为克隆和可选的人在环纠错跨越人手与机械手差异。实验表明其在6个灵巧任务上优于基线,纠错还能再提升约10%,并在剪刀裁切、泡茶等高难任务上取得可观成功率。

GRaCE: Balancing Multiple Criteria to Achieve Stable, Collision-Free, and Functional Grasps figure
RSS 2024Paper 044

GRaCE: Balancing Multiple Criteria to Achieve Stable, Collision-Free, and Functional Grasps

Tasbolat Taunyazov, Kelvin Lin, Harold Soh

˚Dept. of Computer Science, National University of Singapore;:Smart Systems Institute, National University of Singapore

2024机器人学习灵巧手安全生成模型数据

论文关注抓取中“稳定、可达、避碰、功能性”常相互冲突且优先级不同的问题。作者提出 GRaCE,用分层规则和保序效用把多种抓取准则统一到概率框架中,并允许用可插拔分类器估计各准则满足概率;再以 GRaCE-OPT 结合进化策略与效用下界的梯度优化,兼顾全局探索和收敛速度。仿真与真实实验表明,在拥挤场景中它比传统采样后过滤方法用更少样本和时间获得相当或更优的抓取效果。

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots figure
RSS 2024Paper 045

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots

Cheng Chi, Zhenjia Xu, Chuer Pan, Eric Cousineau, Benjamin Burchfiel, Siyuan Feng, Russ Tedrake, Shuran Song

Stanford University, 2 Columbia University, 3Toyota Research Insititute

2024数据灵巧手操作模仿学习机器人学习感知

论文针对实验室遥操作采集成本高、野外人类视频又难直接迁移到机器人这一矛盾,提出 UMI:用手持夹爪而非真实机器人在任意环境采集示范,再学习可部署策略。其核心是以鱼眼腕部相机、侧镜隐式双目和 IMU 提升视觉上下文与轨迹恢复精度,并通过推理时延匹配、相对轨迹动作表示和 Diffusion Policy 缩小采集到部署的差异。实验显示,该方法仅靠更换训练数据即可在多机器人平台上零样本完成动态、双手、精细和长时程任务,OOD 测试成功率达 70%。

Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering figure
RSS 2024Paper 046

Learning Any-View 6DoF Robotic Grasping in Cluttered Scenes via Neural Surface Rendering

Snehal Jauhri, Ishikaa Lunawat, Georgia Chalvatzaki

2024机器人学习灵巧手操作移动操作安全生成模型

面向移动操作中单视角、遮挡严重杂乱场景下难以稳定进行6DoF抓取的问题,论文将抓取重释为神经表面渲染:先用隐式场景表示做全局重建与遮挡区域候选采样,再以共享特征空间中的局部表面特征评估夹爪—物体几何匹配,从而隐式预测任意SE(3)抓取质量。实验表明该方法在不同难度仿真中优于现有隐式/半隐式方法,并能在真实移动机械臂上实现无需额外探索的杂乱场景抓取,但对细薄物体和计算开销仍有局限。

Demonstrating Adaptive Mobile Manipulation in Retail Environments figure
RSS 2024Paper 047

Demonstrating Adaptive Mobile Manipulation in Retail Environments

Max Spahn, Corrado Pezzato, Chadi Salmi, Rick Dekker, Cong Wang, Christian Pek, Jens Kober, Javier Alonso-Mora, Carlos Hernandez Corbato, Martijn Wisse

2024机器人学习操作移动操作规划感知人机交互

面向营业中超市拣货这一与顾客共享空间的场景,论文聚焦传统仓储机器人难以处理的人为扰动,如错放商品、通道受阻和顾客直接干预。其核心是把故障鲁棒的任务规划、可快速重规划的反应式运动生成,以及基于示教的新商品/新抓取动作接入,整合到一套较简化的移动操作平台中,说明系统级自适应比复杂专用硬件更关键。机器人在实验室复刻超市和荷兰零售商测试门店中都能从错抓、商品移位和人机交互中恢复,但对象主要限于吸盘可抓且前方可见、可达的商品。

Diffusion Meets DAgger: Supercharging Eye-in-hand Imitation Learning figure
RSS 2024Paper 048

Diffusion Meets DAgger: Supercharging Eye-in-hand Imitation Learning

Xiaoyu Zhang, Matthew Chang, Pranav Kumar, Saurabh Gupta

University of Illinois at Urbana-Champaign

2024机器人学习模仿学习数据扩散策略灵巧手操作

论文针对眼在手模仿学习中“执行误差不断累积、策略一旦偏离专家轨迹就失效”的问题,提出 DMD:不再像 DAgger 那样昂贵地补采失败状态,而是用扩散模型从专家轨迹合成轻微偏移的离轨图像,并依据相对位姿扰动自动赋予纠偏动作标签,从而用少量示范提升鲁棒性。实机四项任务中,推物仅 8 条示范达 80% 成功率(BC 为 20%),堆叠平均 92%(BC 40%),倒豆 80%,挂衣 90%。

RT-H: Action Hierarchies using Language figure
RSS 2024Paper 049

RT-H: Action Hierarchies using Language

Suneel Belkhale, Tianli Ding, Ted Xiao, Pierre Sermanet, Quan Vuong, Jonathan Tompson, Yevgen Chebotar, Debidatta Dwibedi, Dorsa Sadigh

Google DeepMind, 2Stanford University

2024机器人学习数据操作可解释性感知模仿学习

论文针对仅靠高层任务语言直接预测机器人动作时,跨语义差异大的多任务数据难共享、示范成本高的问题,引入“语言动作”作为中间层:先结合视觉与任务预测如“前移手臂”“闭合夹爪”的细粒度动作短语,再据此输出连续控制,并用自动规则从轨迹中抽取出大规模语言动作标签。实验表明,RT-H在多任务操作、新场景泛化和纠错学习上均优于RT-2及动作层级消融,而且从语言干预中学习比从遥操作干预中学习更有效。

RoboCasa: Large-Scale Simulation of Household Tasks for Generalist Robots figure
RSS 2024Paper 050

RoboCasa: Large-Scale Simulation of Household Tasks for Generalist Robots

Soroush Nasiriany, Abhiram Maddukuri, Lance Zhang, Adeet Parikh, Aaron Lo, Abhishek Joshi, Ajay Mandlekar, Yuke Zhu

The University of Texas at Austin, 2NVIDIA Research; ∗Denotes equal contribution

2024数据基础模型生成模型感知机器人学习模仿学习

论文针对机器人缺少大规模真实操作数据、难以训练通用机器人的瓶颈,提出RoboCasa:在RoboSuite/MuJoCo上搭建高保真厨房仿真,用生成式AI扩充场景与物体,并用LLM辅助设计复合家务任务,形成120个厨房、2500余物体、100项任务和10万级轨迹的数据平台。实验显示,模仿学习性能随合成数据规模明显提升,与真实数据联合训练也能提高真实厨房任务成功率,增益可能主要来自scaling与数据多样性。

Render and Diffuse: Aligning Image and Action Spaces for Diffusion-based Behaviour Cloning figure
RSS 2024Paper 051

Render and Diffuse: Aligning Image and Action Spaces for Diffusion-based Behaviour Cloning

Vitalis Vosylius, Younggyo Seo, Jafar Uruç, Stephen James

Imperial College London

2024扩散策略感知同步定位与建图/定位机器人学习数据操作

论文关注RGB观测到低层控制在小样本下难学的问题,关键原因是图像与连续动作属于异质空间。作者提出 Render and Diffuse:先用机器人3D模型把候选动作渲染成“执行后机器人在图像中的姿态”,再用扩散模型在图像空间或图像-动作联合空间中迭代去噪并还原为控制量,把动作预测转成更具空间结构的匹配问题。仿真与6个真实日常操作结果表明,它比直接图像到动作的扩散行为克隆更省样本,并且对物体位置变化有更强泛化。

Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers figure
RSS 2024Paper 052

Vid2Robot: End-to-end Video-conditioned Policy Learning with Cross-Attention Transformers

Vidhi Jain, Maria Attarian, Nikhil J Joshi, Ayzaan Wahid, Danny Driess, Quan Vuong, Pannag R Sanketi, Pierre Sermanet, Stefan Welker, Christine Chan, Igor Gilitschenski, Yonatan Bisk, Debidatta Dwibedi

Google DeepMind Robotics;Carnegie Mellon University;University of Toronto

2024操作模仿学习数据机器人学习感知基础模型

这篇工作针对文本指令难表达细粒度操作、目标图像又缺少“怎么做”的问题,探索让机器人直接看人类示范视频学操作。作者提出端到端的 Vid2Robot,用跨注意力 Transformer 融合提示视频与当前机器人观测,并用配对的人-机/机-机视频轨迹及对比损失对齐两种表征,从而跨场景、跨 embodiment 推断任务并生成动作。真实机器人实验中,面对人类提示视频时相对 BC-Z 提升超过 20%,跨物体动作迁移也提升约 17%。

Offline Imitation Learning Through Graph Search and Retrieval figure
RSS 2024Paper 054

Offline Imitation Learning Through Graph Search and Retrieval

Zhao-Heng Yin, Pieter Abbeel

UC Berkeley EECS

2024机器人学习模仿学习操作强化学习人机交互灵巧手

论文关注灵巧操作中人类示教常含失败重试、难以提供专家轨迹,直接行为克隆会学到低质动作,而离线RL在长时程视觉任务上又不稳定。作者提出GSR:用预训练表征把离线交互组织成图,通过图搜索评估哪些片段更可能通向目标,再用检索为每个状态挑选或重加权更优动作,最后仍以行为克隆训练策略。该方法在仿真与真实机器人多项精细操作上将成功率提升10%–30%,熟练度提升30%以上,且预处理开销仅约10–30分钟。

RVT-2: Learning Precise Manipulation from Few Demonstrations figure
RSS 2024Paper 055

RVT-2: Learning Precise Manipulation from Few Demonstrations

Ankit Goyal, Valts Blukis, Jie Xu, Yijie Guo, Yu-Wei Chao, Dieter Fox

NVIDIA

2024操作感知模仿学习机器人学习灵巧手人机交互

论文关注一个现实痛点:现有少样本多任务操作模型虽能理解语言并做3D操作,但在插销、插头等毫米级精密任务上常失效。RVT-2的关键洞察是把精度瓶颈拆成表示与系统两层改进:用多阶段coarse-to-fine推理逐步“放大”关键区域预测末端位姿,并以凸上采样、位置条件旋转特征和自定义虚拟视图渲染器降低显存与加速训练/推理。结果上,它在RLBench上将成功率从65%提升到82%,训练快6倍、推理快2倍,并能在真实世界仅用约10次示教完成插销/插头等高精度任务。

Imitation Bootstrapped Reinforcement Learning figure
RSS 2024Paper 056

Imitation Bootstrapped Reinforcement Learning

Hengyuan Hu, Suvir Mirchandani, Dorsa Sadigh

Stanford University;Stanford Univeristy

2024机器人学习强化学习模仿学习触觉数据控制

这篇工作针对机器人稀疏奖励控制中“纯模仿难覆盖分布偏移、纯强化学习又探索慢且样本昂贵”的矛盾,提出IBRL:先单独训练模仿策略,再在在线交互和Q目标自举两处都让模仿策略与RL策略同时提议动作,由Q函数选更优者执行或用于训练,从而直接利用示范策略的高质量动作,并避免额外模仿正则的权衡。实验在6个仿真和3个真实任务上均优于现有方法,且任务越难优势越大,最难仿真与真实挂布任务分别约达到次优方法的2倍和2.4倍。

Rethinking Robustness Assessment: Adversarial Attacks on Learning-based Quadrupedal Locomotion Controllers figure
RSS 2024Paper 057

Rethinking Robustness Assessment: Adversarial Attacks on Learning-based Quadrupedal Locomotion Controllers

Fan Shi, Chong Zhang, Takahiro Miki, Joonho Lee, Marco Hutter, Stelian Coros

National University of Singapore

2024控制腿足机器人强化学习机器人学习安全触觉

论文针对四足机器人常用的随机噪声、推力恢复等测试难以覆盖高维时序长尾失效这一问题,把鲁棒性评估转成在现实幅值约束下学习序列式对抗者,在观测、速度指令和扰动力等多模态通道中联合搜索最小致败扰动。实验表明,连 DARPA SubT 级鲁棒策略也会在平地上被低幅攻击击倒:常规基线千次未能致败,而学习到的攻击可稳定复现,约3°姿态误差配合指令扰动已能在仿真和真机中诱发失稳,并可进一步用于对抗微调提升原策略鲁棒性。

Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning figure
RSS 2024Paper 058

Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning

Xinyang Gu, Yen-Jen Wang, Xiang Zhu, Chengming Shi, Yanjiang Guo, Yichen Liu, Jianyu Chen

Tsinghua University;Shanghai Qi Zhi Institute

2024机器人学习腿足机器人控制强化学习生成模型扩散策略

论文针对类人机器人因高重心、摆腿不稳和传感受限而难以在复杂地形上实现强化学习控制的问题,提出DWL:在仿真中注入环境、动力学、传感和遮蔽噪声,用循环编码器—解码器从历史观测中恢复潜在真实状态,再配合策略梯度训练统一步行策略,并结合主动2自由度闭链踝机构提升稳定性。实验在两款XBot上实现同一网络零样本迁移到雪地斜坡、上下楼梯和极不平地面,并展示了明显的抗扰能力。

Agile But Safe: Learning Collision-Free High-Speed Legged Locomotion figure
RSS 2024Paper 059

Agile But Safe: Learning Collision-Free High-Speed Legged Locomotion

Tairan He, Chong Zhang, Wenli Xiao, Guanqi He, Changliu Liu, Guanya Shi

Carnegie Mellon University

2024安全腿足机器人控制导航强化学习机器人学习

针对腿足机器人在拥挤环境中“快就不安全、安全就跑不快”的矛盾,ABS把端到端敏捷策略与恢复策略结合,并用学习得到的、以敏捷策略为条件的可达-避障价值网络评估风险、决定策略切换,还为恢复策略提供优化方向;再通过深度图到射线距离的外感知表征提升泛化。实机 Go1 在全机载感知与计算下,可在室内外静态和动态障碍间实现无碰撞高速运动,峰值约 3.1 m/s,平均约 1.5–2.3 m/s。

RL2AC: Reinforcement Learning-based Rapid Online Adaptive Control for Legged Robot Robust Locomotion figure
RSS 2024Paper 060

RL2AC: Reinforcement Learning-based Rapid Online Adaptive Control for Legged Robot Robust Locomotion

Shangke Lyu, Xin Lang, Han Zhao, Hongyin Zhang, Pengxiang Ding, Donglin Wang

2024控制腿足机器人强化学习仿真到现实触觉机器人学习

针对腿足机器人强化学习策略在真实部署中易受模型失配和外扰影响、难以快速适应的问题,本文从控制机理出发提出RL2AC:将RL步态策略解释为类似“前馈补偿+反馈跟踪”的结构,并在线利用关节跟踪误差构造1000Hz自适应力矩补偿,无需与策略联合训练。仿真和实机表明,该方法在负载变化、单腿受扰、侧向力矩、仿真到现实偏差及多种地形下都能显著提升速度跟踪与运动鲁棒性。

HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation figure
RSS 2024Paper 061

HumanoidBench: Simulated Humanoid Benchmark for Whole-Body Locomotion and Manipulation

Carmelo Sferrazza, Dun-Ming Huang, Xingyu Lin, Youngwoon Lee, Pieter Abbeel

UC Berkeley1;Yonsei University2

2024腿足机器人操作灵巧手控制强化学习机器人学习

针对人形机器人研究受限于硬件昂贵、脆弱且难以快速试错,本文提出 HumanoidBench:一个基于 MuJoCo 的高维仿真基准,使用配备灵巧手的 H1,在 61 维动作、75 自由度下覆盖 15 个全身操作和 12 个行走任务,突出手、臂、腿协同与长时序控制。实验表明主流强化学习在多数任务上普遍吃力,而建立在稳健低层走路/到达技能上的分层学习更有效,说明瓶颈主要在复杂动力学控制与技能组合。

MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting figure
RSS 2024Paper 062

MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting

Kuan Fang, Fangchen Liu, Pieter Abbeel, Sergey Levine

2024机器人学习视觉语言模型感知操作基础模型数据

论文关注一个核心难点:互联网预训练的VLM虽有常识与概念能力,却难直接理解三维接触与机器人控制。MOKA的关键洞察是引入由关键点和路径点组成的点式affordance表示,并用图像打标把动作生成拆成VQA式多选,让VLM在2D观测上选出抓取点、目标点和运动轨迹。实验表明,它在工具使用、可变形物体操作和物体重排等桌面任务上取得较强零样本泛化与SOTA表现,并可用自身采集的成功轨迹做上下文学习和策略蒸馏进一步提升。

Collaborative Planar Pushing of Polytopic Objects with Multiple Robots in Complex Scenes figure
RSS 2024Paper 063

Collaborative Planar Pushing of Polytopic Objects with Multiple Robots in Complex Scenes

Zili Tang, Yuming Feng, Meng Guo

College of Engineering, Peking University

2024机器人学习操作控制触觉规划导航

这篇工作面向没有机械臂的低成本移动机器人,解决其在障碍密集场景中协同推动多面体物体时,接触模式频繁切换和受限接触力带来的欠驱动规划控制问题。核心是不预设 pushing primitive,而由准静态多方向可行性分析生成足够接触模式,再以分层混合搜索沿弧段路径联合选择模式与推力,并用非线性MPC在线跟踪。文中给出温和假设下的完备性保证,高保真仿真和实物实验验证了方法的效率、有效性及对运动和执行不确定性的鲁棒性。

AutoMate: Specialist and Generalist Assembly Policies over Diverse Geometries figure
RSS 2024Paper 064

AutoMate: Specialist and Generalist Assembly Policies over Diverse Geometries

Bingjie Tang, Iretiayo Akinola, Jie Xu, Bowen Wen, Ankur Handa, Karl Van Wyk, Dieter Fox, Gaurav S. Sukhatme, Fabio Ramos, Yashraj Narang

University of Southern California, 2NVIDIA Corporation, 3University of Washington, 4University of Sydney

2024机器人学习操作基础模型仿真到现实强化学习感知

面向高混合装配场景中零件几何与初始位姿高度多样、传统治具和手工轨迹难以泛化的问题,AutoMate提出一套仿真到现实的统一框架:先构建100个可仿真且可真实装配的数据集与并行环境,再用“先拆后装”生成轨迹,结合带模仿奖励的强化学习和动态时间规整学习专家策略,并通过几何编码、策略蒸馏与课程微调得到通才策略。结果上,专家策略在80个装配任务中仿真成功率约80%+,通才策略可联合完成20类任务且达80%+,零样本迁移到真实机器人后,20类任务上的专家/通才成功率分别为86.5%和84.5%,感知初始化装配也达到86%–90%。

An abstract theory of sensor eventification figure
RSS 2024Paper 065

An abstract theory of sensor eventification

Yulin Zhang, Dylan Shell

Amazon Robotics⇤;⇤This work was done prior to joining Amazon.;Texas A&M University;College Station, TX, USA.

2024机器人学习安全操作数据

本文从“事件相机为何有用”出发,追问任意传感器能否只上报变化量而不丢失机器人任务所需信息。核心洞察是:事件化是否可行,不只取决于信号本身,还受机器人—环境结构、下游输入输出计算及同步/轮询/触发/异步访问方式共同决定。文中提出统一的可替代行为与 observation variator 理论及构造算法,并证明最小化差分字母表是 NP-hard,同时给出轮询与事件触发等价、异步情形所需额外结构与稳定性条件。

Octopi: Object Property Reasoning with Large Tactile-Language Models figure
RSS 2024Paper 066

Octopi: Object Property Reasoning with Large Tactile-Language Models

Samson Yu, Lin Kelvin, Anxing Xiao, Jiafei Duan, Harold Soh

Dept. of Computer Science, National University of Singapore;University of Washington, ‡NUS Smart Systems Institute

2024机器人学习触觉视觉语言模型感知数据操作

论文面向机器人操作中“视觉和语言看不出来、必须摸一摸”的物理推理问题,核心思路是把触觉先转成可语言化的中间物性,再交给大模型做常识推断。作者构建了含74个日常物体、408段GelSight触觉视频的PhysiCLeAR,并提出将触觉编码器对齐到Vicuna的Octopi,显式预测硬度、粗糙度和起伏度后再完成描述、比较与选择等任务。实验表明,这种“物性中介”设计在PhysiCLeAR的五类触觉相关任务上能稳定提升表现,也更能支持如成熟度判断这类具身决策。

3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations figure
RSS 2024Paper 067

3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations

Yanjie Ze, Gu Zhang, Kangning Zhang, Chenyuan Hu, Muhan Wang, Huazhe Xu

Shanghai Qizhi Institute;Shanghai Jiao Tong University;Tsinghua University, IIIS

2024感知模仿学习扩散策略机器人学习灵巧手安全

这篇工作针对视觉模仿学习在真实机器人上往往依赖大量示范、且2D观测泛化与安全性不足的问题,提出DP3:把稀疏点云经轻量MLP编码为紧凑3D表征,再作为条件驱动扩散策略生成动作序列。其关键洞察是,简单点云表示比图像、深度或更复杂3D编码更适合这类策略。实验中,DP3在72个仿真任务仅用10条示范就较基线相对提升24.2%,在4个真实任务每类40条示范下达到85%成功率,并显著减少安全违规。

HRP: Human affordances for Robotic Pre-training figure
RSS 2024Paper 068

HRP: Human affordances for Robotic Pre-training

Mohan Kumar Srirama, Sudeep Dasari, Shikhar Bahl, Abhinav Gupta

Carnegie Mellon University

2024数据灵巧手感知基础模型模仿学习机器人学习

论文针对机器人表征学习受限于真实机器人数据昂贵、现有人类视频自监督预训练又难稳定优于 ImageNet 基线的问题,提出 HRP:从互联网规模人类视频中自动挖掘手部姿态、活跃物体和接触点等可供性标签,用这些监督信号微调任意现成视觉编码器,使表征更关注“该抓什么、如何接近”。在 3000 余次真实机器人试验中,HRP 在 5 个任务、3 种机器人形态和 3 个相机视角上带来至少 15% 的成功率提升,最佳较 SOTA 高约 20%,且 OOD 泛化更强。

MIRAGE: Cross-Embodiment Zero-Shot Policy Transfer with Cross-Painting figure
RSS 2024Paper 069

MIRAGE: Cross-Embodiment Zero-Shot Policy Transfer with Cross-Painting

Lawrence Yunliang Chen, Karthik Dharmarajan, Kush Hari, Chenfeng Xu, Quan Vuong, Ken Goldberg

UC Berkeley;Google DeepMind

2024机器人学习数据控制操作灵巧手感知

为减少为每台新机器人重新采集数据和微调的成本,论文关注相似工作空间、双指夹爪机器人间的零样本策略迁移。其核心洞察是将视觉差异与控制差异解耦:用cross-painting在执行时遮掉目标机器人并实时补绘源机器人外观,再结合笛卡尔末端位姿对齐、前向动力学与阻塞控制完成动作映射。仿真和Franka/UR5实验在抓取、堆叠、装配等9个任务上表明,该方法能以很小性能损失实现跨机械臂和夹爪迁移,并显著优于通用策略。

Broadcasting Support Relations Recursively from Local Dynamics for Object Retrieval in Clutters figure
RSS 2024Paper 070

Broadcasting Support Relations Recursively from Local Dynamics for Object Retrieval in Clutters

Yitong Li, Ruihai Wu, Haoran Lu, Chuanruo Ning, Yan Shen, Guanqi Zhan, Hao Dong

CFCS, School of CS, PKU;Weiyang College, THU;University of Oxford;National Key Laboratory for Multimedia Information Processing, School of CS, PKU

2024机器人学习控制操作安全感知灵巧手

面向杂乱场景中“安全取出目标物”的长时程操作难题,论文认为远距离物体间的支撑关系难以直接可靠预测,而相邻物体的局部动力学更准确。作者据此从目标物出发递归传播局部动力学,逐步构建全局支撑DAG,并据图决定需先移走哪些直接或间接受支撑的物体。其在包含上千种物体组合的新基准、仿真与真实机器人实验中,相比直接关系推断方法显著提升了支撑关系预测和取物规划效果。

Consistency Policy: Accelerated Visuomotor Policies via Consistency Distillation figure
RSS 2024Paper 071

Consistency Policy: Accelerated Visuomotor Policies via Consistency Distillation

Aaditya Prasad, Kevin Lin, Jimmy Wu, Linqi Zhou, Jeannette Bohg

Stanford University;Princeton University

2024机器人学习扩散策略基础模型安全操作生成模型

面向机载或移动机器人算力受限、扩散策略推理过慢而难以实现低时延闭环控制的问题,本文将一致性蒸馏引入视觉运动策略:先用EDM训练教师策略,再沿教师去噪轨迹施加自一致约束,蒸馏出可单步或少步生成动作的 Consistency Policy;关键设计包括局部 CTM 目标、降低初始采样方差和预设 chaining 步。实验覆盖6个仿真与3个真实任务,在笔记本 GPU 上也能部署,推理较最快基线平均快约一个数量级,同时成功率基本保持竞争力。

CLOSURE: Fast Quantification of Pose Uncertainty Sets figure
RSS 2024Paper 072

CLOSURE: Fast Quantification of Pose Uncertainty Sets

Yihuai Gao, Yukai Tang, Han Qi, Heng Yang

2024机器人学习感知同步定位与建图/定位数据控制安全

论文针对6D位姿估计中高斯噪声假设不可靠、单点结果缺少可验证不确定性的问题,转而在未知有界噪声下刻画位姿不确定集PURSE。核心洞察是将这一难处理的非凸集合几何化为受约束动力系统/多个测地球的交,并用GPU并行随机游走采样其边界,再以miniball快速内近似最小包围测地球并给出与GRCC外近似的紧致度证书。在LM-O、3DMatch和LM上,其相对比率达91%–97%,平均耗时低于0.3秒,且比GRCC快23.6–833倍。

GOAT: GO to Any Thing figure
RSS 2024Paper 073

GOAT: GO to Any Thing

Matthew Chang, Theophile Gervet, Mukul Khanna, Sriram Yenamandra, Dhruv Shah, So Yeon Min, Kavit Shah, Chris Paxton, Saurabh Gupta, Dhruv Batra, Roozbeh Mottaghi, Jitendra Malik, Devendra Singh Chaplot

∗Indicates equal contribution, †Work done at Fair, Meta

2024机器人学习导航操作感知同步定位与建图/定位规划

这篇工作面向家庭与仓储中的长期部署机器人:导航目标不应只是一类物体,还可能是某张图里的具体实例或一句自然语言描述,而且机器人应利用过往探索经验而非每次重找。GOAT的核心是将SLAM、规划与感知模块化结合,并引入持续更新的实例级语义记忆,保存物体的多视角外观与位置,从而区分类内不同实例并支持图像、语言和类别三种目标检索。真实9个家庭、90多小时、675个目标评测中,GOAT成功率达83%,较基线绝对提升32%,并随经验从首个目标的60%升至充分探索后的90%。

Demonstrating Arena 3.0: Advancing Social Navigation in Collaborative and Highly Dynamic Environments figure
RSS 2024Paper 074

Demonstrating Arena 3.0: Advancing Social Navigation in Collaborative and Highly Dynamic Environments

Linh Kästner, Volodymyir Shcherbyna, Huajian Zeng, Tuan Anh Le, Maximilian Ho-Kyung Schreff, Halid Osmaev, Nam Truong Tran, Diego Diaz, Jan Golebiowski, Harold Soh, Jens Lambrecht

Technical University Berlin (TUB), Germany;National University of Singapore (NUS), Singapore;Technical University Munich (TUM), Germany

2024导航人机交互触觉规划仿真到现实机器人学习

这篇论文的动机是现有社会导航平台常局限于单一规划范式或单一仿真器,且人类行为建模过于简化,导致人机协作场景中的 sim2real 落差和评测覆盖不足。Arena 3.0 作为一套平台化工作,核心是整合更真实的人-人/人-机社交力与交互模式、可动态生成的办公室/食堂/仓储等任务环境,以及 Flatland、Gazebo、Unity 三仿真器上的统一接口和 MBF 规划框架。基准测试与社区用户评测表明其较前代版本有明显改进并更具可扩展性,但具体量化增益来源文中未充分说明。

RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Multi-Modal Large Language Model Learning figure
RSS 2024Paper 075

RAG-Driver: Generalisable Driving Explanations with Retrieval-Augmented In-Context Multi-Modal Large Language Model Learning

Jianhao Yuan, Shuyang Sun, Daniel Omeiza, Bo Zhao, Paul Newman, Lars Kunze, Matthew Gadd

University of Oxford 2Beijing Academy of Artificial Intelligence

2024机器人学习自动驾驶视觉语言模型数据控制感知

这篇工作针对自动驾驶解释模型面临的标注稀缺、跨数据集域差大和部署后难以持续微调的问题,提出 RAG-Driver:在多模态大语言模型推理时检索相似驾驶场景及专家示范,通过检索增强的 in-context learning 联合生成驾驶动作、动作理由和控制信号,从而提升可解释性与跨域泛化。实验显示,它在 BDD-X 上取得解释任务 SOTA,并在自建 Spoken-SAX 上无需再训练即可零样本泛化到未见环境,整体优于 ADAPT、DriveGPT4 等基线。

Dynamic Adversarial Attacks on Autonomous Driving Systems figure
RSS 2024Paper 076

Dynamic Adversarial Attacks on Autonomous Driving Systems

Amirhosein Chahe, Chenan Wang, Abhishek Jeyapratap, Kaidi Xu, Lifeng Zhou

Drexel University

2024机器人学习自动驾驶感知安全人机交互操作

论文针对自动驾驶在路口等多车交互中的安全脆弱性,指出传统印刷补丁难以覆盖变化的距离与视角,因此将可动态变化的对抗补丁显示在另一辆移动载具的屏幕上,以远距离诱导目标车误识交通标志并影响决策。方法上提出SIT-Net模拟屏幕图像经环境与相机成像后的失真,并在训练中加入位置损失提升攻击对目标框的对齐。实车实验表明,该方法可把直行、转弯、行人等标志误判为停车标志,效果与置信度均明显优于静态和打印补丁,且在更大距离范围内仍有效。

Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation figure
RSS 2024Paper 077

Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation

Abdelrhman Werby, Chenguang Huang, Martin Büchner, Abhinav Valada, Wolfram Burgard

University of Freiburg;University of Technology Nuremberg

2024机器人学习感知导航数据基础模型同步定位与建图/定位

这篇论文针对稠密开放词汇地图在大尺度室内环境中存储开销高、且难以支撑“某层某房间里的某物体”这类抽象语言导航的问题,提出 HOV-SG:先通过聚类融合多种 CLIP 特征获得更稳健的3D分段语义,再构建楼层—房间—物体三级开放词汇场景图,并结合跨楼层 Voronoi 图实现可执行导航。实验显示其在三个数据集上均提升了物体、房间和楼层级语义准确率,表示规模较稠密开放词汇地图减少75%,并在真实多层建筑中完成了长程语言导航。

ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection figure
RSS 2024Paper 078

ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

Arpit Bahety, Priyanka Mandikal, Ben Abbatematteo, Roberto Martín-Martín

The University of Texas at Austin

2024机器人学习灵巧手操作模仿学习人机交互感知

这篇论文针对双臂操作自由度高、时空同步难、且人类演示难直接迁移到机器人的问题,提出将双手相对运动建模为一自由度螺旋关节,把单个RGB-D人类视频投影到 screw action 空间,再从点云预测双臂抓取与螺旋轴,并用自监督交互微调适配机器人本体。实验在6类复杂双臂任务上表明,该方法可由单次人类演示学会行为,且优于直接在原始双臂运动空间模仿或微调的基线。

NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation figure
RSS 2024Paper 079

NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation

Jiazhao Zhang, Kunyu Wang, Rongtao Xu, Gengze Zhou, Yicong Hong, Xiaomeng Fang, Qi Wu, Zhizheng Zhang, He Wang

CFCS, School of Computer Science, Peking University;University of Adelaide;Australian National University

2024机器人学习视觉语言模型导航感知数据仿真到现实

针对连续视觉语言导航在新场景和仿真到现实中易受里程计噪声、深度与地图域差影响的问题,NaVid将任务改写为仅依赖单目RGB视频流和语言指令的下一步动作预测:用视频VLM联合编码历史与当前观测,并直接输出带距离和转角的可执行动作。结合51万导航样本与76.3万网页数据训练后,它在仿真和真实机器人上都达到SOTA级表现,跨数据集与Sim2Real泛化更强,但增益有多少来自更大数据规模,文中未充分拆清。

RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes figure
RSS 2024Paper 080

RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes

Kyle Stachowicz, Sergey Levine

UC Berkeley

2024机器人学习安全自动驾驶强化学习触觉控制

论文关注真实世界越野高速驾驶中“想开得快就得贴近失稳边界”,而训练期碰撞、翻车会拖慢学习并损伤平台的问题。RACER的核心是用分布式价值网络集成同时刻画回报的偶然不确定性与认知不确定性,以CVaR学习风险敏感策略,并按安全置信度逐步放宽动作范围做课程式探索。实车1/10拉力车实验显示,其收敛速度提升超过10%,训练期安全违规减少一半以上,且几乎消除高速事故,在相关仿真任务中也优于基线。

Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments figure
RSS 2024Paper 081

Khronos: A Unified Approach for Spatio-Temporal Metric-Semantic SLAM in Dynamic Environments

Lukas Schmid, Marcus Abate, Yun Chang, Luca Carlone

2024机器人学习同步定位与建图/定位控制感知安全基础模型

这篇论文面向机器人在人机共处动态环境中仅做“静态地图”不够的问题,提出时空度量-语义SLAM(SMS)并实现系统Khronos。其关键洞察是利用时空局部一致性将问题分解为两条异步链路:快速前端在活动时间窗内跟踪短时运动,慢速后端用因子图推理回访后的长期变化,从而统一移动体跟踪与变化检测。实验在仿真和两类真实机器人上表明,Khronos可实时构建稠密4D语义地图,并在背景重建、运动检测与跟踪、长期变化检测等指标上优于基线。

Demonstrating Agile Flight from Pixels without State Estimation figure
RSS 2024Paper 082

Demonstrating Agile Flight from Pixels without State Estimation

Ismail Geles, Leonard Bauersfeld, Angel Romero, Jiaxu Xing, Davide Scaramuzza

Robotics and Perception Group, University of Zurich, Switzerland

2024感知强化学习控制触觉同步定位与建图/定位机器人学习

论文针对敏捷无人机通常依赖显式状态估计、机载算力和专用硬件这一瓶颈,探索像人类FPV飞手那样仅凭机载相机视频直接输出总推力与机体系角速度控制。核心做法是用门框内缘作为可模拟的视觉抽象,在训练中结合带特权信息的非对称actor-critic强化学习,部署时再由Swin Transformer检测门框。实机在标准硬件、无显式状态估计条件下完成赛道穿门,最高40 km/h、加速度达2g,说明结构化环境中端到端像素控制的高敏捷飞行是可行的。

You’ve Got to Feel It To Believe It: Multi-Modal Bayesian Inference for Semantic and Property Prediction figure
RSS 2024Paper 083

You’ve Got to Feel It To Believe It: Multi-Modal Bayesian Inference for Semantic and Property Prediction

Parker Ewen, Hao Chen, Yuzhen Chen, Anran Li, Anup Bagali, Gitesh Gunjal, Ram Vasudevan

University of Michigan, Ann Arbor, USA

2024机器人学习感知数据腿足机器人触觉安全

论文针对机器人仅靠视觉难以稳定识别语义、又难在线估计摩擦等物性的问题,提出把语义类别与物理属性联合建模的多模态贝叶斯框架:用视觉给出语义先验并诱导属性分布,再用触觉属性测量通过共轭先验做闭式更新,反向修正语义判断。实验表明,仅需少量触觉信息就能在语义分类和物性估计上优于纯视觉基线,并在腿足机器人上据地面摩擦概率切换步态,避免湿滑地形打滑跌倒。

AnyFeature-VSLAM: Automating the Usage of Any Feature into Visual SLAM figure
RSS 2024Paper 084

AnyFeature-VSLAM: Automating the Usage of Any Feature into Visual SLAM

Alejandro Fontan, Javier Civera, Michael Milford

Queensland University of Technology1;University of Zaragoza2

2024机器人学习同步定位与建图/定位感知安全数据操作

传统特征点式VSLAM常把前端与某一类视觉特征深度绑定,换用SIFT、AKAZE或R2D2时往往要重新手调阈值、匹配和词袋等细节,难以在不同场景切到更合适的特征。本文基于ORB-SLAM2,将这类特征相关的6个流程自动化,提出可无人工调参切换特征的AnyFeature-VSLAM。实验在4个公开数据集30段序列、7种关键点/描述子组合上表明,它整体上比原始或朴素替换基线更稳健,在多种特征下保持有竞争力的轨迹精度,并能在部分困难序列避免ORB-SLAM2的跟踪崩溃。

iMESA: Incremental Distributed Optimization for Collaborative Simultaneous Localization and Mapping figure
RSS 2024Paper 085

iMESA: Incremental Distributed Optimization for Collaborative Simultaneous Localization and Mapping

Daniel McGann, Michael Kaess

The Robotics Institute, Carnegie Mellon University, Pittsburgh PA, USA

2024机器人学习同步定位与建图/定位多机器人安全数据规划

论文针对多机器人在带宽受限、链路间歇且需在线重规划时,现有C-SLAM后端难同时兼顾精度、实时性与分布式协同的问题,提出增量式分布优化iMESA:用带偏置先验的可分ADMM在共享变量上逐步收紧一致性约束,并结合iSAM2高效吸收新观测,且适用于通用C-SLAM而非仅位姿图。实验表明,它在真实与合成数据上以稀疏两两通信实现更好的精度/时延表现,并优于现有增量分布式方法。

Scalable Distance-based Multi-Agent Relative State Estimation via Block Multiconvex Optimization figure
RSS 2024Paper 086

Scalable Distance-based Multi-Agent Relative State Estimation via Block Multiconvex Optimization

Tianyue Wu, Fei Gao

Institute of Cyber-Systems and Control;Zhejiang University, Hangzhou 310027

2024机器人学习多机器人安全基础模型数据控制

论文针对大规模多机器人仅靠距离测量进行相对状态估计时,现有方法虽鲁棒但难扩展、局部优化又强依赖初始化的问题,提出以“广义图实现”为统一建模,并设计两个可分解的块多凸模型:用于全局初始化的边式凸松弛和用于精修的快速局部搜索,均可用块坐标下降实现分布式求解且给出收敛保证。实验表明,该组合在精度上与现有集中式凸松弛方法相当或更优,同时显著提升可扩展性与计算效率,并在连续时间场景中比单独使用局部搜索更稳健。

Experience-based multi-agent path finding with narrow corridors figure
RSS 2024Paper 087

Experience-based multi-agent path finding with narrow corridors

Rachel A Moan, Courtney McBeth, Marco Morales, Nancy Amato, Kris Hauser

University of Illinois at Urbana-Champaign

2024机器人学习规划多机器人数据安全导航

针对经验式多机器人路径规划以往几乎只适用于宽敞仓储地图、难以处理单格门洞和狭窄走廊的问题,本文把冲突局部化为可复用模板子问题,新增 5×2 门洞模板与容量约束,并改进子问题选择、临时目标分配和等待策略,以减少局部死锁和无谓绕行。实验表明,该方法可在拥挤含门洞环境中于数秒内处理数百机器人,相比现有最优 MAPF 方法更常在时限内找到解,单机器人等待步数最高下降 94%,路径偏离解耦路径最高下降 71%。

Event-based Visual Inertial Velometer figure
RSS 2024Paper 088

Event-based Visual Inertial Velometer

Xiuyuan LU, Yi Zhou, Junkai Niu, sheng zhong, Shaojie Shen

CKS Robotic Institute, Hong Kong University of Science and Technology, Hong Kong, China;School of Robotics, Hunan University, Changsha, China

2024机器人学习感知数据同步定位与建图/定位生成模型控制

这篇工作针对事件相机里程计在剧烈运动下常因局部地图更新滞后、数据关联困难而跟踪失效的问题,提出放弃以位姿为中心的建图式估计,转而依据事件相机的微分成像机理直接恢复瞬时线速度。方法构建了无地图的连续时间事件—惯性测速器,用双目事件相机提供法向流与深度约束,并与IMU异步增量融合。仿真和真实实验表明,该方法能以公制尺度、低延迟估计线速度,并在激烈机动场景下更稳。

Explore until Confident: Efficient Exploration for Embodied Question Answering figure
RSS 2024Paper 089

Explore until Confident: Efficient Exploration for Embodied Question Answering

Allen Z. Ren, Jaden Clark, Anushri Dixit, Masha Itkina, Anirudha Majumdar, Dorsa Sadigh

∗Princeton University † Stanford University ‡ Toyota Research Institute

2024机器人学习视觉语言模型感知数据同步定位与建图/定位人机交互

面向EQA中机器人需边探索边回答、却常因VLM缺乏跨时记忆和置信度失准而早停或过度搜索的问题,本文将VLM对当前视野的语义判断写入由深度构建的全局语义地图,优先引导机器人前往与问题相关的区域,并用多步保形预测维护答案集合,在集合收缩为单一选项时再停止。作者还基于HM3D构建了HM-EQA数据集;仿真和Fetch实机实验表明,该方法相较不利用VLM语义或不做置信校准的基线,在回答成功率与探索效率上都更好。

Octo: An Open-Source Generalist Robot Policy figure
RSS 2024Paper 090

Octo: An Open-Source Generalist Robot Policy

Dibya Ghosh, Homer Rich Walke, Karl Pertsch, Kevin Black, Oier Mees, Sudeep Dasari, Joey Hejna, Tobias Kreiman, Charles Xu, Jianlan Luo, You Liang Tan, Lawrence Yunliang Chen, Quan Vuong, Ted Xiao, Pannag R Sanketi, Dorsa Sadigh, Chelsea Finn, Sergey Levine

UC Berkeley 2Stanford 3Carnegie Mellon University 4Google Deepmind;Berkeley Insertion;Stanford Coffee;Berkeley Bimanual

2024基础模型数据操作控制机器人学习灵巧手

论文针对通用机器人策略难以同时兼容多机器人形态、传感器和动作空间、且下游迁移成本高的问题,提出开源的Octo:以Transformer为骨干,通过统一token接口接入语言或目标图像任务、不同相机/本体观测及不同动作空间,并可用少量目标域数据在数小时内完成适配微调。基于Open X-Embodiment的80万条轨迹预训练后,Octo在9个机器人平台上展示了开箱即用控制与跨新观测/动作空间微调的有效性;消融显示收益很大程度来自更大规模、更多样的数据混合和更灵活的模型设计。

Demonstrating OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics figure
RSS 2024Paper 091

Demonstrating OK-Robot: What Really Matters in Integrating Open-Knowledge Models for Robotics

Peiqi Liu, Yaswanth Orru, Jay Vakil, Chris Paxton, Nur Muhammad Mahi Shafiullah, Lerrel Pinto

New York University1, AI at Meta2

2024机器人学习操作灵巧手导航感知视觉语言模型

论文关注一个反常现象:物体识别、导航和抓取单项能力已较成熟,但开放词汇家庭操作仍很脆弱。作者提出系统优先的OK-Robot,用iPhone预扫描构建VoxelMap语义记忆,再串联OWL-ViT/CLIP定位、Lang-SAM+AnyGrasp抓取与投放启发式,在零训练下完成家庭搬运。核心洞察不是更大的模型,而是查询措辞、可达导航点、抓取器选择和机器人物理补偿等集成细节决定成败;其在10个真实家庭中的开放式搬运成功率为58.5%,较先前OVMM方法约提升1.8倍,较整洁环境可达82.4%。

Any-point Trajectory Modeling for Policy Learning figure
RSS 2024Paper 092

Any-point Trajectory Modeling for Policy Learning

Chuan Wen, Xingyu Lin, John Ian Reyes So, Kai Chen, Qi Dou, Yang Gao, Pieter Abbeel

UC Berkeley;IIIS, Tsinghua University;Stanford University;Shanghai AI Laboratory;Shanghai Qi Zhi Institute

2024数据模仿学习机器人学习控制操作感知

论文针对机器人模仿学习中动作标注演示昂贵、无标签视频难以提取控制信息的问题,提出ATM:先在无动作视频上自监督学习“任意点未来轨迹”预测,再把相机坐标系下的2D点轨迹作为策略的结构化引导,比静态表征或像素级视频预测更直接编码物体运动与时序。其在仿真和真实世界130多个语言条件操作任务上平均成功率达63%,显著高于最强基线37%,并展示了从人类视频和异构机器人视频迁移操作技能的能力。

Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation figure
RSS 2024Paper 093

Pushing the Limits of Cross-Embodiment Learning for Manipulation and Navigation

Jonathan Heewon Yang, Catherine Glossop, Arjun Bhorkar, Dhruv Shah, Quan Vuong, Chelsea Finn, Dorsa Sadigh, Sergey Levine

∗Stanford University;University of California, Berkeley;Google Deepmind

2024机器人学习数据操作导航基础模型控制

论文追问跨具身学习的边界:导航与操作这两类看似差异极大的数据,能否在同一策略中互相迁移。作者将不同机器人统一为目标到达任务,在18个异构数据集上训练单一目标条件策略,并通过动作坐标粗对齐让机械臂、移动底盘、四足和无人机共享表示。结果显示,引入导航数据可使腕视角操作成功率较仅操作训练提升约20%,联合训练也让导航提升5%–7%,且仅用导航+静态操作数据即可零样本控制新型移动操作机器人;但增益来源未被完全拆解,可能部分来自数据规模与混合训练。

DrEureka: Language Model Guided Sim-To-Real Transfer figure
RSS 2024Paper 094

DrEureka: Language Model Guided Sim-To-Real Transfer

Yecheng Jason Ma, William Liang, Hung-Ju Wang, Yuke Zhu, Linxi Fan, Osbert Bastani, Dinesh Jayaraman

eureka-research.github.io/dr-eureka;University of Pennsylvania;NVIDIA;University of Texas, Austin

2024机器人学习仿真到现实视觉语言模型强化学习腿足机器人灵巧手

这篇工作针对 sim-to-real 仍依赖人工反复调奖励和仿真参数、效率低且经验门槛高的问题,提出 DrEureka:让大语言模型联合自动生成带安全约束的奖励函数,并通过策略在扰动物理中的表现构造 reward-aware physics prior,再据此生成更合理的 domain randomization 分布。实机上,四足前进速度和行进距离较人工方案分别提升34%和20%,灵巧手转方块次数提升近300%,还在几乎无人工迭代下完成了四足在瑜伽球上的平衡行走。

Set It Up!: Functional Object Arrangement with Compositional Generative Models figure
RSS 2024Paper 095

Set It Up!: Functional Object Arrangement with Compositional Generative Models

Yiqing Xu, Jiayuan Mao, Yilun Du, Tomás Lozano-Pérez, Leslie Pack Kaelbling, David Hsu

⇤School of Computing, Smart System Institute, National University of Singapore;CSAIL, Massachusetts Institute of Technology

2024机器人学习数据视觉语言模型安全生成模型扩散策略

论文关注机器人理解“把桌子布置好”这类欠明确指令的难题:系统既要从极少示例中学到功能性摆放规则,又要泛化到未见物体。SetItUp 的核心洞察是先预测抽象空间关系、再求具体位姿:用少样本示例和人工程序草图提示 LLM 生成关系约束,再组合关系级扩散模型把约束落地为整体布局。在书桌、餐桌和咖啡桌任务上,规则指标与人工评测都表明它优于纯 LLM 和端到端生成基线,摆放更物理可行、更符合功能且更美观。

Keypoint Action Tokens Enable In-Context Imitation Learning in Robotics figure
RSS 2024Paper 096

Keypoint Action Tokens Enable In-Context Imitation Learning in Robotics

Norman Di Palo, Edward Johns

Imperial College London

2024模仿学习感知数据基础模型机器人学习扩散策略

论文针对机器人少样本模仿学习依赖大量示教、难以快速部署新技能的问题,提出KAT:把视觉观测中的关键点轨迹和末端动作离散成文本样式token,直接让现成文本Transformer以提示学习方式从少量示教中续写动作序列,无需机器人数据预训练或额外微调。真实世界多项日常任务实验表明,在10次左右示教的低数据区间,KAT在空间泛化、新物体和6DoF轨迹上与扩散策略相当或更优,但文中也指出其随示教数增大扩展性较差。

ConTac: Continuum-Emulated Soft Skinned Arm with Vision-based Shape Sensing and Contact-aware Manipulation figure
RSS 2024Paper 097

ConTac: Continuum-Emulated Soft Skinned Arm with Vision-based Shape Sensing and Contact-aware Manipulation

Tuan Tai Nguyen, Quan Khanh Luu, Dinh Quang Nguyen, Van Ho

2024机器人学习感知触觉控制操作安全

面向连续体/超冗余机械臂在拥挤环境中难以同时获得形状感知与接触感知的问题,论文提出 ConTac:在带标记的柔性皮肤内置鱼眼相机,用两个仅基于仿真训练的视觉模型统一完成姿态重建与触点定位,并零样本迁移到真实机器人,再结合导纳控制实现碰撞后的顺应操作。实验中末端位置平均误差为 8.83 mm、触点定位误差为 28.86 mm,且可迁移到另一同结构模块而无需额外微调。

Function Based Sim-to-Real Learning for Shape Control of Deformable Free-form Surfaces figure
RSS 2024Paper 098

Function Based Sim-to-Real Learning for Shape Control of Deformable Free-form Surfaces

Yingjun Tian, Guoxin Fang, Renbo Su, Weiming Wang, Simeon Gill, Andrew Weightman, Charlie C. L. Wang

The University of Manchester;The Chinese University of Hong Kong

2024机器人学习仿真到现实控制数据同步定位与建图/定位感知

这篇工作针对可变形自由曲面形状控制中“仿真形变与真实硬件不一致”、且动捕标记稀疏甚至缺失的问题,提出函数式 sim-to-real 学习:用 B 样条控制点表征模拟曲面,再由网络直接预测基于 RBF 的空间变形函数,而不是只回归标记点位置,因此能端到端利用不完整观测。该方法嵌入气动软体人体模型的前向/逆运动学管线后,相比不做迁移或标记点预测基线能更准确逼近真实表面,并将单个目标形状的求解时间压到 10 秒内。

Safe & Accurate at Speed with Tendons: A Robot Arm for Exploring Dynamic Motion figure
RSS 2024Paper 099

Safe & Accurate at Speed with Tendons: A Robot Arm for Exploring Dynamic Motion

Simon Guist, Jan Schneider, Hao Ma, Le Chen, Vincent Berenz, Julian Martus, Heiko Ott, Felix Grüninger, Michael Muehlebach, Jonathan Fiene, Bernhard Schölkopf, Dieter Büchler

2024机器人学习安全触觉控制灵巧手强化学习

论文关注机器人在高速、精准与碰撞安全之间长期难以兼得的问题,提出4自由度肌腱驱动机械臂PAMY2:把驱动放到基座以降低运动惯量,并结合气动人工肌肉的被动顺应性与低摩擦导索/关节轴承设计,缓解肌腱方案常见的摩擦、磨损和控制难题。实验显示,它在约4倍于Franka Panda和UR5e的速度下仍能产生相近冲击力,连续运行25天验证了耐久性;在从零强化学习的动态乒乓扣杀任务中,球速翻倍且精度更高。

Evolution and learning in differentiable robots figure
RSS 2024Paper 100

Evolution and learning in differentiable robots

Luke Strgar, David Matthews, Tyler Hummer, Sam Kriegman

Northwestern University

2024机器人学习控制安全仿真到现实

针对机器人形态—控制协同设计长期受限于串行、不可微评估且缺乏仿真到现实验证的问题,本文提出“外层进化搜形态、内层可微仿真学控制”的双层框架:遗传算法离散地增删重组机体结构,海量并行可微仿真则为每个候选体型分别训练神经控制器并据此评分。关键洞察是,进化会稳定地产生“更可微”的身体结构,使控制学习的损失地形更平滑、训练路径更好。实验表明该方法可比以往多探索数个数量级的设计,并将一种高可微形态成功落地到真实机器人且基本保留优化后的行为。

Construction of a Multiple-DOF Underactuated Gripper with Force-Sensing via Deep Learning figure
RSS 2024Paper 101

Construction of a Multiple-DOF Underactuated Gripper with Force-Sensing via Deep Learning

Jihao Li, Keqi Zhu, Guodong Lu, I-Ming Chen, HUIXU DONG

2024机器人学习灵巧手触觉控制安全

论文针对欠驱动夹爪常见的抓取模式单一、载荷与稳定性不足、且缺少低成本力反馈的问题,提出一种单电机驱动的双三指节夹爪:机械上用双四连杆堆叠成五连杆手指,实现平行抓取与包络抓取的自适应切换;控制上将电机电流统计、LSTM抓取模式识别与运动/传力解析模型结合,在无力传感器条件下估计接触力并闭环控制。实验表明,该夹爪可覆盖更大尺寸物体,并在抓取力、载荷、稳定性和力感知方面优于对比夹爪(如 Robotiq85)。

A Single Motor Nano Aerial Vehicle with Novel Peer-to-Peer Communication and Sensing Mechanism figure
RSS 2024Paper 102

A Single Motor Nano Aerial Vehicle with Novel Peer-to-Peer Communication and Sensing Mechanism

Jingxian Wang, Andrew G. Curtis, Mark Yim, Michael Rubenstein

Center for Robotics and Biosystems, Northwestern University;GRASP Lab, University of Pennsylvania

2024机器人学习安全多机器人自动驾驶操作人机交互

这篇工作针对群体微型无人机难以同时兼顾机载通信、相对定位、低成本与人机安全的问题,提出单电机纳米飞行器 MP3。其关键洞察是把单旋翼飞行时约25Hz的机体自旋从控制负担变成感知资源:3个定向红外接收器随机体完成全向扫描,再利用红外报文到达时刻做单机三角测量,恢复邻居的方位、距离和仰角,并据此做全局定位与位置控制。实验表明,这台仅20g、部分包覆桨叶的飞行器可实现对等通信、自定位、稳定飞行和航点机动。

Design and Control of a Bipedal Robotic Character figure
RSS 2024Paper 103

Design and Control of a Bipedal Robotic Character

Ruben Grandia, Espen Knoop, Michael A. Hopkins, Georg Wiedebach, Jared Bishop, Steven Pickles, David Müller, Moritz Bächer

∗Disney Research, Switzerland, †Disney Research, USA, ‡Walt Disney Imagineering R&D, USA

2024腿足机器人控制强化学习触觉人机交互机器人学习

论文面向娱乐和人机交互场景中双足机器人“既要稳定运动、又要具备角色表现力”的难题,提出从角色化机械设计、动画制作到控制与实时操控的一体化流程:机器人形态由创意目标驱动,控制上将不同动作类别拆分为强化学习模仿策略,并由动画引擎输出低维指令实现动作混合、切换与抗扰执行,再配合木偶式操控界面完成实时演出。结果表明,该系统能在真实平台上完成非脚本化表演、与人和道具互动,验证了艺术化动作与动态移动的兼容性,但多策略训练开销较大。

POLICEd RL: Learning Closed-Loop Robot Control Policies with Provable Satisfaction of Hard Constraints figure
RSS 2024Paper 104

POLICEd RL: Learning Closed-Loop Robot Control Policies with Provable Satisfaction of Hard Constraints

Jean-Baptiste Bouvier, Kartik Nagpal, Negar Mehr

ICON Lab, University of California Berkeley

2024机器人学习安全强化学习触觉控制人机交互

面向人机交互等安全关键任务,作者指出常见安全强化学习多靠惩罚项实现“软约束”,难以证明闭环系统永不越界。POLICEd RL 的核心是在危险集合外构造仿射“排斥缓冲区”,并强制策略在该区域内保持仿射,使其可对黑盒动力学下是否会触碰仿射状态约束进行解析验证,同时把安全策略是否存在转化为线性可解问题。MuJoCo 中的倒立摆和 7 自由度机械臂实验表明,该方法既能满足硬约束,也在安全性和累计回报上优于多种基线。

Demonstrating Language-Grounded Motion Controller figure
RSS 2024Paper 105

Demonstrating Language-Grounded Motion Controller

Ravi Tejwani, Chengyuan Ma, Paco Gomez-Paz, Paolo Bonato, Haruhiko Asada

Massachusetts Institute of Technology;Harvard Medical School

2024机器人学习控制人机交互多机器人灵巧手模仿学习

这篇工作关注接触式人机协作中“机器人一边带动人、一边说话”常出现的节奏失配问题,尤其当人的配合度实时变化时,固定语速和固定运动容易让指导变得生硬。作者从康复治疗师带病人训练的观察中提炼原则,设计语言落地运动控制器,把导纳控制、语音播放速度和沿轨迹的语句改写联合起来,使机器人能随用户阻力同步调整动作快慢与指令长短。12名用户实验表明,该方法相比基线更能对齐语音与运动的完成时序,协作表现更流畅。

VLMPC: Vision-Language Model Predictive Control for Robotic Manipulation figure
RSS 2024Paper 106

VLMPC: Vision-Language Model Predictive Control for Robotic Manipulation

Wentao Zhao, Jiaming Chen, Ziyu Meng, DonghuiMao, Ran Song, Wei Zhang

School of Control Science and Engineering, Shandong University, China

2024机器人学习视觉语言模型感知规划控制操作

该文针对两类方法的缺口:传统MPC能预测未来却缺少开放环境感知,VLM式规划能理解场景却缺乏对动作后果的前瞻。作者提出VLMPC,将VLM嵌入MPC闭环,用目标图像或语言条件化采样候选动作,再结合轻量动作条件视频预测与像素级、知识级分层代价评估未来结果,从而在无需手工原语的情况下选出更合理的操作序列。实验表明,其在公开基准和多项真实机器人操作任务上均优于现有方法。

Expressive Whole-Body Control for Humanoid Robots figure
RSS 2024Paper 107

Expressive Whole-Body Control for Humanoid Robots

Xuxin Cheng, Yandong Ji, Junming Chen, Ruihan Yang, Ge Yang, Xiaolong Wang

2024机器人学习腿足机器人控制数据强化学习灵巧手

论文针对人形机器人难以直接复现人类动捕动作的问题:机器人自由度更少、驱动能力更弱,逐关节模仿会牺牲稳定性。其核心洞察是把“表达性”和“行走稳健性”解耦:上半身尽量跟踪参考动作保留风格,下肢只需稳健满足根部速度/朝向命令,并在随机地形中做 sim2real 强化学习训练单一策略。结果是在 Unitree H1 上实现多风格行走、挥手、握手、拥抱、与人共舞等真实世界行为,且比更强下肢模仿约束更稳健。

From Compliant to Rigid Contact Simulation: a Unified and Efficient Approach figure
RSS 2024Paper 108

From Compliant to Rigid Contact Simulation: a Unified and Efficient Approach

Justin Carpentier, Quentin Le Lidec, Louis Montaut

Inria, ´Ecole normale sup´erieure;CNRS, PSL Research University

2024机器人学习人机交互灵巧手控制腿足机器人强化学习

论文针对机器人接触仿真中的两难:现有引擎常靠物理松弛换稳定性,或在多接触、病态条件下扩展性很差。作者将刚性与柔顺接触统一为非线性互补问题,用ADMM结合近端算法同时求解前向/逆向动力学,并提出基于谱性质的自适应参数更新以加速收敛。实验表明,该方法在简单场景与经典求解器相当,但在几十个接触点、质量差异大或条件数差的机器人与颗粒场景中更稳健、效率更高。

MPCC++: Model Predictive Contouring Control for Time-Optimal Flight with Safety Constraints figure
RSS 2024Paper 109

MPCC++: Model Predictive Contouring Control for Time-Optimal Flight with Safety Constraints

Maria Krinner, Angel Romero, Leonard Bauersfeld, Melanie Zeilinger, Andrea Carron, Davide Scaramuzza

Institute for Dynamics Systems and Control, ETH Zurich, Switzerland;Robotics and Perception Group, University of Zurich, Switzerland

2024控制安全规划强化学习机器人学习灵巧手

针对传统无人机竞速MPCC把过门要求揉进代价函数、导致进度与贴线持续权衡且难以调参的问题,本文提出MPCC++:用棱柱形赛道约束和终端集合把安全直接写成空间约束,避免撞门;再以真实数据学习残差动力学补偿气动与推力误差,并用TuRBO自动调超参。仿真和实机中,该方法在满足约束下取得与最强RL接近的圈速、优于既有模型法,并以100%成功率实现无撞门、速度超过80km/h的飞行。

Linear-time Differential Inverse Kinematics: an Augmented Lagrangian Perspective figure
RSS 2024Paper 110

Linear-time Differential Inverse Kinematics: an Augmented Lagrangian Perspective

Bruce Wingo, Ajay Suresha Sathya, Stéphane Caron, Seth Hutchinson, Justin Carpentier

Inria, ´Ecole normale sup´erieure, CNRS, PSL Research University, 75005 Paris, France;∗Institute for Robotics and Intelligent Machines, Georgia Institute of Technology, Atlanta, GA 30332, USA

2024机器人学习安全灵巧手腿足机器人控制规划

论文针对微分逆运动学长期依赖QP、在控制环和规划内循环中计算开销偏大的问题,提出从增广拉格朗日/ADMM重构IK求解:在混合空间速度—关节坐标中显式利用运动学树稀疏性,用三遍递归在线性时间内求解等式约束子问题,并以投影式ADMM处理关节与任务不等式约束。作者实现了开源C++库LOIK,在机械臂和类人步行基准上相较现有QP方法获得约2–3倍加速,且复杂度由立方级降为线性。

A Trajectory Tracking Algorithm for the LSMS Family of Cable-Driven Cranes figure
RSS 2024Paper 111

A Trajectory Tracking Algorithm for the LSMS Family of Cable-Driven Cranes

Javier Puig-Navarro, Dominic R Bisio, John E Pye, Yotam Granov, Joshua N Moser, Jessica S. Friz, Walter J Waltz, Julia E Cline, B. Danette Allen

NASA Langley Research Center, Hampton, Virginia, USA 23666

2024机器人学习操作控制安全灵巧手

面向月球/火星表面施工中,LSMS 这类高载荷比长臂缆驱起重机因缆绳几何、关节耦合、撑杆接触切换和张力保持而难以精确跟踪任意轨迹,论文先推导其非线性、耦合、混杂动力学,再基于 Lyapunov 与切换系统理论设计非线性轨迹跟踪律。主要结果是:理想条件下关节角误差局部指数稳定;考虑几何不确定性和电机跟踪误差后,误差一致最终有界,并在 LSMS-L35 上完成复杂轨迹实机验证。

AutoGPT+P: Affordance-based Task Planning using Large Language Models figure
RSS 2024Paper 112

AutoGPT+P: Affordance-based Task Planning using Large Language Models

Timo Birr, Christoph Pohl, Abdelrahman Younes, Tamim Asfour

Karlsruhe Institute of Technology, Germany

2024机器人学习规划视觉语言模型数据感知灵巧手

针对LLM结合经典规划仍受闭世界假设限制、难从真实场景动态构造初始状态的问题,本文提出AutoGPT+P:用目标检测与ChatGPT生成的对象-可供性映射构建场景表示,再从可供性自动生成规划域,并在缺失关键物体时通过搜索、功能替代或部分计划继续执行,同时加入语义/语法纠错提升规划稳健性。在SayCan指令集上其规划成功率达98%,在自建150个含缺失物体的复杂场景上达79%,并完成了人形机器人实机验证。

Implicit Graph Search for Planning on Graphs of Convex Sets figure
RSS 2024Paper 113

Implicit Graph Search for Planning on Graphs of Convex Sets

Ramkumar Natarajan, Chaoqi Liu, Howie Choset, Maxim Likhachev

∗The Robotics Institute at Carnegie Mellon University;Department of Computer Science at the University of Illinois at Urbana-Champaign

2024机器人学习规划导航安全操作

本文针对 GCS 需要对整张凸集图进行与规划查询无关的大规模批量优化、现实问题中常含数百万约束而速度受限的痛点,提出 IxG/IxG*:把 INSAT 的隐式图搜索与局部凸轨迹优化交错执行,只在搜索实际触及的少量凸集上增量求解并复用已有部分轨迹。实验显示,该方法在多类导航与操作任务上通常能以数量级加速获得更低代价的平滑无碰轨迹,并相对 GCS 提供更强的完备性与最优性保证,覆盖到 18 自由度多臂装配场景。

Real-Time Anomaly Detection and Reactive Planning with Large Language Models figure
RSS 2024Paper 114

Real-Time Anomaly Detection and Reactive Planning with Large Language Models

Rohan Sinha, Amine Elhafsi, Christopher Agia, Matt Foutter, Edward Schmerling, Marco Pavone

2024机器人学习视觉语言模型安全控制感知规划

论文针对机器人在分布外异常下,LLM虽有零样本泛化却难以实时落地、也难与安全控制闭环结合的问题,提出AESOP两阶段框架:先在LLM嵌入空间中利用与历史正常经验的相似性做快速异常检测,再触发慢速生成式推理判断异常是否真正危险并选择回退策略,同时用MPC维持多条恢复轨迹在推理延迟内始终可行。实验表明,该嵌入式检测即使用小模型也优于GPT类自回归推理,可在Jetson上20Hz运行,并在四旋翼和自动驾驶场景中提升异常下的安全性与可信性。

iHERO: Interactive Human-oriented Exploration and Supervision Under Scarce Communication figure
RSS 2024Paper 115

iHERO: Interactive Human-oriented Exploration and Supervision Under Scarce Communication

Zhuoli Tian, Yuyang Zhang, Jinsheng Wei, Meng Guo

College of Engineering, Peking University

2024机器人学习感知数据多机器人导航安全

面向地下搜救等只能依赖近距离自组网的多机器人探索,本文指出现有受限通信方法多只优化覆盖效率,忽视操作者对任务进度、重点区域和自身移动的在线监督需求。iHERO将前沿探索、机器人间间歇换图、以及回到操作者处汇报统一成一套在线协调框架,支持优先区域与操作者动态移动,并对状态反馈时延给出可满足的保证。大规模人在环仿真和实机实验表明,它在复杂场景中能同时维持较好的探索面积、效率和监督可用性。

Who Plays First? Optimizing the Order of Play in Stackelberg Games with Many Robots figure
RSS 2024Paper 116

Who Plays First? Optimizing the Order of Play in Stackelberg Games with Many Robots

Haimin Hu, Gabriele Dragotto, Zixu Zhang, Kaiqu Liang, Bartolomeo Stellato, Jaime Fernández Fisac

∗Department of Electrical and Computer Engineering, Princeton University, United States;Department of Operations Research and Financial Engineering, Princeton University, United States;Department of Computer Science, Princeton University, United States

2024机器人学习自动驾驶多机器人控制安全规划

论文关注安全关键的多机器人协同中“谁先决策”会显著影响整体效率,而对所有先后顺序做穷举会因组合爆炸而失效。作者将最优出手顺序表述为 N 人 Stackelberg 轨迹博弈上的混合整数优化,提出精确的 Branch-and-Play 分支定界算法,并结合、扩展顺序轨迹规划高效求解给定顺序下的局部均衡;同时证明在碰撞规避这类偏好一致的交互中,STP 单次前向规划即可得到局部 Stackelberg 均衡。空管、无人机编队和配送车队的仿真与硬件实验表明,该方法稳定优于先来先服务和 Nash 等基线,并能找到社会最优均衡。

Goal-Reaching Trajectory Design Near Danger with Piecewise Affine Reach-avoid Computation figure
RSS 2024Paper 117

Goal-Reaching Trajectory Design Near Danger with Piecewise Affine Reach-avoid Computation

Long Kiu Chung, Wonsuhk Jung, Chuizheng Kong, Shreyas Kousik

2024机器人学习安全规划控制自动驾驶灵巧手

论文关注“近危险”目标到达:机器人虽已接近目标,却被窄缝障碍阻挡,现有基于可达性的安全规划常因模型跟踪误差和数值近似过保守而无法真正到达。文中提出 PARC,在规划器-跟踪器框架下把低维规划模型写成时变分段仿射系统,利用固定模式序列将局部动力学化为仿射形式,并用 H-多面体更紧地欠近似后向到达-避障集,同时处理时变跟踪误差。实验显示其在 near-danger 场景中优于现有方法,还实现了具安全保证的漂移泊车仿真与 TurtleBot3 初步硬件验证。

Partially Observable Task and Motion Planning with Uncertainty and Risk Awareness figure
RSS 2024Paper 118

Partially Observable Task and Motion Planning with Uncertainty and Risk Awareness

Aidan Curtis, George Matheos, Nishad Gothoskar, Vikash Mansinghka, Joshua B. Tenenbaum, Tomás Lozano-Pérez, Leslie Pack Kaelbling

MIT Computer Science and Artificial Intelligence Laboratory

2024机器人学习规划控制安全导航操作

针对传统TAMP默认全可观测、动作效果确定,因而难以主动探测环境并规避不可逆风险的问题,文中提出TAMPURA:用闭环控制器的粗粒度前提与可能效果,先由确定化规划引导在抽象信念空间中学习稀疏MDP,再进行风险感知规划并细化为连续执行。实验覆盖遮挡、位姿、物理与SLAM等多种不确定性,并在仿真和两项真实任务中优于确定化TAMP、MCTS和RL,尤其更擅长信息收集与安全决策。

Logic-Skill Programming: An Optimization-based Approach to Sequential Skill Planning figure
RSS 2024Paper 119

Logic-Skill Programming: An Optimization-based Approach to Sequential Skill Planning

Teng Xue, Amirreza Razmjoo, Suhan Shetty, Sylvain Calinon

Idiap Research Institute

2024机器人学习操作强化学习规划触觉控制

该文针对独立训练的操作技能在“只给最终几何目标、没有显式符号目标”时难以最优串联的问题,提出 Logic-Skill Programming:将长时序技能规划表述为一阶逻辑约束下的优化,以各技能价值函数之和与终态评分为目标,并用张量列车压缩价值空间,在符号骨架搜索与子目标价值优化之间交替求解。实验显示,其累计回报近似优于若干强化学习基线,并在三类抓取/非抓取任务及真实机器人上,在实验设置中找到完整逻辑—几何路径的最优方案,并能应对接触不确定性与外部扰动。

DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset figure
RSS 2024Paper 120

DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset

Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, Soroush Nasiriany, Mohan Kumar Srirama, Lawrence Yunliang Chen, Kirsty Ellis, Peter David Fagan, Joey Hejna, Masha Itkina, Marion Lepert, Yecheng Jason Ma, Patrick Tree Miller, Jimmy Wu, Suneel Belkhale, Shivin Dass, Huy Ha, Arhan Jain, Abraham Lee, Youngwoon Lee, Marius Memmel, Sungjae Park, Ilija Radosavovic, Kaiyuan Wang, Albert Zhan, Kevin Black, Cheng Chi, Kyle Beltran Hatch, Shan Lin, Jingpei Lu, Jean Mercat, Abdul Rehman, Pannag R Sanketi, Archit Sharma, Cody Simpson, Quan Vuong, Homer Rich Walke, Blake Wulfe, Ted Xiao, Jonathan Heewon Yang, Arefeh Yavary, Tony Z. Zhao, Christopher Agia, Rohan Baijal, Mateo Guaman Castro, Daphne Chen, Qiuyu Chen, Trinity Chung, Jaimyn Drake, Ethan Paul Foster, Jensen Gao, David Antonio Herrera, Minho Heo, Kyle Hsu, Jiaheng Hu, Donovon Jackson, Charlotte Le, Yunshuang Li, Roy Lin, Zehan Ma, Abhiram Maddukuri, Suvir Mirchandani, Daniel Morton, Tony Nguyen, Abigail O'Neill, Rosario Scalise, Derick Seale, Victor Son, Stephen Tian, Emi Tran, Andrew E. Wang, Yilin Wu, Annie Xie, Jingyun Yang, Patrick Yin, Yunchu Zhang, Osbert Bastani, Glen Berseth, Jeannette Bohg, Ken Goldberg, Abhinav Gupta, Abhishek Gupta, Dinesh Jayaraman, Joseph J Lim, Jitendra Malik, Roberto Martín-Martín, Subramanian Ramamoorthy, Dorsa Sadigh, Shuran Song, Jiajun Wu, Michael C. Yip, Yuke Zhu, Thomas Kollar, Sergey Levine, Chelsea Finn

Laboratory

2024机器人学习数据操作基础模型人机交互安全

论文动机是现有机器人操作数据多来自少量实验室场景,难以支撑策略在真实家庭和办公室中的泛化。DROID的核心贡献不是提出新模型,而是设计了可跨机构复现的统一采集平台与流程,在13家机构的564个场景、86类任务上收集7.6万条野外示教数据,并附带多视角图像、深度、标定和语言标注。实验表明,用DROID训练的扩散策略在6个任务、4类地点平均较现有大规模数据方案提升约20%,更稳健且更能跨场景泛化;增益可能主要来自scaling/data。

Multimodal Diffusion Transformer: Learning Versatile Behavior from Multimodal Goals figure
RSS 2024Paper 121

Multimodal Diffusion Transformer: Learning Versatile Behavior from Multimodal Goals

Moritz Reuss, Ömer Erdinç Yağmurlu, Fabian Wenzel, Rudolf Lioutikov

Intuitive Robots Lab, Karlsruhe Institute of Technology, Germany

2024机器人学习数据扩散策略模仿学习操作基础模型

论文针对机器人模仿学习过度依赖全量语言标注、难以利用稀疏标注 play 数据的问题,提出 MDT:用多模态扩散 Transformer 学习目标条件状态表征,对齐图像目标与语言目标,并以 MGF 未来帧重建和 CLA 对比对齐两种自监督目标增强长时程操作。结果上,MDT 在 CALVIN 和 LIBERO 共164项任务上表现领先,在仅约1%语言标注的 CALVIN 上较既有 SOTA 绝对提升15%,在少于2%语言标注的 LIBERO 版本也保持竞争力,且无需大规模预训练。

Don't Start From Scratch: Behavioral Refinement via Interpolant-based Policy Diffusion figure
RSS 2024Paper 122

Don't Start From Scratch: Behavioral Refinement via Interpolant-based Policy Diffusion

Kaiqi Chen, Eugene Lim, Lin Kelvin, Yiyang Chen, Harold Soh

Dept. of Computer Science, National University of Singapore.;Smart Systems Institute, NUS.

2024机器人学习扩散策略模仿学习生成模型数据灵巧手

论文指出,扩散式模仿学习通常从高斯噪声开始生成动作,但机器人目标策略常是高维、多峰且与高斯分布相差很大,因而在少步采样和小数据场景下容易失效。作者提出 BRIDGeR,用随机插值框架把任意源策略(如启发式或数据驱动策略)桥接到专家策略,相当于先从“更像样”的初始行为出发,并给出源策略质量影响最终策略的理论分析。仿真厨房、抓取、灵巧手及真实机器人实验表明,信息更强的源策略通常明显优于高斯起点,BRIDGeR 也在推理速度与成功率的权衡上超过现有扩散策略。

Learning Manipulation by Predicting Interaction figure
RSS 2024Paper 123

Learning Manipulation by Predicting Interaction

Jia Zeng, Qingwen Bu, Bangjun Wang, Wenke Xia, Li Chen, Hao Dong, Haoming Song, Dong Wang, Di Hu, Ping Luo, Heming Cui, Bin Zhao, Xuelong Li, Yu Qiao, Hongyang Li

Shanghai Jiao Tong University;Renmin University of China;Peking University;Northwestern Polytechnical University

2024机器人学习人机交互操作数据感知基础模型

这篇工作针对现有机器人操作表征学习多借助人类视频、却偏重语义对齐或掩码重建,难以捕捉决定操作成败的交互动态这一问题,提出 MPI:输入初始/结束关键帧与语言指令,同时预测中间过渡帧以学习“怎么交互”,定位被操作物体以学习“在哪交互”,并在统一 Transformer 中联合建模。实验表明,它在真实机器人、Franka Kitchen、指代表达定位等任务上相对以往方法提升约 10%–64%,在 Meta-World 上小模型也能优于更大基线。

URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images figure
RSS 2024Paper 124

URDFormer: A Pipeline for Constructing Articulated Simulation Environments from Real-World Images

Qiuyu Chen, Aaron Walsman, Marius Memmel, Kaichun Mo, Alex Fang, Dieter Fox, Abhishek Gupta

University of Washington;Nvidia

2024机器人学习数据生成模型控制感知操作

这篇工作针对机器人学习中仿真场景仍依赖人工搭建、难同时具备视觉真实感与关节结构的问题,提出URDFormer:先用可控文生图把程序生成的URDF场景转成逼真图像,构造大规模图像-URDF配对数据,再训练Transformer从真实图片与部件框恢复带语义、运动学和动力学信息的仿真环境,并配合目标化随机化训练控制策略。实验中其生成约11.8万单体与20万厨房场景样本,部件检测F1提升到79.7%,real2sim2real在真实铰接物操作上总体成功率78%,开关任务达85%。

Learning to Learn Faster from Human Feedback with Language Model Predictive Control figure
RSS 2024Paper 125

Learning to Learn Faster from Human Feedback with Language Model Predictive Control

Jacky Liang, Fei Xia, Wenhao Yu, Andy Zeng, Maria Attarian, Maria Bauza Villalonga, Matthew Bennice, Alex Bewley, Adil Dostmohamed, Chuyuan Fu, Nimrod Gileadi, Marissa Giustina, Keerthana Gopalakrishnan, Leonard Hasenclever, Jan Humplik, Jasmine Hsu, Nikhil J Joshi, Ben Jyenis, J Chase Kew, Sean Kirmani, Tsang-Wei Edward Lee, Kuang-Huei Lee, Assaf Hurwitz Michaely, Joss Moore, Kenneth Oslund, Dushyant Rao, Allen Z. Ren, Baruch Tabanpour, Quan Vuong, Ayzaan Wahid, Ted Xiao, Ying Xu, Vincent Zhuang, Peng Xu, Erik Frey, Ken Caluwaerts, Tingnan Zhang, brian ichter, Jonathan Tompson, Leila Takayama, Vincent Vanhoucke, Izhak Shafran, Maja Mataric, Dorsa Sadigh, Nicolas Heess, Kanishka Rao, Nik Stewart, Jie Tan, Carolina Parada

2024机器人学习视觉语言模型控制人机交互规划强化学习

论文关注机器人用代码生成型LLM接收人类多轮反馈时,受上下文窗口限制而“学得快但忘得也快”的问题。作者将人机教学过程建模为POMDP,提出把补全历史交互的微调视作学习交互动力学,并结合MPC形成LMPC,在推理时搜索更短的纠错到成功路径。基于5种机器人形态、78个任务的实验表明,LMPC将未见任务的非专家教学成功率提升26.9%,平均纠错轮数从2.4降到1.9,并使未见机器人/API上的上下文学习成功率再提升31.5%。

Natural Language Can Help Bridge the Sim2Real Gap figure
RSS 2024Paper 126

Natural Language Can Help Bridge the Sim2Real Gap

Albert Yu, Adeline Foote, Ray Mooney, Roberto Martín-Martín

2024机器人学习感知数据仿真到现实灵巧手模仿学习

这篇工作针对视觉模仿学习中真实数据昂贵、而仿真与现实在外观、视角和动力学上差异很大时难以迁移的问题,提出把图像的自然语言描述当作跨域统一信号:若仿真和真实观测对应相近描述,策略就应预测相近动作;据此先让图像编码器预测语言嵌入或描述距离,学到域不变表征,再用大量仿真和少量真实示教联合训练IL策略。在多步长时程任务与可变形物体操作上,该方法较已有sim2real方法以及CLIP、R3M等预训练基线提升25%–40%。

PoCo: Policy Composition from and for Heterogeneous Robot Learning figure
RSS 2024Paper 127

PoCo: Policy Composition from and for Heterogeneous Robot Learning

Lirui Wang, Jialiang Zhao, Yilun Du, Edward Adelson, Russ Tedrake

2024数据机器人学习操作灵巧手触觉基础模型

论文关注机器人操作数据高度异构:仿真、人类视频与真机数据在模态、具身和任务上都难以直接混训。PoCo 的关键思路是把各数据源分别训练成轨迹扩散策略,并在推理时按任务、行为和域进行概率组合,甚至叠加解析代价函数,实现无需重训的策略拼接与调节。作者在四类工具使用任务上验证,组合策略在仿真和真实机器人中都比单一数据源或简单混合训练更稳健,成功率约提升 20%,且对干扰、视角变化和动态场景更鲁棒。

Tilde: Teleoperation for Dexterous In-Hand Manipulation Learning with a DeltaHand figure
RSS 2024Paper 128

Tilde: Teleoperation for Dexterous In-Hand Manipulation Learning with a DeltaHand

Zilin Si, Kevin Lee Zhang, Zeynep Temel, Oliver Kroemer

Robotics Institute, Carnegie Mellon University

2024机器人学习灵巧手操作模仿学习人机交互控制

论文针对灵巧手手内操作中“策略难学、示教难采”的瓶颈,提出 Tilde:以低成本 DeltaHand 为本体,设计与其运动学同构的 TeleHand,实现一对一关节遥操作,并结合手内相机与扩散式模仿学习训练视觉闭环策略。作者还改进手指结构以提升受力和运动精度。系统在抓取、平移、旋转、形状插入、注射器推动等 7 类任务上达到平均 90% 成功率,但遥操作、硬件改进和学习算法各自的增益文中未充分拆分说明。

HACMan++: Spatially-Grounded Motion Primitives for Manipulation figure
RSS 2024Paper 129

HACMan++: Spatially-Grounded Motion Primitives for Manipulation

Bowen Jiang, Yilin Wu, Wenxuan Zhou, Chris Paxton, David Held

CMU, 2AI at Meta

2024灵巧手操作强化学习感知触觉机器人学习

面向长时序操作中低层连续控制难探索、且技能库方法难泛化到不同物体姿态与几何的问题,HACMan++把动作表示为“做什么原语、在点云哪里落地、如何执行参数”,并用逐点、逐原语的 critic map 同时选择原语和接触位置,再由 actor 预测具体参数,从而兼顾时序组合与跨物体泛化。实验显示其在6个任务上优于非空间落地的技能方法;Double Bin 上训练/未见类别成功率为89.5%/84.9%,真实机器人零样本迁移为73%。

RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing figure
RSS 2024Paper 130

RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing

Bo Ai, Stephen Tian, Haochen Shi, Yixuan Wang, Cheston Tan, Yunzhu Li, Jiajun Wu

Stanford University, USA;University of Illinois Urbana-Champaign, USA;IHPC, Agency for Science, Technology and Research, Singapore;CFAR, Agency for Science, Technology and Research, Singapore

2024机器人学习触觉控制操作人机交互数据

针对密集装箱和非抓取操作中遮挡严重、仅靠视觉难以判断物体软硬与可插入空间的问题,RoboPack用真实交互数据学习触觉感知动力学:以关键点粒子表示场景,并用循环图网络从视觉—触觉历史中估计潜在物理属性,再结合MPC做规划。系统在配备Soft-Bubble传感器的真实机器人上仅用每任务约30分钟数据,就在长时预测和真实操作中优于纯视觉学习方法及物理模拟器。

Configuration Space Distance Fields for Manipulation Planning figure
RSS 2024Paper 131

Configuration Space Distance Fields for Manipulation Planning

Yiming Li, Xuemin Chi, Amirreza Razmjoo, Sylvain Calinon

Idiap Research Institute;Zhejiang University

2024机器人学习操作规划控制感知安全

针对传统操作规划常将任务空间距离评估与关节空间逆运动学分开处理,因而容易出现多次迭代、奇异性和梯度失真的问题,论文提出配置空间距离场CDF,直接在关节空间表示到接触/碰撞零水平集的角度距离,并设计了可在线融合多障碍的高效构建方法与MLP神经表示。实验在平面避障和7轴Franka的逆运动学、操作规划与反应式避障中表明,CDF可用一步梯度投影求解接触IK,产生更自然的绕障轨迹,并提升查询与规划效率。

Towards Tight Convex Relaxations for Contact-Rich Manipulation figure
RSS 2024Paper 132

Towards Tight Convex Relaxations for Contact-Rich Manipulation

Bernhard Paus Graesdal, Shao Yuan Chew Chia, Tobia Marcucci, Savva Morozov, Alexandre Amice, Pablo Parrilo, Russ Tedrake

2024机器人学习规划控制操作强化学习灵巧手

论文针对接触丰富操作里“接触模式离散切换、模式内动力学连续且双线性”带来的全局规划难题,提出将任务表述为凸集图上的最短路:图中路径对应接触序列,每个接触模式再用半定规划对同时优化物体位姿、接触点和接触力的非凸准静态约束做紧松弛,并通过舍入恢复可行轨迹与最优性界。以平面推动为例,大量实验显示其平均最优性差距约10%、无需初始猜测,且比现有接触规划基线更稳健,并完成了真机验证。

THE COLOSSEUM: A Benchmark for Evaluating Generalization for Robotic Manipulation figure
RSS 2024Paper 133

THE COLOSSEUM: A Benchmark for Evaluating Generalization for Robotic Manipulation

Wilbert Pumacay, Ishika Singh, Jiafei Duan, Ranjay Krishna, Jesse Thomason, Dieter Fox

University of Washington;Allen Institute for Artifical Intelligence;University of Southern California;NVIDIA

2024机器人学习操作数据感知模仿学习基础模型

论文指出,现有机器人操作评测大多贴近训练环境,难以检验真实部署所需的环境泛化。作者提出 THE COLOSSEUM,在 RLBench 上构建含20个任务、14类系统扰动的基准,并配套可复现实物与仿真-现实对照评测。对5个SOTA模型的测试表明,单一扰动会使成功率下降30%–50%,多扰动叠加时下降超过75%;其中干扰物数量、目标颜色和光照最伤性能,而3D方法整体比2D方法更稳健,且仿真与真实结果具有较强相关性。

One-Shot Imitation Learning with Invariance Matching for Robotic Manipulation figure
RSS 2024Paper 134

One-Shot Imitation Learning with Invariance Matching for Robotic Manipulation

Xinyu Zhang, Abdeslam Boularias

Rutgers University

2024模仿学习操作感知机器人学习灵巧手仿真到现实

这篇工作针对多任务操作策略只能覆盖训练任务、学习新任务又需大量示教的问题,提出 IMOP:不直接回归末端位姿,而是从离线示教中发现与语义动作相关的不变区域,在单次无标注示教与测试场景间做图匹配,再用点集配准解析求出动作。该方法在18个RLBench基准任务上平均成功率较SOTA高4.5%,对22个未见任务无需微调、仅凭一次示教仍提升11.5%,并展示了形状泛化与单次仿真到现实迁移能力。

Tactile-Driven Non-Prehensile Object Manipulation via Extrinsic Contact Mode Control figure
RSS 2024Paper 135

Tactile-Driven Non-Prehensile Object Manipulation via Extrinsic Contact Mode Control

Miquel Oller, Dmitry Berenson, Nima Fazeli

Department of Robotics, University of Michigan

2024机器人学习触觉操作灵巧手控制感知

这篇论文关注机器人抓着一个物体去推动、顶起或转动外部物体时,接触非线性、多模态且易失稳,传统方法难同时管好位姿与传力。作者的核心创新是把高分辨率柔顺触觉既作为手内物体位姿与外部接触位置的观测来源,也作为可参数化的被动弹性元件;再在预先指定的粘着/滑动接触模式内,把静力平衡、摩擦与运动学约束写成可微优化,从而用梯度法联合求解末端运动、抓持物体姿态和接触力。实验在多种几何体上验证了非抓取平面滑动和枢转等技能,并比较了4种控制实现,说明该方法能在真实系统上复现目标位姿与受力目标。