IEEE Transactions on Robotics

A Human–Robot Collaboration Controller Utilizing Confidence for Disagreement Adjustment

作者：Muyuan Ma, Long Cheng · 机构：School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China; State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China

会议/期刊：IEEE Transactions on Robotics · 发布日期：2024 · 页码：2081-2097

控制操作状态估计强化学习人机交互

精读笔记

Problem Setting

论文标题：A Human–Robot Collaboration Controller Utilizing Confidence for Disagreement Adjustment（IEEE Transactions on Robotics / 2024）。

这篇论文实际解决的不是“如何预测人的意图”这个单点问题，而是 pHRI 中更实际的闭环问题：机器人在目标不确定时如何避免把帮助变成阻碍。协作搬运类任务中，人通过物理力把意图传给机器人；机器人若错误判断目标并高增益跟踪，就会与人产生力方向冲突。这里的关键矛盾是 assistance 和 autonomy 的冲突：机器人越主动，潜在省力越多；但意图错时，主动性越强，disagreement 越大。

以前方法常卡在两个位置。纯 model-free 意图估计依赖训练分布，遇到新障碍、新终点、人的策略变化时置信度不可控；纯 model-based 方法依赖人体阻抗/动力学假设，在线适应能力有限且模型偏差会直接进入控制。另一方面，传统可变阻抗/导纳控制往往优化交互舒适性或跟踪误差，却没有把“目标估计是否可信”作为角色分配的核心信号。因此，真正困难点是估计误差与控制主动性耦合后的闭环效应，而不是单独提升预测精度。

Motivation

作者的核心观察是：pHRI 中 disagreement 很多时候不是来自底层控制器不稳定，而是来自机器人对人的目标判断过于自信。一个错误目标在低阻抗系统里可能只是轻微偏差，但在高辅助、高刚度或高主动性的机器人上会变成明显对抗。

已有路线缺的是一个 uncertainty-aware 的 role allocation 机制。意图估计器通常输出点估计，控制器默认其可靠；可变导纳/阻抗控制虽然能调参数，但调节依据往往是力、误差、能耗等后验信号，缺少对“目标可信度”的前馈调制。论文想补的就是这层信息流：让控制器知道估计目标是否值得追，从而决定是帮人推进，还是让人重新主导。

Core Idea

论文的核心思想可以概括为：把置信度从意图估计的副产品提升为控制策略中的角色分配变量。外环输出人的期望位置及其 confidence；内环根据该 confidence 调整参考 admittance 模型参数。高 confidence 时，机器人更积极地朝估计目标施力以降低人的 effort；低 confidence 时，机器人降低对估计目标的执着，优先减少与人施力方向相反的成分。

这改变了建模方式：系统不再假设“估计目标=控制目标”，而是假设“估计目标的可信度决定机器人应承担多少控制权”。这个 inductive bias 很合理：在 pHRI 中，人始终在闭环中，可以作为最后的意图校正源；机器人不需要在所有时刻都正确预测，只需要在不确定时别强行主导。和 prior 的本质区别在于，它把 uncertainty 显式接入 assistance/disagreement trade-off，而不是只用于评价估计质量。

Method

关键机制一：外环意图估计不是只追求更准，而是输出可用于控制的置信度。BNN 分支覆盖训练分布内的人机运动模式，并通过额外 uncertainty 输出试图刻画模型误差；RLS-FF 分支基于人体阻抗模型在线估计刚度/阻尼，用于补偿人机共同适应或分布偏移。两者通过置信度比较切换。这个设计解决的是单一估计器在分布变化下不可依赖的问题，但切换策略本身较粗糙。

关键机制二：内环用 NN-MRAC 把复杂机器人动力学映射到一个可调参考模型。这里的作用不是方法新颖性，而是把底层非线性动力学隔离掉，使高层只需要调参考模型参数。RBF NN 补偿动力学非线性，MRAC 保证 tracking error 有界；真正服务的是让 variable admittance 成为可学习、可解释的控制接口。

关键机制三：DDPG 调节参考模型的惯量、阻尼、刚度，在 disagreement 和 assistance 之间做权衡。reward 中置信度决定两个目标的权重：低置信时更重视减少人机对抗，高置信时更重视降低人的 effort。这个设计是论文的核心控制逻辑；RL 在这里更像连续参数调度器，而不是学习复杂长期策略。

Key Insight / Why It Works

最重要的 insight 是：在 pHRI 中，控制器对意图估计误差的敏感性可能比估计误差本身更关键。一个中等精度的估计器，如果能在不确定时触发机器人退让，可能比一个更准但无置信调节的估计器更安全、更协作。这也是为什么论文中 variable reference model 的收益明显：它改变了错误估计进入控制闭环后的放大机制。

真正有效的部分大概率是 confidence-conditioned admittance scheduling，而不是 BNN、RLS、MRAC、DDPG 的全部组合。BNN 提供 uncertainty，RLS 提供在线 backup，MRAC 提供稳定跟踪外壳，DDPG提供参数调节；但系统性能提升的核心来自“低置信降低主导性、高置信增强辅助”这个策略结构。换句话说，贡献更接近 better inductive bias / representation alignment：把意图估计的不确定性与机器人角色参数对齐。

DDPG 的作用需要谨慎看待。它并没有学习复杂人类策略或长期规划，更像是在一个低维连续动作空间里拟合 admittance 参数调度。由于训练中 human force 是由参考模型生成的，仿真里 f_h 与 action/state 的关系被人为闭合，真实世界未必满足。文中也承认这种匹配在真机中会消失。因此 RL 增益可能部分来自工程化参数搜索，而不是泛化性策略学习。

BNN uncertainty 的作用也不能过度解读。论文使用额外输出通道学习 model uncertainty，但没有系统展示 calibration、OOD detection 或置信度-误差曲线。若置信度只是粗略相关，系统仍可能有效，因为控制策略只需要一个大致的“可信/不可信”门控信号；但若置信度高估，系统会更危险。这个风险文中未充分说明。

Relation To Prior Work

这篇论文处在三条技术谱系的交叉处：意图估计中的 model-free/model-based 融合，可变阻抗/导纳控制，以及 adaptive/learning-based pHRI 参数调节。最接近的 prior 是基于人体阻抗估计的 pHRI 控制、使用 NN/MRAC 补偿机器人动力学的方法，以及 RL 调节 impedance/admittance 参数的工作。

看似新的模块多数是已有思想重组：BNN uncertainty、RLS-FF 人体阻抗估计、RBF NN 动力学补偿、DDPG 连续控制都不是新技术。实质新增的信息是把 confidence 明确作为 disagreement adjustment 的调制变量，并将其嵌入参考模型参数调节，而不是只作为估计器输出的诊断量。

和传统可变导纳控制相比，本方法的差异不在于“参数可变”，而在于参数变化由意图可信度调制。和纯 RL pHRI 相比，它没有让 RL 直接控制机器人，而是让 RL 在稳定控制外壳上调参考模型，降低了学习控制的风险。和 model-based 人体模型方法相比，它不完全押注人体模型正确性，而是用 model-free 分支提供分布内预测，用 model-based 分支在线修正。

Dataset / Evaluation

数据来自 Franka Panda 上自采的协作搬运/越障轨迹，规模较小，场景是三个障碍高度，每类约十次。这个数据足以验证论文设定下的机制，但不能支撑强泛化 claim。真实实验中确实有未出现在训练集中的障碍和终点，这是一个有价值的测试，但仍属于同一任务族、同一机器人、类似交互方式。

评估分两层。仿真 point-to-point 任务通过 oracle 目标、已有 NN 方法和固定/可变参考模型组合对比，较清楚地展示了：意图估计质量和 variable reference model 都影响 disagreement，且 proposed estimator 接近 oracle。但仿真中的人力由模型生成，且 reward/环境与控制结构高度一致，存在较强的 evaluation bias。

真机实验更能支持核心 claim：variable reference model 相比固定参考模型减少了平均对抗并提高 assistance 指标。不过对比对象有限，没有系统 ablation：例如只用 BNN、不用 RLS；只用置信度规则调参、不用 DDPG；随机/手工 confidence gating；不同人的跨被试泛化。因而目前证据说明“这个组合在该搬运任务上有效”，但还不能说明每个模块都是必要的。

Limitation

第一，方法强依赖置信度可用。BNN 的 uncertainty 是否 calibrated 文中未充分说明；RLS 分支的置信度还包含人工设定项，严格意义上不是完全数据驱动的可信度估计。如果 confidence 与真实误差脱钩，控制器可能在错误方向上增强辅助。

第二，人体模型假设较强。RLS 分支默认人的交互近似为局部线性阻抗，且刚度/阻尼对角、平移旋转无耦合。这对慢速搬运可能够用，但对快速策略切换、多接触、多目标协商或非线性人体动作不一定成立。

第三，RL 部分的现实迁移上限不清。训练中 f_h 由参考模型生成，真实实验中人的力并不满足同一结构。DDPG 学到的可能只是仿真模型下的参数调度规律，而非真实 human adaptation。增益来源不清，可能主要来自 variable admittance 的保守策略，而不是 RL 本身。

第四，任务结构较窄。论文把意图压缩为期望位置 x_d，这适合搬运到目标点，但不适合包含语义目标、路径约束、协商意图或多阶段规划的协作任务。所谓泛化更像在相近轨迹分布中的插值/轻度外推，而不是任务级泛化。

第五，稳定性证明只覆盖 NN-MRAC 跟踪误差有界，并不完整覆盖外环切换、置信度误判、DDPG 在线参数变化与人闭环行为共同作用下的安全性。实际部署中最关键的 failure mode 恰恰在这些耦合处。

Takeaway

  • 1. pHRI 中 uncertainty 不应停留在 perception/estimation 层，而应直接进入 role allocation；这是比单纯提高意图预测精度更可迁移的设计原则。
  • 2. 对协作控制而言，好的策略不是始终更主动，而是根据目标可信度调节主动性。
  • 低置信退让、高置信辅助，是一个简单但有效的 inductive bias。
  • 3. 将学习限制在参考模型参数层，而不是直接学习底层控制，是现实机器人 pHRI 中较稳妥的路线：底层保稳定，高层学角色。

一句话总结

这篇论文的价值在于把意图估计置信度转化为人机角色分配信号，用 uncertainty-aware variable admittance 缓解 pHRI 中“错误辅助导致对抗”的问题，属于学习增强自适应控制的一次有效但任务范围较窄的机制重组。