IEEE Transactions on Robotics

Addressing Human–Robot Symbiosis via Bilevel Optimization of Robotic Knee Prosthesis Control

作者：Wentao Liu, Varun Nalam, Jennie Si, He Huang · 机构：UNC/NCSU Department of Biomedical Engineering, the University of North Carolina at Chapel Hill, Chapel Hill, NC, USA; North Carolina State University, Raleigh, NC, USA; School of Electrical, Computer, and Energy Engineering, Arizona State University, Tempe, AZ, USA

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：170-183

控制优化外骨骼仿生机器人强化学习

精读笔记

Problem Setting

这篇论文不是在做一个新的 prosthetic knee trajectory tracking controller，而是在处理 powered prosthesis 个体化控制里更根本的问题：优化目标到底应该是什么。传统 knee prosthesis RL 可以把膝关节若干 peak/timing feature 拉到 normative target，但这只保证机器人关节局部行为，不保证人-假肢整体系统进入更健康或更自然的协调模式。

真正困难点在于 human-prosthesis 是一个物理耦合的双控制器系统：人会适应机器人，机器人又通过力学耦合改变人的步态。若控制目标只看机器人，人体侧变化被当成环境扰动；若只看人体宏观指标，反馈慢且难以映射到关节级控制。关键矛盾是：需要足够低维、在线可优化的目标，同时又不能丢掉人侧关键状态。

作者把问题收缩到一个具体但有代表性的切口：在膝假肢 STE phase 中，不仅优化 prosthetic knee kinematics，还显式优化 thigh segment extension。这个选择背后假设是：残余髋/大腿段伸展不足是 transfemoral amputee 的关键功能缺陷之一，而膝假肢 impedance 可以通过力学耦合影响该人侧状态。

Motivation

已有路线缺的是一个“可学习的 joint human-robot objective”。HIL optimization 通常优化对称性、代谢或偏好，这些指标和底层 impedance 参数之间关系弱、延迟大、噪声高；robot-state RL 则优化 knee angle/timing，效率高但目标太局部。virtual constraint/thigh-driven control 虽然建立了 thigh-knee coordination，但本质上是用人体残余运动驱动机器人，协调方向主要是 human-to-robot，而不是 robot 反过来帮助 weak human joint。

作者的核心观察是：如果 prosthesis control 的目标是改善人机整体功能，那么 cost function 不能只描述 prosthesis 是否像正常膝盖，而应描述 prosthesis 与人体残余段是否共同达到期望 gait pattern。关键缺口不是“还缺一个 RL 算法”，而是“如何给 RL 一个个体化且包含人体状态的代价函数”。

因此本文选择 IRL 作为上层机制，不是因为 IRL 在理论上能恢复真实 human cost，而是因为它提供了一种比人工调权重更系统的 cost shaping 手段。这个动机是合理的：在低维特征空间里，最难的 engineering bottleneck 往往就是各 feature 权重如何设。

Core Idea

论文真正的核心思想是：把 prosthesis personalization 拆成两个层级——上层学习“应该优化什么”，下层学习“怎样调 impedance 才能达到这个目标”。IRL 估计 knee angle error、knee timing error、thigh angle error 的个体化权重；RL/PICE 在该 cost 下在线调整 FSM impedance 参数。这样控制器不再是 robot-only trajectory optimizer，而变成一个 human-robot hybrid-state optimizer。

这个建模方式引入的 inductive bias 很明确：人体状态不是事后评估指标，而是进入控制目标的状态变量；机器人膝关节不是单纯模仿 normative knee profile，而是通过保留 knee profile 的一定自由度去塑造 thigh motion。换句话说，论文重新组织了信息流：从“人体运动 → 机器人跟随/适配”转为“机器人控制 → 人体状态也被纳入闭环优化”。

和 prior 的本质区别不在于用了 IRL+RL 这个组合，而在于把 IRL 用来估计 human/robot feature trade-off，把 RL 用来执行这个 trade-off，并把二者放进真实人机闭环。它更像是 cost-level personalization，而不是 policy-level black-box learning。

Method

方法中最关键的机制有三个。

第一，保留 FSM impedance controller 作为底层执行结构。它解决的是安全性、可解释性和临床可部署性问题。直接端到端学习 torque policy 在这种小样本人机实验里不现实；FSM-IC 把动作空间限制为每个 gait phase 的 stiffness、damping、equilibrium angle 调整，使 RL 只需搜索可控的 impedance 参数变化。

第二，在 STE phase 引入 hybrid state：knee peak angle error、knee timing error 加 thigh angle error。这个设计解决的是 robot-only objective 的盲点。作者没有把所有人体状态都塞进去，而是选择与 hip extension overlap 最大的 phase 和一个最低 thigh angle feature。这是强 inductive bias，也是效率来源。它带来的核心变化是：RL 的最优参数不再只由 knee feature 决定，而会被 thigh extension 牵引到另一类 knee impedance solution。

第三，用 IRL 学 cost weights，而不是手工设定 human/robot 权重。由于 cost 是二次型且特征极低维，IRL 实际上是在做有约束的 feature-weight separation / cost shaping。它解决的是人工权重调节不可扩展的问题，但没有解决 feature selection 本身。其价值在于让不同用户的 thigh term 权重可变，并将这种个体差异传递给下层 RL。

需要注意，bilevel 在这里并不是复杂的可微双层优化，而是 IRL 和 forward RL 的交替过程。它的实际贡献更接近在线闭环 cost refinement，而非严格意义上的 end-to-end bilevel learning。

Key Insight / Why It Works

这篇论文最重要的 insight 是：prosthetic knee kinematics 的目标约束是欠定的。只用四个 knee feature 点约束一个完整 gait-cycle knee trajectory，实际上留下了大量轨迹形状和 impedance 参数自由度。RSBC 在这个自由度里只关心 knee feature，因此会收敛到某个 robot-local optimum；HSBC 加入 thigh error 后，相当于在同一个可行 knee-feature manifold 上选择更有利于 thigh extension 的解。

所以方法有效的核心原因不是 IRL 神奇地学到了 human motor objective，而是加入 human-state feature 后改变了 RL 搜索空间中的偏置：它把原本对 knee tracking 等价的若干 impedance 解区分开，优先选择能改善人侧大腿段运动的解。这是非常有价值的控制 insight。

IRL 的作用更像 cost shaping / weight calibration，而不是 full inverse optimal control。文中 feature basis 是人工指定的，目标 thigh profile 也是人工指定的，demonstration 的语义也没有充分展开。因此最核心贡献应归因于“把人体状态放入低维可在线优化的 prosthesis objective”，而不是归因于 IRL 理论本身。

哪些部分可能只是辅助：PICE、FSM phase segmentation、knee feature extraction 都来自既有系统，更多是让真机实验可跑通的 infrastructure。bilevel 的收敛速度也部分来自强先验：可行 impedance database、继承已有 policy、低维状态、有限 phase、严格 safety bounds。这不是 scaling 论文，而是 strong inductive bias + constrained online optimization。

增益来源仍有不清楚之处。HSBC 改善 stance time 和 step length，可能确实来自 better human-robot coordination；也可能只是因为 thigh-extension penalty 导致 stance phase knee impedance 更保守/更支撑，从而间接延长 stance。文中没有充分分解不同 impedance 参数变化与生物力学结果之间的因果链。

Relation To Prior Work

这篇工作处在三条技术谱系的交叉处：finite-state impedance prosthesis control、HIL/RL parameter tuning、IRL-based objective inference。最接近的是作者先前的 RSBC/PICE 系列：同样在线调 impedance，同样基于 knee feature error。本文的新增信息是把人侧 thigh state 纳入状态/代价，并用 IRL 个体化其权重。

和传统 HIL metabolic/symmetry optimization 相比，它不是优化慢变量或整体步态指标，而是在关节级闭环中引入人体局部状态，因此响应更快、样本需求更低。但代价是指标更窄，未必对应长期健康或效率。

和 virtual constraint / thigh-driven prosthesis control 相比，本文不是把 thigh angle 当作 phase variable 去驱动 knee，而是让 knee control 反过来优化 thigh behavior。这是实质性差异：前者强调 human-to-robot coordination，后者尝试 robot-to-human assistance，即所谓 bidirectional symbiosis。

看似新的地方中，IRL+RL 的组合并不新，二次 cost weight inference 也不新；真正实质创新是把该框架落到真实 powered knee prosthesis 的在线个体化控制，并证明加入一个人侧 joint/segment feature 可以改变最终人机步态结果。

Dataset / Evaluation

评价的优点是用了真实硬件和真实人机闭环，而不是仿真或离线 benchmark；包含 nondisabled adapter users 和 transfemoral amputees，至少说明系统在目标用户上可运行。多天 session 和随机初始 impedance 参数测试也一定程度支持 policy robustness，而不仅是一次调参成功。

但 evaluation 主要验证的是 feasibility 和短期 biomechanical effect，不足以完全支撑“human-robot symbiosis”这个较强 claim。参与者只有 5 人，其中 amputee 只有 2 人；任务固定在 treadmill、单一速度、单一设备、单一人侧 feature。没有跨地形、跨速度、长期适应，也没有代谢、平衡、socket load、contralateral limb loading 等更临床相关指标。

与 RSBC 的比较是合理 baseline，因为它隔离了“是否加入人侧状态”这一主要差异。但增益归因仍不完全干净：HSBC 与 RSBC 不只是状态不同，cost shaping 和收敛准则也不同；用户虽然不知道控制器类型，但短期 treadmill 实验仍可能受日间状态、alignment、适应过程影响。总体上，实验支持“加入 thigh state 的在线优化能改变短期步态指标”，还不能证明广义共生或长期健康收益。

Limitation

第一，方法成立强依赖人工 feature selection。IRL 只在 knee angle、timing、thigh angle 这些预定义特征上调权重；如果关键人体状态没有被放进 feature basis，IRL 无法发现它。因此问题被部分转移为“专家如何选 feature 和 target”。

第二，它依赖可行初始 policy / impedance database。系统不是从任意参数或任意用户状态开始学习，而是在已有安全控制库和先验 policy 上做局部优化。这对真实部署是合理的，但限制了方法的 autonomous scalability。

第三，所谓 personalization 的范围较窄。每个用户的权重不同，但 target profile 仍主要来自 normative gait / prior data。对于 amputee，最优 gait 未必等于 nondisabled normative profile。文中也承认 user-preferred profiles 可能更合适。

第四，长期共适应没有被验证。人会随着 prosthesis 行为改变自己的 motor strategy，今天学到的 thigh weight 明天可能不再最优。作者提出可以持续更新权重，但这会引入 stability、nonstationarity 和 safety 问题，文中未充分说明。

第五，临床意义仍悬而未决。stance time、step length、thigh extension 的改善是有希望的 proxy，但是否降低代谢、减少关节负担、改善平衡或减少二次损伤，需要更大规模长期研究。当前结果不能直接外推到健康收益。

第六，IRL 语义偏弱。这里的 IRL 更像在低维 quadratic cost 中寻找能让 forward RL 收敛的权重，而不是恢复真实 human objective。若把它称为 objective inference 可以接受，但不要过度解读为理解了人类运动代价函数。

Takeaway

  • 1. 对 wearable robot / prosthesis 来说，真正可迁移的 insight 是：不要只优化机器人本体状态，应把关键人体状态作为控制目标的一部分；哪怕只是一个低维人体 feature，也可能显著改变 policy 收敛到的机械解。
  • 2. Cost design 比 policy class 更关键。
  • 本文没有发明新的强 RL 算法，而是通过学习 human/robot feature weighting 改变了搜索偏置。
  • 这对小样本真机 HIL 场景尤其重要。

一句话总结

《Addressing Human–Robot Symbiosis via Bilevel Optimization of Robotic Knee Prosthesis Control》（IEEE Transactions on Robotics / 2026）把 powered knee prosthesis 个体化控制从 robot-only trajectory tuning 推进到 human-robot hybrid cost shaping，是一篇以强结构先验和在线双层优化实现短期人机协调改善的真机控制工作。