Science Robotics / Research Article

Neurorobotic fusion of prosthetic touch, kinesthesia, and movement in bionic upper limbs promotes intrinsic brain behaviors

作者：Paul D. Marasco, Jacqueline S. Hebert, Jonathon W. Sensinger, Dylan T. Beckler, Zachary C. Thumser, Ahmed W. Shehata, Heather E. Williams, Kathleen R. Wilson · 单位：Laboratory for Bionic Integration, Department of Biomedical Engineering, Lerner Research Institute, Cleveland Clinic, 9500 Euclid Avenue, ND20, Cleveland, OH 44195, USA, Advanced Platform Technology Center, Louis Stokes Cleveland Department of Veterans Affairs Medical Center, 10701 East Boulevard 151 W/APT, Cleveland, OH 44106, USA, Division of Physical Medicine and Rehabilitation, Department of Medicine, University of Alberta, Edmonton, Alberta T6G 2E1, Canada, Glenrose Rehabilitation Hospital, Alberta Health Services, 10230-111 Avenue, Edmonton, Alberta T5G 0B7, Canada, Institute of Biomedical Engineering, University of New Brunswick, 25 Dineen Drive, Fredericton, New Brunswick E3B 5A3, Canada, Research Service, Louis Stokes Cleveland Department of Veterans Affairs Medical Center, 10701 East Boulevard, Research 151, Cleveland, OH 44106, USA, Department of Biomedical Engineering, University of Alberta, Edmonton, Alberta T6G 2E1, Canada · 来源：Science Robotics · 发布日期：2021-09-29 · DOI：10.1126/scirobotics.abf3368

仿生机器人机器人

精读笔记

Problem Setting

论文标题：Neurorobotic fusion of prosthetic touch, kinesthesia, and movement in bionic upper limbs promotes intrinsic brain behaviors（Science Robotics / 2021）。

这篇论文实际解决的是高位上肢截肢场景下，闭环 bionic prosthesis 是否能从“可被控制的外部工具”推进到“被神经系统以接近自身肢体方式使用的感知-运动对象”。这不是简单的触觉反馈提升任务分数，而是要证明多模态感觉回路能改变使用者的行为组织方式：少看手、提前看目标、用更平衡的辨别策略、形成更可靠的误差校正、产生更强 ownership。

真正困难点在于 prosthetic control 的瓶颈不是单个通道精度，而是人机系统的信息结构错位。标准假手把大量低层状态估计负担转移给视觉和显式认知：用户必须看着手确认开合、接触、力、物体是否滑落/压坏。已有感觉反馈工作常能在受限辨别任务中证明有效，但很难证明这种反馈在视觉存在、真实假体操作、多任务行为中仍能改变控制策略。

关键矛盾是：假体越复杂，用户越需要状态反馈；但如果反馈只是任意替代信号，用户又必须额外学习映射，认知负担反而上升。本文试图用神经语义对齐的 touch + kinesthesia + motor intent 来避免这个矛盾。

Motivation

已有路线不够的地方有两个。第一，很多 sensory feedback 研究关注“能否感到接触/位置”或“能否区分物体”，但没有证明这些感觉会被纳入自然感知-运动控制，而不是成为另一个需要学习的辅助 cue。第二，临床 prosthesis evaluation 常用速度、完成率或主观评分，容易出现 ceiling effect，也无法区分用户是靠更自然的闭环控制，还是靠更熟练的补偿策略完成任务。

作者的核心观察是：如果一个 bionic limb 真正恢复了有用的感觉-运动环路，它的收益不一定首先表现为任务更快，而应表现为行为分布向 able-bodied 靠近。例如 gaze 不再黏在假手上，搜索策略不再极端偏速度或偏准确，误差校正对反馈更信任，ownership 增强。这些是“内隐脑行为”的外显代理。

因此本文的关键缺口不是缺一个新传感器，而是缺一个同时具备神经语义对齐、多模态闭环、系统级行为评估的实验范式。

Core Idea

核心思想是把 targeted reinnervation 作为一种双向神经路由机制，而不是单纯的肌电控制增强。TMR 让原本控制手/腕/肘的神经命令通过近端肌肉表达出来；TSR 让接触反馈通过重新支配的皮肤投射到缺失手；TMR 相关深部肌肉刺激则诱发缺失手闭合的运动觉。这样，机器人假体的状态不再以任意编码返回，而是尽量沿着大脑原本预期的身体语义通道返回。

这个建模方式的变化很重要：prior 中很多 feedback 是 sensory substitution，本质上是“把假体变量映射成某种可感信号”；本文更接近 sensory restoration / representation alignment，即让反馈在身体部位、动作含义和时间结构上与原本肢体变量对齐。其 inductive bias 是：大脑已有上肢感知-运动模型仍可被调用，只要输入输出通道足够自然和一致。

本质区别不在于同时用了三个模块，而在于重新组织信息流：运动命令、触觉事件、运动状态都进入同一个身体化闭环，而不是用户通过视觉在外部监督一个机械装置。这也是它可能更可迁移的地方：原则上任何接口只要能提供语义对齐、低延迟、任务相关的多模态反馈，都可能触发类似行为迁移。

Method

1. 神经运动控制：TMR-motor 的作用是把高位截肢后不可直接读取的远端运动意图转接到近端肌肉。它解决的是 control source 缺失，而不是单纯提高 EMG 分类性能。核心变化是用户可以用“想动缺失手/腕/肘”的方式驱动假体，减少非自然控制映射。

2. 投射触觉反馈：TSR-touch 将假手指端接触映射到重新支配皮肤上对应缺失手指的触觉 percept。它解决的是接触确认和力调节长期依赖视觉的问题。核心变化是接触事件变成身体坐标中的感觉，而不是外部报警信号。

3. 抓握运动觉反馈：TSRm-kinesthesia 用与假手闭合同步的深部振动诱发“手正在闭合”的 percept。它解决的是 aperture、pre-shaping、运动停止/物体接触状态估计缺失。核心变化是用户获得连续动作状态，而不仅是离散接触。

4. 多视角评估：PEP、GaMA、PIC、GRIP、adaptation rate 分别测不同层面的闭环行为。这里评估框架本身是方法贡献的一部分，因为作者不满足于完成率，而是显式测策略、视觉分配、所有感和内部模型代理变量。

Key Insight / Why It Works

最可能有效的核心原因是 representation alignment，而不是设备复杂度。触觉和运动觉如果只是 vibrotactile substitution，用户仍需要学习一套外部码本；而本文的反馈通过 targeted reinnervation 被投射为“我的手指被碰到”“我的手在闭合”。这降低了大脑将反馈纳入现有 internal model 的成本，因此能释放视觉监控、改善误差校正和 ownership。

第二个关键是模态互补。触觉擅长回答“是否接触/压力多大”，运动觉擅长回答“手在哪里/是否仍在运动”。单独触觉可以改善力控和物体辨别，但对视觉释放和动作预期不一定充分；加入运动觉后，用户更可能信任假体状态估计，从而把 gaze 提前转移到下一动作目标。这一点是本文最有价值的机制判断。

第三个 insight 是评估必须看策略而不是只看速度。PEP 的 foraging framing 把错误类型、时间代价和收益放在一起，能看出用户是胡乱快速抓、过度保守，还是进入接近正常的 speed-accuracy trade-off。传统速度指标会把这类变化抹掉。

但也要直接指出：不是所有多模态叠加都有效。GRIP 中不可压缩 manipulandum 使假手接触后停止运动，运动觉随之关闭，造成反馈语义不自然，反而削弱部分精度。这说明本文贡献不是“更多 feedback 更好”，而是“语义与任务动力学匹配的 feedback 才有用”。多模态融合的上限由对齐质量决定。

这不是 scaling / data coverage 型工作，也不是 retrieval 或 test-time compute；它更像通过更好的 inductive bias 和 representation alignment，让已有脑内控制结构重新可用。辅助成分是工程集成和商业假手形态约束下的实现；核心贡献是证明这些通道在系统级行为指标上产生一致方向的改变。

Relation To Prior Work

最接近的谱系包括三类：TMR/TSR targeted reinnervation 工作、外周神经刺激提供触觉/位置反馈的 bidirectional prosthesis、以及感觉替代式 vibrotactile/electrotactile feedback。本文与这些工作的差异不是“也有触觉反馈”，而是把高位截肢、神经运动控制、投射触觉、抓握运动觉放在同一可穿戴假体系统里，并用行为神经科学指标拆解其相对贡献。

相对 peripheral nerve stimulation 工作，本文的接口更非侵入于长期电子植入层面，但依赖外科重定向后的生物接口；它强调自然投射 percept 和商业假体可集成，而不是高通道神经刺激分辨率。相对传统 TMR 控制，它不只读出 motor intent，而是把 reinnervated tissue 作为感觉回写通道。相对 sensory substitution，它的实质创新在于反馈语义更接近 restoration，而不是任意编码。

看似新的部分中，很多组件本身并非首次出现：TMR、TSR、触觉 tactors、90Hz 振动诱发运动觉、Fitts-law 力控评估、crossmodal congruency 都有前史。实质新增信息在于：三类神经机器人模态同时工作时，行为指标是否一致向 able-bodied pattern 移动，以及哪些任务中 touch 与 kinesthesia 分别起主导作用。

Dataset / Evaluation

评估是真机、真实截肢参与者、真实假体系统，不是仿真或离体手，这一点很强。任务覆盖也比较有野心：硬度搜索、杯子/盒子搬运、动态 ownership、目标抓握力、落杆误差适应，分别覆盖辨别、视觉-运动、身体化、力控、内部模型代理变量。它们共同支撑作者关于“更接近正常行为”的 claim，而不仅是某个 benchmark 的分数提升。

但 evaluation 的统计外推很弱：核心 N=2，且两个参与者截肢水平、可用 percept、控制能力和设备状态都不同。条件顺序不能随机，部分测试中 pTH 锁肘，pSD 运动觉系统有代码问题。文中通过与 able-bodied、body-powered、native myoelectric 用户对照来定位性能谱系，这是合理的 contextualization，但不能替代大样本因果验证。

这些 benchmark 基本能验证“在这些设计良好的任务上，行为代理指标向 able-bodied 靠近”。它们尚不能充分验证“日常生活长期使用中自然行为被稳定恢复”，也不能直接证明脑内机制本身已经恢复；intrinsic brain behaviors 主要是从 gaze、strategy、adaptation、ownership 等行为指标间接推断。

Limitation

1. 成立前提强：需要 targeted reinnervation 后存在稳定、可定位、语义自然的触觉和运动觉 percept。若 percept 模糊、错位、漂移或延迟较大，机制可能不成立。

2. 可扩展性不明：当前只展示抓握闭合相关运动觉和有限手指触觉。多自由度手腕、多指独立运动、复杂手姿态下，如何避免 percept 混叠和 feedback overload，文中未充分说明。

3. 归因不完全干净：touch 与 kinesthesia 的贡献在不同任务中有趋势性解释，但不是严格 factorial design。没有 kinesthesia-only 条件，且顺序未随机，因此某些增益来源不清。

4. 多模态并非单调收益：GRIP 中 kinesthesia 与任务物理约束不匹配导致性能下降，说明系统对 feedback semantics / timing / mechanics 的耦合高度敏感。这不是一个简单可堆叠模块。

5. “intrinsic brain behaviors”证据是行为代理而非神经记录。它说明使用策略更像正常人，但不能证明皮层/小脑/身体表征已经按正常模式重构。

6. deployment gap 仍在：实验任务虽比传统 benchmark 更好，但还不是长期家庭环境。是否减少假体弃用、提高全天候使用、降低代偿损伤，仍是开放问题。

Takeaway

  • 1. 这篇最值得记住的不是某个 tactile tactor，而是一个判断标准：好的 bionic feedback 应该让用户少用显式视觉监控和认知补偿，而不是只让实验任务更快。
  • 2. 多模态感觉反馈的核心不是数量，而是语义、身体坐标和时序对齐。
  • 反馈一旦与任务动力学错位，增加模态可能会伤害控制。
  • 3. 未来 prosthesis evaluation 应从 outcome score 转向 behavior-shape metrics：gaze allocation、decision strategy、adaptation rate、ownership 这类指标更能揭示闭环系统是否真的被神经系统吸收。

一句话总结

这篇论文在上肢仿生假体方向中的位置，是把 targeted reinnervation 从单点控制/反馈技术推进为语义对齐的多模态闭环神经机器人系统，并用行为神经指标证明其能把 prosthesis use 从显式补偿推向更接近自然肢体控制的演化。