IEEE Transactions on Robotics

Complete Autonomous Robotic Nasopharyngeal Swab System With Evaluation on a Stochastically Moving Phantom Head

作者：Peter Q. Lee, John S. Zelek, Katja Mombaur · 机构：Systems Design Engineering, University of Waterloo, Waterloo, ON, Canada; Mechanical and Mechatronics Engineering, University of Waterloo, Waterloo, ON, Canada; Optimization and Biomechanics for Human-Centred Robotics (BioRobotics Lab), Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology, Karlsruhe, Germany

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：2050-2067

控制医疗机器人视觉状态估计

精读笔记

Problem Setting

《Complete Autonomous Robotic Nasopharyngeal Swab System With Evaluation on a Stochastically Moving Phantom Head》（IEEE Transactions on Robotics / 2026）处理的是通用协作机械臂在非固定头部目标上执行完整鼻咽拭子采样的问题。真正困难点不是把拭子送进鼻孔，而是视觉可用性、接触安全性和不可见内部几何三者之间的断裂：入口前需要视觉，进入后视觉基本失效；进入后必须顺应未知鼻腔形态和头动，但又不能让细长拭子在狭窄腔体里产生过大力或振荡。

以前方法常通过固定头部、专用机构、遥操作或只做口咽/浅鼻腔采样来降低不确定性。本文把这些简化条件拿掉，问题就变成：在只有外部视觉、末端三轴力和一个通用机械臂的情况下，如何保证从对准、插入、检测鼻咽、采样、退出到异常中止的整条链路不断裂。关键矛盾是轨迹先验必须足够强，否则不可见内部不可控；但轨迹又不能太刚性，否则头动和个体形态误差会直接转化为危险接触力。

Motivation

作者的核心动机不是疫情场景本身，而是通用近距离医疗机器人需要摆脱“患者必须固定、设备高度专用、人工遥操作兜底”的假设。NP swab 是一个很好的压力测试：工具细长柔性、目标腔体狭窄、关键接触不可见、患者会动、失败代价不只是任务失败还有安全风险。

已有路线缺的是完整闭环整合和动态扰动验证。视觉伺服可以把工具送到鼻孔附近，但无法解释进入后的接触；力控可以纠偏，但如果没有入口姿态和轨迹先验，很容易在局部接触中迷失；固定装置和专用 RCM 机构可以稳定几何关系，但牺牲了通用性和真实临床流程的自然性。作者看到的缺口是：需要一个能把视觉阶段的不确定性交接给力控阶段、并在头动下仍能判定状态转换和安全中止的系统级控制框架。

Core Idea

论文真正的核心思想是：不要试图在鼻腔内部“看见”或重建完整几何，而是用一个粗但合理的通用轨迹作为形态先验，再让拭子的弹性力学成为隐式传感器。横向接触力被解释为拭子相对鼻腔通道的偏移信号，因此 admittance-like 速度控制可以把力反馈转化为横向纠偏；轴向力则主要用来调节推进速度和触发状态判断。这样，系统把不可见接触控制问题降维成“沿名义路径推进 + 横向柔顺纠偏 + 状态 observer”。

这和很多 prior 的本质区别在于，它不是用更复杂的专用机构把几何约束硬编码进硬件，也不是靠医生遥操作处理所有异常，而是把通用机械臂、柔性工具和低维力学模型组合成一个可调的闭环系统。引入的 inductive bias 很明确：鼻腔内部不需要精确重建，只需要入口姿态足够好、名义路径大体正确、横向接触近似弹性，这三个条件成立时，力反馈可以补偿剩余误差。这个 bias 比纯视觉方案更适合遮挡场景，也比纯轨迹方案更能处理头动。

Method

方法上最关键的是几个机制，而不是具体网络或参数。

第一，预接触视觉伺服只负责把问题带入力控的 basin of attraction。视觉估计目标鼻孔位姿，PBVS 对准拭子，同时加入短时力反应项处理靠近过程中碰到鼻尖/面部的情况。这里的核心作用是降低初始位姿误差，而不是解决整个任务。

第二，名义插入轨迹来自鼻腔几何优化，但它被当作 weak prior，而非必须严格执行的 path。轨迹包含入口上仰和进入后的转向，用来避免在鼻前庭或下鼻甲处卡住。真正运行时，轨迹进度会被轴向力调慢，因此路径是“有进度调制的参考”，不是刚性计划。

第三，接触阶段控制从 torque control 改为 velocity control，实质上是承认硬件延迟、摩擦和模型误差使二阶力矩控制不够可靠。速度控制把位置目标和力反馈并联进同一个末端速度命令：位置项保证沿轨迹推进，力项负责顺应接触。横向增益通过拭子梁模型和闭环极点直觉选择，动态增益则反映插入过程中有效接触点变化。

第四，状态转换由 fuzzy observer 完成：鼻咽到达不是单纯看插入深度，也不是单纯看轴向力，而是两者的软 AND。这解决的是摩擦、头动和个体长度差异下单阈值不稳的问题。

第五，安全 observer 是系统可部署性的关键补丁：早期高力说明可能没进鼻孔或卡在鼻前庭；总力过高则立即释放拭子并撤退。这个设计本质上把不可恢复局部状态从控制问题转化为中止策略。

Key Insight / Why It Works

这篇最有价值的 insight 是：对这种细长柔性工具进入不可见腔体的任务，工具本身的柔性不是 nuisance，而是可利用的 mechanical sensing / compliance prior。横向力与横向位移在工作区间近似线性，使得末端力传感器虽然不能直接测鼻腔几何，却能给出“是否偏离通道中心”的在线信号。只要入口姿态不太差，控制器不需要知道鼻腔完整形状，就能通过力反馈把自己拉回低力路径。

第二个有效点是分阶段信息流：视觉解决全局配准，力觉解决局部接触，observer 解决离散状态切换。很多机器人医疗任务失败不是因为某个控制器不够好，而是感知模态在任务阶段切换时没有明确职责边界。本文的设计把每个模态限制在它最可靠的阶段使用，这是比模块堆叠更重要的系统设计。

第三，动态/适中横向增益的发现很实用：插入早期需要高增益来快速纠偏和避免轴向摩擦堆积；接近鼻咽或采样保持时，高增益反而放大头动和接触耦合，诱发振荡。也就是说，最优控制不是“越顺应越好”或“越强反馈越好”，而是沿任务进度改变闭环刚度。这个 insight 可迁移到导管、内窥镜、穿刺前软组织接触等任务。

但需要直接判断：这不是一个学习泛化或高级规划贡献，主要是力学先验 + 工程化状态机 + 大量真机调参。视觉部分在 phantom 上用 fiducial/Faster R-CNN 替代真人脸部模型，增益和 fuzzy 参数也有经验来源；因此性能增益归因并不完全干净。核心贡献不是算法 novelty，而是把一组合理但脆弱的控制假设整合到一个能在随机头动 phantom 上跑完整流程的系统。

Relation To Prior Work

它最接近的是视觉-力觉复合 swab 机器人、RCM/专用 NP swab 设备、以及柔性工具 admittance control 这几条线。和 OP swab 系统相比，NP 的本质差异在于采样区域不可见且路径是封闭腔体，视觉管线的作用被严格限制在入口对准。和遥操作 NP 系统相比，本文新增的是自主状态切换和安全中止，而不是让人类处理不可见接触。和专用 RCM 或软体机构相比，本文选择通用协作臂 + 末端传感，牺牲部分机构最优性换取平台通用性。

看似新的部分中，PBVS、UKF、admittance-like control、fuzzy logic、安全阈值都不是新思想；实质创新在于将这些机制按 NP swab 的物理结构重新组织，并用拭子梁模型给横向力反馈增益一个可解释起点。另一个比较实质的贡献是随机头动 phantom evaluation：它把 prior work 常见的静态/固定 phantom 验证推进到动态扰动下的闭环系统评估。这更像医疗机器人系统工程中的“integration novelty”，不是单点控制理论突破。

Dataset / Evaluation

评估是这篇的强项之一：两台 Franka 真机，一台执行 swab，一台作为带虚拟颈关节和随机运动模型的 phantom head；变量覆盖控制器增益、头动强度、鼻腔 phantom 形态和左右鼻孔。它确实验证了核心 claim 的一部分：在受控但动态的物理环境中，完整自主流程可以承受相当程度的头动，并且控制增益选择对力、安全和振荡有可解释影响。

但 evaluation 的边界也很明确。它验证的是 phantom robustness，不是临床有效性；鼻腔形态只有两个版本，其中一个是手工修改；头动是连续随机过程，缺少咳嗽/喷嚏/突然后撤等 impulsive disturbances；phantom pose estimation 使用 fiducial，与真人脸部检测误差分布不同；采样成功主要看是否接触鼻咽，而不是 PCR 采样质量。换句话说，benchmark 支持“系统可行、控制 tradeoff 清晰”，但不足以支持“可直接泛化到真实人群临床部署”。

Limitation

最核心限制是 basin of attraction 未被系统刻画。视觉伺服误差、入口角误差、鼻腔形态偏差、头动速度、摩擦条件和拭子刚度共同决定力控能否补偿，但论文没有给出一个明确的可行域。作者提到真人 pose 模型有角度方差，且 force feedback 可补偿部分误差，但补偿边界文中未充分说明。

第二，泛化主要依赖形态覆盖和参数调节，而不是自适应建模。名义轨迹只基于 Phantom A 优化，Phantom B 只是有限扰动；真实人群中的鼻中隔偏曲、鼻甲肥大、鼻腔长度差异、黏膜摩擦差异可能远超这个范围。核心能力可能主要来自当前 phantom 分布与轨迹/增益的匹配，而不是广义形态泛化。

第三，轴向控制和鼻咽检测仍然经验性很强。横向增益有梁模型支撑，但轴向接触呈冲击/屈曲行为，作者也承认没有简洁模型，增益来源不清。fuzzy observer 参数参考文献和初始实验，但在真实患者上误触发/漏触发代价更高。

第四，安全中止把一些困难状态转移掉了，而不是解决了。例如头部突然移动导致拭子没进鼻孔，系统释放拭子并撤退，这是合理安全策略，但不等于控制器能处理该扰动。未来临床中频繁 abort 会影响可用性和患者信任。

第五，系统级工程复杂度不低：末端电磁释放、额外 loadcell、RGB-D、状态机、双阶段控制、observer、sanitization 和人机交互都需要可靠集成。所谓“通用协作机器人”并不意味着部署简单。

Takeaway

  • 1. 对不可见腔体中的柔性工具操作，最值得迁移的是“工具力学作为隐式状态观测”的思路：不必重建内部几何，只要能建立力—位移近似关系，就能把接触力变成纠偏信号。
  • 2. 分阶段感知职责边界很重要：视觉用于进入局部 basin，力觉用于遮挡后的局部顺应，observer 用于离散事件和安全。
  • 这种信息流组织比单纯堆更强的视觉模型或更复杂的控制器更关键。
  • 3. 增益调度是医疗接触机器人的核心问题之一。

一句话总结

这篇论文在 NP swab 机器人方向中的位置是：它不是提出全新的控制理论，而是把视觉配准、柔性工具力学、admittance-like 力控、状态 observer 和随机头动真机评估整合成一个面向非固定患者的完整自主系统，实质贡献在于证明这种物理先验驱动的混合闭环架构在动态 phantom 上可行。