Science Robotics / Research Article

Autonomous medical needle steering in vivo

作者：Alan Kuntz, Maxwell Emerson, Tayfun Efe Ertop, Inbar Fried, Mengyu Fu, Janine Hoelscher, Margaret Rox, Jason Akulian, Erin A. Gillaspie, Yueh Z. Lee, Fabien Maldonado, Robert J. Webster, Ron Alterovitz · 单位：Kahlert School of Computing and Robotics Center, University of Utah, Salt Lake City, UT 84112, USA, Department of Mechanical Engineering, Vanderbilt University, Nashville, TN 37235, USA, Department of Computer Science, University of North Carolina at Chapel Hill, Chapel Hill, NC 27599, USA, Department of Medicine, Division of Pulmonary Diseases and Critical Care Medicine, University of North Carolina School of Medicine, Chapel Hill, NC 27599, USA, Department of Medicine and Thoracic Surgery, Vanderbilt University Medical Center, Nashville, TN 37232, USA, Department of Radiology, University of North Carolina School of Medicine, Chapel Hill, NC 27599, USA · 来源：Science Robotics · 发布日期：2023-09-13 · DOI：10.1126/scirobotics.adf7614

移动机器人安全机器人

精读笔记

Problem Setting

论文题目：Autonomous medical needle steering in vivo（Science Robotics / 2023）。

这篇论文不是在解决一般的“可转向针路径规划”问题，而是在问一个更硬的系统级问题：在活体肺实质这种不可直接观察、持续运动、障碍密集、穿错可能造成严重并发症的环境里，能否让机器人自主完成针尖到靶点的安全导航。

真正困难点有四个叠加：第一，目标和障碍来自术前 CT，但执行发生在术中变形肺里，地图和现实天然不一致；第二，肺随呼吸周期大幅运动，连续控制如果不处理 motion phase，规划空间本身在动；第三，可转向针是非完整系统，人工直觉很差，针-组织相互作用又有不确定性；第四，前序支气管镜导航和穿刺入口由人完成，初始位姿不可能精确落在术前计划上。

以前方法卡住的地方也很清楚：临床 bronchoscopy + straight needle 依赖气道靠近病灶，实质内穿刺距离短且基本是直线；已有 steerable needle 研究多在 benchtop/ex vivo 或 teleoperation，避开了活体运动和真实解剖风险；已有 autonomous medical robots 往往利用 lumen、血管、组织表面或可视反馈，而肺实质内部没有天然 roadmap，也无法视觉监督。关键矛盾是：安全性要求全局解剖约束和高置信避障，但真实执行环境只能获得局部、带误差、低频的状态反馈。

Motivation

作者的动机不是单纯“让针更准”，而是现有临床工具的可达集不够。外周肺结节经支气管镜到达时，最后一段往往必须穿过肺实质；直针只能走短直线，医生通常为了缩短穿刺距离会把支气管镜推到更远端，但远端气道直径变小，姿态可调性反而变差，且障碍更密集。这形成一个临床上的局部最优：越想接近靶点，越失去可控姿态和安全余量。

作者的核心观察是，steerable needle 可以改变这个 trade-off：不必从离靶点最近的位置出针，而可以从更近端、更容易获得良好姿态的位置进入实质，再用曲线路径绕过障碍到达目标。这把问题从“找最近气道 + 直线穿刺”变成“找合适入口 + 曲线可达 + 显式避障”。

关键缺口在于，过去的 steerable needle 工作证明了器械能力或规划算法，但没有证明这些能力能在活体流程中闭环成立。缺的不是一个单独模块，而是把 CT 分割、registration、呼吸管理、replanning、tracking control 和临床工作流粘合起来的系统性证据。

Core Idea

核心思想是将活体肺内针导航拆成“人擅长的腔道导航”和“机器人擅长的非完整曲线控制”，并通过中间的 aiming/replanning 机制把两者耦合误差吸收掉。它不是追求从口腔到靶点的全自主，而是很务实地把 autonomy 放在最适合自动化、也最不适合人工直觉控制的部分：肺实质内的 steerable needle deployment。

更本质地看，它改变了建模方式：不是建立一个完整的呼吸形变模型并在连续动态环境里规划，而是通过 breath-hold gating 把动态问题离散成若干短时静态子问题；不是假设术前计划能被人工精准执行，而是在 needle deployment 前重新测量当前起点并重规划；不是把组织不确定性一次性建模进 planner，而是用闭环跟踪和短段执行降低模型误差积累。

和 prior 的本质区别在于信息流组织。传统 bronchoscopy 的信息流主要是医生根据导航和影像经验手动做局部决策；已有 steerable needle 算法多假设起点、地图和组织状态已知。本文把术前 anatomy、术中 tracking、人工操作结果、呼吸相位和机器人控制统一到一个闭环 workflow 中，使 steerable needle 从“实验室器械能力”变成“活体过程能力”。

Method

1）患者特异安全地图：术前 breath-hold CT 被分割为气道、血管、胸膜边界和目标，planner 在这个空间里生成候选路径。它解决的是安全约束显式化问题：哪些结构不能碰、哪里有 free space、路径离障碍多远。核心变化是把医生隐式的风险判断转成机器人可优化的几何约束。

2）三阶段控制分工：支气管镜导航仍由医生完成，aiming device 由医生 teleoperate，针部署由机器人自主执行。这不是保守设计，而是合理分配可控性：大范围气道导航已有成熟人工技能；针 steering 的非完整约束和旋转-平移耦合对人不友好；中间 aiming device 用来把人工末端状态送入机器人可接管区域。

3）registration + airway ICP：外部胸壁 fiducial 只能粗略对齐 CT 和 EM tracker，无法代表肺内部形变。通过让带传感器工具在气道中采样点云，再与 CT 中气道骨架做 ICP，系统获得更贴近内部 anatomy 的坐标对齐。它解决的是地图-身体不一致，而不是简单定位。

4）safe insertion window：系统选择吸气末/peak tidal volume 作为执行相位，并用多个短 breath hold 完成分段插入。这一机制的重点是规避复杂形变建模：只在肺状态接近术前 CT、自由空间最大、相位可重复时推进针，其他时间暂停。它把连续运动器官中的控制问题变成事件触发的 quasi-static execution。

5）needle-stage replanning + closed-loop control：人工穿刺点和姿态不可避免偏离术前 plan，因此系统在当前针位姿下重新规划最后一段避障路径，再用 EM-tracked needle tip 做闭环跟踪。这里的关键不是 planner 本身有多新，而是承认 workflow 中的上游误差，并在 autonomy 接管前重新定义问题。

Key Insight / Why It Works

这套系统真正有效的原因，不是某个单点算法突破，而是对误差来源的工程化分层隔离做得非常准确。呼吸运动不用全建模，而是用 gating 限制执行时间；人工导航误差不用强行消除，而是用 aiming 和 replanning 接住；针-组织不确定性不用完全预测，而是用短段闭环跟踪和持续状态反馈修正；解剖风险不用依赖医生在线判断，而是在术前地图中显式编码。

最核心的贡献我认为是“把动态软组织自主导航问题转化为可重复静态窗口内的 replanning/control 问题”。这比单纯强调 steerable needle 曲率更重要。曲率提供了可达性，safe window 提供了环境稳定性，registration 提供了状态-地图对齐，replanning 提供了 workflow 鲁棒性；缺任何一个，系统都很难在 in vivo 成立。

哪些是核心，哪些是辅助：laser-patterned needle 的高曲率是硬件前提，但不是系统智能的核心；UI、候选计划展示、quick-loading carriage 等更多是临床 workflow engineering；motion planner 继承了作者之前的 backward planning 系列，算法新意不如系统集成新意大；safe insertion windows 和术中重配准/重规划是把 prior 推入 in vivo 的关键桥。

这不是 scaling / data-driven 的工作，也不是 learning-based generalization。它的 inductive bias 非常强：肺在某一呼吸相位可近似复现；CT segmentation 可以作为安全地图；针可以用近似稳定的曲率模型控制；短时间内组织状态足够静态。所谓 autonomy 主要来自 model-based planning + sensing feedback + workflow constraints，而不是从数据中学到复杂策略。

需要直说的是，增益归因仍不完全清楚。与手动 bronchoscopy 对比时，robot 系统同时拥有 steerable needle、显式避障 planning、更长可控插入距离、实时可视化、工程师操作者和不同的入口选择策略。结果证明系统级方案更好，但不能干净地区分“自动化”本身、器械可达性、规划约束和操作者熟悉度各贡献多少。

Relation To Prior Work

这篇工作位于 steerable needle robotics、image-guided intervention 和 autonomous medical robotics 的交叉处。最接近的是作者团队之前关于 transbronchial lung access、laser-patterned steerable needle、aiming device、backward planning 和 trajectory following 的系列工作。本文的新意不是从零提出新 planner，而是把这些组件推进到活体肺，并补上呼吸窗口、术中 registration、replanning 和临床 workflow。

相对传统 bronchoscopy / robotic bronchoscopy，它的本质差异是最后一段实质内路径不再是短直线，而是显式规划的曲线避障路径。这扩大了可达集，也改变了医生选择入口的策略：不再追求最远端、最近靶点的气道，而是选择更适合控制和避障的 proximal site。

相对 prior autonomous medical robots，例如血管穿刺、心内导管、腹腔吻合等，本文面对的是一个没有 lumen roadmap、没有直接视觉反馈、障碍密布且会整体形变的实质环境。这个场景下 autonomy 不能靠沿结构走或视觉闭环，而必须依赖术前地图和术中 tracking 的对齐。

相对 prior in vivo needle steering，已有工作更多关注 needle/tissue interaction 测量、teleoperation 或特定组织中的可部署性，没有完整处理患者特异障碍和自主避障。本文的实质创新是“patient-specific obstacle-aware autonomous deployment in vivo”，而不是“可转向针能在组织里弯”这个早已存在的事实。

Dataset / Evaluation

评估覆盖了两个层面：in vivo 猪肺用于证明活体可行性，ex vivo 猪肺对比专家手动支气管镜/直针用于证明相对临床路线的潜在优势。任务场景选择合理，因为肺是对呼吸运动和障碍密度都很苛刻的器官；如果能在肺里工作，迁移到某些运动更小或结构更稳定的器官在概念上有说服力。

in vivo 结果的价值在于证明系统能在真实呼吸管理、真实组织风险和术中 tracking 下完成自主针部署，并且没有观察到主要并发症。但样本量非常小，更多是 feasibility demonstration，而不是统计意义上的安全性或鲁棒性验证。

ex vivo 对比支持“steerable + autonomous planning 可以比现代手动直针路线更准、插得更远”，但它不是 live human clinical comparison。ex vivo 缺少呼吸运动、出血风险、真实患者病理变化和临床心理约束；作者也指出 ex vivo 猪肺有 postmortem septa 等非典型障碍。这个 benchmark 能验证可达性优势，但不能完全验证临床收益。

评估总体支撑了论文的核心 claim：首次展示 in vivo autonomous steerable needle navigation around obstacles to a predefined target。它没有充分支撑更强 claim，例如临床诊断率提升、广泛患者泛化、长期安全性或端到端自主化。

Limitation

第一，系统强依赖术前 CT 分割和注册精度。障碍避让只在地图可信时成立，而肺内小血管、病灶周围结构、局部塌陷或术中形变都可能让地图失效。文中未充分说明 planner 的 clearance margin 如何覆盖 segmentation error、EM tracking error、registration error 和 tissue deformation 的联合最坏情况。

第二，呼吸处理是 gating 而非真正 motion-aware planning。这是务实且有效的选择，但上限明显：它依赖可重复 breath hold、受控通气和患者/麻醉条件。临床中不能稳定配合或肺顺应性异常的患者可能不满足这个前提。

第三，autonomy 范围有限。支气管镜导航、穿刺入口、aiming device 仍大量依赖人。论文标题中的 autonomous 主要指第三阶段 needle deployment，而不是完整 procedure autonomy。这不是缺点，但需要避免过度解读。

第四，泛化到人类并非自动成立。作者认为猪肺某些方面更难，但人类临床会引入更复杂的病理肺、肿瘤位置分布、气道变异、既往手术/放疗改变和真实工作流限制。猪肺解剖差异既可能让任务更难，也可能让某些误差模式不同；不能简单等价。

第五，对比实验存在归因混杂。robot 优势可能来自 steerable needle 的物理可达性、显式 planner、入口策略、实时 UI、操作者熟悉度以及允许更长穿刺距离的组合。文中没有做消融，例如手动 steerable needle、robot straight needle、planner without replanning、不同入口策略等，因此“automation”的独立贡献仍不清楚。

第六，安全性验证仍停留在小样本事件层面。没有大量 case 统计，也没有展示接近障碍时的 failure recovery、tracking dropout、registration drift、needle buckling、unexpected tissue slip 等异常处理。对于医疗机器人，这些 failure modes 比平均误差更重要。

Takeaway

  • 1）这篇论文真正推动的是把 steerable needle 从 ex vivo/算法演示推进到活体实质器官内的系统级自主部署；贡献主要在问题重构和 workflow closure，而不是单一算法。
  • 2）最可迁移的 insight 是：对运动软组织，不一定要先解完整 deformable modeling；可以通过相位选择、短时执行、重注册和重规划，把高维动态不确定性压缩到可控窗口内。
  • 3）对于医疗机器人 autonomy，合理的人机分工比追求端到端自主更现实。
  • 把 autonomy 放在医生最不擅长、机器人最有结构优势的子任务上，往往比全流程自动化更容易形成临床价值。

一句话总结

这篇论文是 steerable needle robotics 从“可规划、可控制的实验室技术”迈向“活体肺实质内患者特异避障自主部署”的系统级里程碑，其核心贡献是用呼吸窗口、重配准、重规划和闭环控制把动态软组织导航问题工程化地变成可执行的短时静态自主 needle steering。