Science Robotics / Research Article

Deep learning–based autonomous retinal vein cannulation in ex vivo porcine eyes

作者：Peiyao Zhang, Peter Gehlbach, Russell H. Taylor, Iulian Iordachita, Marin Kobilarov · 单位：Department of Mechanical Engineering, Johns Hopkins University, Baltimore, MD 21211, USA, Laboratory for Computational Sensing and Robotics, Johns Hopkins University, Baltimore, MD 21211, USA, Wilmer Eye Institute, Johns Hopkins University, Baltimore, MD 21211, USA, Department of Computer Science, Johns Hopkins University, Baltimore, MD 21211, USA · 来源：Science Robotics · 发布日期：2025-12-17 · DOI：10.1126/scirobotics.adw2969

操作移动机器人医疗机器人仿生机器人强化学习

精读笔记

Problem Setting

Deep learning–based autonomous retinal vein cannulation in ex vivo porcine eyes（Science Robotics / 2025-12-17）关注的是 RVC 中最难标准化的微操作闭环：金属针进入眼内后，如何在显微和 iOCT 信息下稳定到达静脉、判断接触、完成穿刺并避免过冲。真正难点不是机器人能不能移动到某个点，而是组织尺度、成像不确定性、针-血管相互作用和事件判断同时卡在百微米级。以前的机器人辅助降低了手抖和提升了运动分辨率，但关键判断仍在人：什么时候触壁、什么时候刺穿、刺穿后是否还在腔内。这篇把问题重新定义为“专家判断的视觉事件化 + 机器人执行的状态机化”。

Motivation

已有 RVC 路线不够的地方在于缺少可重复 workflow。手动或 robot-assisted 方法通常把机器人当作 tremor filter / motion scaler，而不是把手术知识变成可执行的闭环逻辑。作者看到的缺口是：RVC 成败高度取决于少数关键事件识别，而这些事件在 microscope / iOCT 中有可学习的视觉模式。于是，与其追求完整物理建模或端到端控制，不如把专家视觉判断蒸馏进几个轻量网络，再用机器人完成稳定执行。这个方向的合理性在于医疗机器人任务往往不是缺“动作空间探索”，而是缺“安全阶段切换”。

Core Idea

核心思想是将 RVC 从连续的人工显微操作重构为一个视觉条件驱动的分段自主流程。显微图像只负责平面上的 target approach，iOCT B-scan 只负责深度和组织交互，CNN 不直接输出复杂控制，而是提供低维语义事件：方向、接触、穿刺。机器人控制层则保持 RCM、沿工具轴推进/回撤、执行固定动作原语。

这和 prior 的本质区别不是用了 ResNet 或 YOLO，而是把“专家知识”放在 workflow 的结构中，而非让模型自己学完整策略。它引入的 inductive bias 是：RVC 的关键不在全局规划，而在局部几何对齐和事件边界检测。这个 bias 显著降低了学习难度，也让系统在小数据、真机、实时约束下可工作。

Method

方法中最关键的不是三个网络本身，而是它们各自承担的控制语义。方向网络解决的是 microscope 下缺少显式针尖-target 几何估计的问题：它把视觉伺服变成方向分类，避免依赖精确分割和配准。contact 网络解决的是深度接近阶段的停止条件：没有它，机器人只能按几何高度推进，容易压迫或错过血管壁。puncture 网络解决的是穿刺后状态确认：由于金属针较粗、血管壁有弹性，单次推进后针尖表观位置并不可靠，必须用 B-scan 判断是否真的进入腔内。

另一个核心机制是“快速刺入 + 部分回撤”。这不是神经网络贡献，而是物理操作策略：高速度克服血管壁弹性，回撤降低过深插入造成双壁穿刺的概率。呼吸补偿则是附加的实时位移补偿，用 B-scan 光流估计垂直运动，再让机器人跟随；它增强鲁棒性，但不是论文最核心的技术贡献。

Key Insight / Why It Works

这篇真正有效的原因是任务结构被强烈简化了。作者没有让网络学习手术，而是让网络学习少数局部视觉判别；没有让控制器推断组织力学，而是把组织交互压缩成 contact / puncture 两个 gate；没有让系统做长期规划，而是用 workflow 保证状态转移顺序。这是一种典型的 better inductive bias，而不是 scaling。

最可能的核心贡献是 perception-gated robotic workflow：视觉网络只在最需要专家经验的位置介入，其他部分交给确定性机器人控制。这样错误空间被限制在少数事件上，也便于调阈值和人工监督。相比之下，ResNet18、YOLOv8、二值 target image、C-scan 五帧覆盖等更偏 engineering choice，重要但不是概念创新。

增益的相当一部分可能来自任务准备和数据覆盖，而非模型能力本身。针的入口位置需要预先按血管方向放好，scan plane 需要调到能看到 needle/vein，spatula 负责人为扩张血管，目标点由人选择。这些前置条件把最难的全局不确定性剥离掉了。因此这里的“autonomy”更准确地说是 constrained autonomy under prepared surgical geometry。若换成病理眼、浑浊介质、复杂眼动或不可理想对齐的血管，泛化不能从当前实验直接推出。

puncture 成功的机制也值得注意：它不是纯视觉闭环精细推进，而是用一个激进动作原语制造穿刺，再靠视觉确认和回撤修正。这说明系统本质上仍依赖人工设计的微操作 primitive。双壁穿刺失败也正好暴露了这一点：当组织状态或血管塌陷程度变化时，固定速度/时间的 primitive 会成为主要风险源。

Relation To Prior Work

它最接近的谱系是 robot-assisted retinal microsurgery + OCT-guided micro-manipulation + structured autonomy，而不是通用强化学习或端到端 imitation learning。和 KU Leuven / Preceyes 一类工作相比，它不是强调临床机器人平台或 motion scaling，而是强调把 RVC 的关键决策自动化。和 phantom 上 OCT-guided automated cannulation 相比，它推进到 ex vivo 真实组织、使用金属针，并且不依赖慢速 C-scan 作为主要 targeting loop。

看似新的部分中，单独的 CNN 分类/检测、视觉伺服、RCM 约束、OCT 深度感知都不是新思想；真正新增的是把这些已有组件组织成一个能闭环完成 RVC 关键步骤的 workflow，并证明在 ex vivo 猪眼上可重复运行。它不是算法突破型论文，而是系统集成中有明确任务结构创新的论文。

Dataset / Evaluation

evaluation 的优点是真机、真实组织、完整 workflow，而不是离线图像测试或 silicone phantom。固定眼 20 例和呼吸模拟 6 例足以支持 feasibility claim，也能说明系统不是只在单个 demo 上工作。与 prior manual robot-assisted workflow 的时间对比支持“自动事件判断减少人工决策延迟”。

但 evaluation 没有真正验证广义 autonomous surgical competence。样本量小，没有跨设备、跨操作者、跨解剖差异系统测试；ex vivo 猪眼缺少真实血压、组织反应、出血和活体眼动；呼吸模拟只覆盖垂直正弦运动，且补偿是短时可用的工程方案。成功判据偏操作可见性，注入剂量和药物递送质量未严格评估。因此实验主要证明“在准备良好的 ex vivo setting 中 workflow 成立”，而不是证明临床部署可靠。

Limitation

方法成立依赖几个强前提：目标血管可见且可点击，针能预先大致沿血管方向进入，iOCT 能稳定覆盖针尖和血管，spatula 能制造足够血管扩张，组织状态接近训练/调参分布。这些前提把问题从开放手术场景收缩到可控实验几何。

scalability 的上限在于每个新工具、针径、成像系统、组织状态可能都要重新调阈值或重训网络。所谓泛化更多是 augmentation 和局部视觉覆盖带来的鲁棒性，而不是任务级泛化。文中未充分说明 ambiguous B-scan 的处理策略；训练时排除难判样本可能导致模型在真实边界案例上过于自信。

动态补偿部分也有限。当前做的是基于 B-scan 间位移的补偿，不是 needle-tip 与 vessel lumen 的实时相对位姿闭环；长时间 infusion 或复杂三维眼动下误差会累积。puncture primitive 的安全性同样是核心隐患：高速度推进有效但危险，失败案例正来自双壁穿刺。这里的增益归因不完全清楚，可能部分来自更高 infusion pressure、操作者熟练度、器械状态更新等非算法因素。

Takeaway

  • 1. 这篇最值得记住的是：医疗微操作中的 autonomy 可以从“端到端学动作”转向“学习关键事件，确定性控制执行”，这比大模型式 policy learning 更适合小数据和安全约束场景。
  • 2. RVC 的核心 bottleneck 不是机械臂精度本身，而是视觉事件边界：contact、puncture、inside-lumen confirmation。
  • 未来真正有价值的工作应围绕这些边界的不确定性估计和安全动作选择，而不是单纯换更大 backbone。
  • 3. workflow decomposition 是可迁移 insight：对其他显微手术，可以先找出少数不可手写但可视觉判别的 expert gates，再把连续控制简化为受约束 primitive。

一句话总结

这篇论文在自主眼科显微机器人方向上的位置是：用深度视觉事件检测把专家依赖的 RVC 关键微判断转化为结构化机器人闭环，是一次 workflow-level autonomy 的推进，而不是通用学习控制算法的突破。