Science Robotics / Research Article

Will your next surgeon be a robot? Autonomy and AI in robotic surgery

作者：Samuel Schmidgall, Justin D. Opfermann, Ji Woong Kim, Axel Krieger · 单位：Department of Electrical and Computer Engineering, Johns Hopkins University, 3400 N. Charles Street, Baltimore, MD 21218, USA, Department of Mechanical Engineering, Johns Hopkins University, 3400 N. Charles Street, Baltimore, MD 21218, USA · 来源：Science Robotics · 发布日期：2025-07-23 · DOI：10.1126/scirobotics.adt0187

操作移动机器人医疗机器人机器人

精读笔记

Problem Setting

《Will your next surgeon be a robot? Autonomy and AI in robotic surgery》（Science Robotics / 2025）本质上不是在解决某个 surgical subtask，而是在回答一个更上层的问题：在当前机器人手术仍以 surgeon-in-the-loop teleoperation 为主的现实下，什么技术路径可能把系统推进到真正 outcome-level 有意义的 autonomy。

这里的关键矛盾是：越是临床上需要 autonomous robot 的场景，往往越是机器人最难自主的场景。刚性骨科、放疗、眼科激光这类任务可以依赖预规划、配准和受限物理；但腹腔镜/单孔/NOTES 软组织手术同时具有形变、出血、烟雾、遮挡、镜头运动、患者解剖差异和接触不确定性。传统机器人规划假设的稳定几何、可建模动力学和清晰状态，在这里基本都不成立。

以前路线卡在两个地方：一是 model-based autonomy 在结构化任务上很强，但每推进一个软组织子任务都需要大量任务专用建模、传感和工程；二是 learning-based autonomy 虽然更 scalable，但当前证据多数停留在 simulation、tabletop、FLS 或局部子任务，距离临床闭环还有很大鸿沟。因此，这篇文章真正讨论的是 surgical autonomy 的 scaling law 是否可能出现，以及它需要什么数据、表示和安全机制支撑。

Motivation

作者的核心观察很直接：RAS 已经大规模临床部署，但它没有从根本上消除 surgeon variability。da Vinci 这类系统改善的是 dexterity、ergonomics 和 visualization，不是 surgical decision-making 或 execution consistency。换句话说，当前机器人手术把人的手延伸进体内，但没有把人的技能方差从系统中移除。

已有路线不够的原因不是硬件不够灵巧，而是 autonomy 的信息闭环不完整。手术机器人要自主，必须同时知道“看到什么”“组织会怎么动”“下一步动作是否安全”“当前是否超出能力边界”。传统系统多依赖 preoperative plan、registration、几何约束或专家规则，这些在骨科/放疗成立，但在软组织环境中脆弱。

因此作者转向 learning-based AI 的动机是：如果环境无法被可靠显式建模，就让系统从 expert data 和 simulation 中学习隐式动态、策略和视觉表示。关键缺口则是大规模、跨任务、带动作的 surgical dataset，以及能把医学语义、视觉状态和机器人控制统一起来的模型范式。

Core Idea

这篇 Review 的核心思想可以概括为：外科机器人自主性的下一个跃迁不会来自单个更精巧的 planner，而会来自 surgical robot learning 的“数据-模型-安全”三者共同扩展。作者把当前技术路线拆成两条：RL 通过仿真和奖励优化获得策略，IL 通过专家示范直接学习 surgeon-like behavior；二者分别对应 surgical autonomy 中最难的两个缺口——探索与真实数据。

更重要的是，作者把未来方向推向 VLA / foundation model：不再为 suturing、needle pickup、blood suction 各训练一个孤立 policy，而是把手术知识、术中视觉、语言指令和机器人动作放到一个共享表示空间里。这个建模方式引入的 inductive bias 是：不同手术任务共享 latent surgical structure，例如工具-组织关系、解剖语义、动作 primitive、风险模式和术者意图。相比 task-specific policy，它理论上更 scalable，也更可能通过多任务数据获得 compositional generalization。

和 prior 的本质区别在于，传统 autonomy 把手术看成几何规划与控制问题；本文倡导的方向把手术看成 embodied sequence modeling / multimodal policy learning 问题。这是范式变化，但目前仍主要是路线判断，不是已被临床验证的技术突破。

Method

1. LoA/DoA 重新组织 autonomy 定义：文章不是简单按“机器人做多少”划分，而是把 autonomy 分解为 monitor、generate、select、execute 四个功能。这一点有用，因为很多所谓 autonomous surgical systems 只是执行层自动化，决策仍由人完成。这个框架让不同系统的责任边界更清楚，也暴露出当前 FDA-cleared systems 多数仍停留在低 LoA。

2. RL 路线解决“无法从真实患者中探索”的问题：RL 的价值在于可以在 simulator 中覆盖大量状态、失败模式和动作组合，理论上能学到超出专家示范的策略。但它把问题转移给 simulator fidelity，尤其是软组织形变、血液、烟雾、光照、接触动力学和视觉真实感。其核心变化是用 learned policy 替代手工 planner，但部署瓶颈变成 sim-to-real。

3. IL 路线解决“奖励难定义、探索不安全”的问题：IL 利用专家手术轨迹绕过 reward engineering 和危险探索，适合 surgical setting。它的核心变化是把 surgeon skill 当成监督信号，而不是把手术目标手工编码成 reward。但它依赖高质量示范，且容易复制 suboptimal behavior；一旦部署进入训练分布之外，BC 类方法会快速累积错误。

4. RL + IL 混合路线是现实上最可信的 learning path：先用 IL 获得安全初始策略，再用 RL/offline RL/refinement 扩展策略边界，这比纯 RL 或纯 IL 更符合医疗机器人约束。这里真正需要的是 conservative policy improvement 和 uncertainty-aware handoff，而不是单纯追求更高 task success。

5. VLA 路线是作者给出的未来组织原则：从医学文本/图像预训练获得 surgical language foundation，再用 skills、动物实验、人类手术数据做 imitation，最后通过经验持续改进。这个机制的必要性在于 surgical autonomy 不只是 visuomotor control，还需要 procedure context、anatomy semantics、instruction following 和异常识别。

Key Insight / Why It Works

最重要的 insight 是：手术自主性的难点不应再被拆成一堆独立 perception/control 子问题，而应看作长尾、高风险、部分可观测 embodied decision-making。单任务系统之所以难扩展，是因为每个任务都重新处理视觉、配准、控制、异常检测和安全边界；foundation/VLA 思路则试图把这些共性结构摊销到大规模数据和共享表示中。

RL 有效的部分主要是探索和策略优化，尤其适合在仿真中学习工具-组织交互的局部控制策略；但在 surgical setting 中，RL 的核心瓶颈不是算法，而是 simulator 是否包含真实部署中的 failure modes。很多 RL 增益很可能来自更快仿真、更丰富 randomization 和更好的 visual domain adaptation，而不是算法本身产生了新的手术能力。

IL 有效的原因更清楚：手术本身就是高度示范驱动的技能学习，专家轨迹包含了大量难以显式建模的隐性约束，例如组织张力、针角、工具姿态、避开脆弱区域的经验策略。IL 把这些信息直接编码进 policy。但它的上限也很明显：如果数据覆盖不足，所谓泛化大概率只是 interpolation；如果数据来自少数 surgeon 或 tabletop phantom，模型学到的是 dataset style，而不是 surgical competence。

VLA 方向真正可能有效的地方不是“语言让机器人会思考”，而是语言/医学文本提供 procedure-level semantic alignment，使视觉状态和动作可以被组织到更高层的任务结构里。它可能改善 cross-task transfer 和 instruction-conditioned behavior。但文中对 surgical reasoning 的论证仍偏乐观：大模型表现出来的 planning 很可能在早期更像 retrieval + pattern completion，而不是可靠的因果推理或长期状态建模。

我认为本文最实质的贡献不是列举 RL/IL，而是明确指出 future autonomy 的 bottleneck 是 data infrastructure + safety-calibrated generalist policy。很多具体技术点如 domain randomization、DAgger、offline RL、conformal prediction、CQL 都是已有思想迁移；真正新增的信息是把它们放到 surgical autonomy 的责任分配和临床部署约束中重新排序。

Relation To Prior Work

这篇文章位于 medical robotics、robot learning 和 embodied foundation model 三条谱系的交叉处。与传统 surgical robotics review 相比，它少谈临床应用枚举，多谈 learning-based autonomy；与 STAR 等 model-based autonomous surgery 工作相比，它不把 submillimeter planning/tracking 看成终点，而是把它视为任务级自动化的阶段性上限；与 RT-1/RT-2/OpenVLA 等 general robot learning 相比，它强调 surgical domain 的数据、安全和监管约束远强于 household manipulation。

最接近的 prior 是 Haidegger/Yang 关于 autonomy levels 的框架、STAR/needle steering/CyberKnife 这类自主系统、以及 SRT/SurRoL/Surgical Gym/Orbit-Surgical 等 surgical robot learning 工作。本文的不同点不是提出新技术，而是做了一个路线判断：model-based autonomy 已经在结构化/受限场景证明有效，但软组织高自主性可能必须依赖 large-scale learning。

看似新的部分，如 VLA surgical robot、continual improvement、uncertainty handoff，本质上是 foundation model + offline RL + safe deployment 在手术场景的重组。实质创新在于它把这些重组映射到 surgical autonomy 的实际瓶颈：动作数据缺失、真实视觉退化、软组织 sim-to-real、FDA lifecycle regulation、临床责任边界。这使文章更像一份 research agenda，而不是方法论文。

Dataset / Evaluation

作为 Review，本文没有自己的 dataset/evaluation；它使用已有系统和研究作为证据链。证据覆盖范围较宽：临床系统包括 da Vinci、MAKO、CyberKnife、TSolution、Ion 等；研究系统包括 STAR、dVRK 上的 IL/RL、blood suction、sim-to-real tissue manipulation、SRT、Surgical Gym、Orbit-Surgical 等。

但这些 evidence 并不能完全支撑“AI robotic surgeon”这一远期 claim。当前 learning-based 结果大多来自 simulation、phantom、tabletop、FLS 或 ex vivo 场景，任务通常短、状态空间受限、失败代价低。少数 in vivo 或临床相关系统更多依赖强结构化先验，而不是 general learning。也就是说，现有 evaluation 支持的是“learning 可以推进局部 surgical subtasks”，而不是“foundation model 能实现临床级 autonomy”。

benchmark 的核心 limitation 是分布覆盖太窄。FLS/peg transfer/knot tying/needle pickup 评估的是低层 dexterity，不评估真实手术中的 long-horizon contingency handling。仿真 benchmark 评估的是策略学习能力，但 sim fidelity 仍是未解决变量。真实手术视频 dataset 多有 video 而无 robot kinematics、force、decision labels，因此对 action learning 的支持有限。文中未充分说明未来 surgical VLA 的训练数据如何达到 robotics foundation model 所需规模和一致性。

Limitation

1. 核心能力可能主要来自数据覆盖，而不是方法本身。VLA/foundation model 路线默认存在足够大、足够多样、带动作和语义标签的 surgical corpus，但目前 surgical data 最大的问题恰恰是不可得、不可共享、不可标准化。没有这个前提，scaling 叙事很难落地。

2. 真实泛化尚未证明。当前 task-level success 多发生在受控环境。跨患者、跨术式、跨医院、跨机器人平台、跨 surgeon style 的泛化没有系统证据。所谓 zero-shot 或 sim-to-real 在 surgical robotics 中仍然很局部，不能外推到临床 autonomy。

3. reasoning/planning 可能是假象。把医学语言模型接到机器人动作上，并不自动产生 surgical judgment。模型可能只是检索常见 procedure pattern；遇到 rare complication、异常解剖或术中突发事件时，缺乏可验证的因果状态模型。

4. 安全问题没有被真正解决，只是被转移。CQL、conformal prediction、uncertainty estimation 可以帮助识别分布外状态，但在高维视觉-动作策略中，uncertainty calibration 本身很不可靠。机器人“知道自己不知道”在手术中是核心能力，但文中更多是提出方向，缺少可操作验证标准。

5. action data bottleneck 被低估。真实手术视频很多，但高质量 robot kinematics、force、tactile、camera pose、surgeon intent、术中事件标签很少。仅从视频恢复动作可能存在 hidden supervision 和误差累积，尤其对毫米级精度任务不够。

6. regulatory 和 liability 会反向塑造技术路线。临床可部署系统很可能先从后台分析、camera holding、scope control、limited subtasks 开始，而不是端到端 VLA surgeon。短期增益大概率来自 workflow-integrated automation，而非 full autonomy。

Takeaway

  • 1. surgical autonomy 的关键演化方向不是从 L1 线性推进到 L5，而是先在结构化、低风险、可监控子任务中形成可靠 autonomy island，再逐步扩大闭环责任。
  • 2. 未来最有价值的工作不是再做一个 FLS policy，而是建设可共享、跨平台、带动作/力/视觉/语义的 surgical data infrastructure；没有数据层，VLA 路线基本是空中楼阁。
  • 3. 对软组织手术而言，纯 model-based 和纯 learning-based 都不够。
  • 可信路径更可能是 hybrid：learned perception/dynamics/policy + explicit safety constraints + human handoff + regulatory-aware lifecycle monitoring。

一句话总结

这篇 Science Robotics Review 的位置是一份面向自主外科机器人的技术路线图：它真正推动的是把 surgical autonomy 从任务级模型驱动自动化，重新表述为受数据、安全和监管约束的 multimodal robot learning / foundation model scaling 问题。