IEEE Transactions on Robotics

Real-Time Monocular 2-D and 3-D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments

作者：Ruofeng Wei, Kai Chen, Yui-Lun Ng, Yiyao Ma, Justin Di-Lang Ho, Hon-Sing Tong, Xiaomei Wang, Jing Dai, Ka-Wai Kwok, Qi Dou · 机构：Department of Computer Science and Engineering, The Chinese University of Hong Kong, Hong Kong, China; Department of Mechanical Engineering, The University of Hong Kong, Hong Kong, China; Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong, Hong Kong, China; Department of Mechanical Engineering, The University of Hong Kong, Hong Kong

会议/期刊：IEEE Transactions on Robotics · 发布日期：2026 · 页码：1535-1555

控制传感器医疗机器人状态估计

精读笔记

Problem Setting

论文标题：Real-Time Monocular 2-D and 3-D Perception of Endoluminal Scenes for Controlling Flexible Robotic Endoscopic Instruments（IEEE Transactions on Robotics / 2026）。

这篇论文真正处理的是腔内连续体机器人在单目内窥镜条件下的可控性感知问题：系统需要知道柔性器械在哪里、形状是什么、离组织多远，才能把医生的遥操作从“看 2-D 图像猜 3-D”变成有几何反馈的控制。难点不在于 segmentation、pose 或 depth 任一任务单独有多新，而在于这些任务在腔内手术里同时不适定：单目没有天然尺度，柔性器械没有刚性姿态，组织和器械都在动，光照又强依赖距离和表面法向。

以前方法卡在两端：传感器路线能给状态但侵入、昂贵、不适合微型/一次性器械；纯视觉路线通常要么是刚体机器人 pose，要么是组织深度估计，无法处理连续体器械 + 动态组织 + 单目内窥镜这个组合。关键矛盾是硬件上只能接受低侵入、标准单目内窥镜输入，但控制上又需要 3-D 几何变量。

Motivation

作者的动机不是再做一个更高 Dice 的 surgical tool segmentation，而是补一个系统级缺口：腔内连续体机器人缺少可实时部署的单目感知层。现有工作大多只覆盖局部能力——识别器械、估计深度、或重建组织——但手术控制实际需要这些信息在同一坐标/时间流里同时可用。

核心观察有两个。第一，连续体机器人虽然视觉上难估计，但其形状不是任意自由曲线，而有低维结构参数；这给单目状态估计留下了结构约束。第二，内窥镜图像虽然单目，但光源与相机近距离耦合，亮度场携带一定距离和法向信息；这可以作为 depth learning 的额外约束。再加上临床标注稀缺，必须构造一个能生成器械状态、深度、法向和纹理变化的仿真数据源。

Core Idea

核心思想是用多个弱但互补的约束把单目问题变得可解：foundation model 提供通用视觉表征，连续体机器人模型提供低维形状先验，Matrix Fisher 分布把旋转状态估计放到合适的流形概率空间，PPR 光照场把深度和内窥镜强度模式联系起来，仿真器提供大规模标签和真实系统可复现的机器人运动。

这改变了建模方式：不是从图像端到端预测一个黑箱 3-D scene，而是把输出限制为控制真正需要的变量。器械状态是参数化形状，不是任意 mesh；深度是相对/局部几何感知，不是完整 SLAM；不确定性用于标识视觉证据不足，而不是假装每帧都可靠。和 prior 的差异在于它将 perception 组织成 control-facing stack，而不是 vision benchmark-facing module。

Method

1. 分割的机制价值：用 SAM 生成伪 mask，再蒸馏到轻量 U-Net。它解决的不是表达能力，而是 annotation-efficiency 与实时性冲突。SAM 在训练阶段提供强先验，部署阶段则避免 foundation model 的高延迟。copy-paste 到不同内窥镜背景本质上是在扩大外观覆盖，减少器械外观与组织背景的 spurious correlation。

2. 状态估计的机制价值：先用 mask 限定器械区域，再从图像特征回归连续体机器人低维状态。关键变化是用 Matrix Fisher distribution 表示旋转参数，使网络输出落在旋转流形的概率建模框架里，并自然给出 uncertainty。这里的贡献主要是把柔性器械状态估计从 keypoint matching 转为结构参数 + 分布式回归。

3. 深度估计的机制价值：在 foundation monocular depth backbone 之外，引入由估计深度计算出的光照方向、衰减和法向，形成 PPR 表示，再让图像特征和 PPR 特征交互修正深度。它需要这个机制是因为纯 synthetic-supervised depth 到真实内窥镜会有明显 domain gap，而常规视频自监督假设静态场景，不适合器械运动和组织形变。

4. 仿真的机制价值：Unity 仿真不是为了物理上完整模拟手术，而是为了生成对 learning 有用的 dense supervision：器械状态、深度、法向、纹理和相机配置。它把真实系统中的难标注问题转移到可控仿真中，同时通过真实内窥镜纹理和真实器械运动参数减少 sim-to-real gap。

Key Insight / Why It Works

这篇最有效的部分很可能不是某个网络结构，而是 representation alignment：视觉任务的输出被对齐到机器人控制变量。连续体器械状态估计之所以能做，是因为作者没有让网络预测无限维曲线，而是预测四个结构参数；深度估计之所以比普通 foundation depth 更适合该场景，是因为它把内窥镜照明的物理偏置显式塞进训练目标和 refinement 模块。

分割模块的增益主要来自 foundation model 伪标注和真实/多背景数据覆盖，技术上更像 annotation-efficient engineering，不是新的 segmentation 原理。状态估计中 Matrix Fisher 的价值更实质：它解决了旋转表示和 uncertainty，这对机器人控制比单点误差更重要。不过文中还没有把 uncertainty 真正闭环进控制器，因此目前更像可靠性指示器。

深度模块的核心贡献在 PPR inductive bias + synthetic-to-real teacher-student。这里要谨慎：PPR 与强度相关是成立的，但依赖组织反照率近似稳定、无强高光/液体/血液干扰、光源模型足够简单。真实提升到底来自 PPR 物理约束，还是来自 Depth Anything/DINOv2 预训练、25k 合成数据和 25k 真实无标签数据的 scaling，增益归因并不完全清楚。我的判断是：PPR 是有用的 regularizer，但主要性能地基仍是 foundation backbone + domain-specific data coverage。

系统级结果显示控制时间下降很大，但这更多证明“roll/state feedback 对遥操作校准有巨大价值”，不完全证明完整 3-D scene understanding 已经足够可靠。也就是说，论文最强 claim 应该是单目感知可显著改善连续体机器人交互控制，而不是已经解决腔内自主手术理解。

Relation To Prior Work

它最接近三条路线的交叉：surgical tool segmentation / pose estimation、endoscopic monocular depth、surgical simulation for synthetic data。和刚体机器人 pose 方法相比，它不依赖稳定 joints/keypoints，而利用连续体机器人低维曲率/角度参数；和普通 regression pose 相比，它通过 Matrix Fisher 给出旋转分布和不确定性。和内窥镜 depth foundation model 相比，它没有只靠数据先验，而加入内窥镜照明物理；和 photometric stereo / LightDepth 类方法相比，它面向动态器械+组织场景，而不只是静态组织表面。

很多组件本身并不新：SAM 蒸馏、copy-paste augmentation、DINOv2/DPT depth、teacher-student sim-to-real、Unity synthetic data 都是已有思想重组。实质创新在于将这些技术约束到一个连续体腔内机器人系统中，并让输出服务具体控制功能。换句话说，它属于 robotics perception platformization：把 foundation model、物理先验和仿真数据工程整合成可部署感知层。

Dataset / Evaluation

数据覆盖包括合成腔内场景、ex vivo 猪胃肠道视频、真实机器人原型系统实验；这比纯 benchmark 论文强，因为它至少验证了 perception-to-control 的链路。模块级评估覆盖分割、状态估计、深度估计；系统级评估覆盖遥操作校准、3-D 形状监控和器械-组织距离趋势分析。最能支撑核心 claim 的是轨迹跟随任务中校准后操作时间明显下降，因为它直接反映感知输出对控制可用。

但 evaluation 的边界也很清楚。首先，没有 in vivo human validation，组织形变、出血、液体、烟雾、临床器械遮挡等真实复杂性未被充分覆盖。其次，深度定量主要在 synthetic test 上，真实数据更多是 qualitative 和趋势合理性，不能完全证明真实绝对深度精度。第三，系统任务偏基础：轨迹跟随和接触距离推断，并没有验证切除、夹持、牵拉、活检等更复杂操作。第四，仿真器既是训练数据源又是部分可视化/评估工具，虽然不是直接泄漏，但存在 evaluation distribution 与 synthetic pipeline 过近的问题，需要更独立的真实基准。

Limitation

最关键的隐含前提是可见性。状态估计依赖器械主体在视野中有足够像素证据；一旦部分器械出视野或与背景混淆，模型会失效，只是 uncertainty 能部分提示风险。这个问题不是简单加数据就能完全解决，因为单目图像下不可见段本身不可观测，需要 kinematics、历史状态或控制输入融合。

第二个前提是低维形状模型足够准确。文中用 piece-wise constant curvature / 固定参数描述柔性器械，但真实手术中外鞘约束、组织接触力、器械磨损和载荷会改变形状。若仅靠图像回归，模型可能学到的是训练分布中的外观-状态相关性，而非真正物理状态。

第三，深度估计仍然是弱几何。PPR 约束在干净内窥镜场景中合理，但遇到高光、血液、液体、纹理变化、非 Lambertian 表面时会被破坏。所谓 instrument-tissue distance 更像局部相对深度估计，不应等同于可靠的碰撞安全距离。遮挡后方几何无法恢复是单目方法的根本上限。

第四，泛化能力可能主要来自数据覆盖和 foundation model，而非方法本身的强推理能力。论文展示了 sim-to-real 改善，但没有充分隔离真实无标签数据规模、仿真纹理质量、backbone 预训练和 PPR loss 的贡献。增益来源不清。若换内窥镜型号、器械外观、组织类型或临床域，是否仍稳定，需要重新验证。

第五，目前 perception 与 control 的耦合仍较浅。uncertainty 没有进入风险敏感控制或 Bayesian fusion，深度也没有进入长期地图或 motion planning。因此它更像增强遥操作的实时感知层，而不是完整 autonomy stack。

Takeaway

  • 1. 对连续体手术机器人，最有价值的视觉输出不是通用 3-D reconstruction，而是与控制变量对齐的低维状态、可见性不确定性和局部器械-组织距离。
  • 2. 单目内窥镜深度要想实用，不能只靠视频几何自监督；腔内光照模型、器械已知尺寸、机器人运动学和仿真标签都应作为额外约束源。
  • 未来更强路线很可能是 visual foundation model + physics/kinematics Bayesian fusion。
  • 3. 这篇推动的不是某个 SOTA 数字，而是证明了一个工程上可落地的方向：用 foundation model 进行弱标注和表征初始化，用仿真补监督，用真实无标签数据做 domain adaptation，再把输出接到真机控制辅助。

一句话总结

这篇论文是单目腔内连续体机器人从“视觉模块拼接”走向“控制变量对齐的实时感知平台”的代表性工作，实质贡献在于把 foundation model、机器人结构先验、内窥镜光照先验和仿真数据整合成可部署的 2-D/3-D 感知闭环前端。