精读笔记

Problem Setting

BiliVLA 处理的不是一般“内镜图像理解”，而是 ERCP 胆道导航中的视觉-动作闭环：在单目窄视野中持续把视轴对准 papilla/lumen/calculus，并驱动连续体内镜完成前进、后退和弯曲。真正困难点在于视觉目标、阶段语义和动作方向不是独立变量：同一个画面偏移在不同阶段可能对应不同目标，同一个检测框也未必导出正确动作。以前方法主要卡在两处：模块化系统把检测、规划、控制分开，误差和语义不确定性会在接口处放大；纯 RL/IL 又容易学到局部几何伺服，缺乏对阶段目标和安全状态的显式约束。这个任务的关键矛盾是，临床需要高稳定、低风险的闭环行为，但可获得的数据大多是短 horizon、强场景偏置、phantom/teleoperation 轨迹。

Motivation

已有 ERCP AI 多停留在 ampulla 检测或难度评估，不能直接闭环控制；已有内镜机器人 RL 往往依赖状态、几何或低维控制假设，缺乏语言/阶段条件下的目标切换能力；已有 VLA 虽能把视觉和语言接到动作上，但直接迁移到胆道内镜会遭遇强反光、遮挡、壁面接触和解剖外观差异。作者的核心观察是：ERCP 导航的动作可靠性并不只由定位精度决定，而由“我现在应该关注哪个语义目标、它在图像中哪里、下一步动作是否安全”共同决定。因此缺口不是再做一个 detector 或 controller，而是把语义目标、grounding、动作和安全恢复放进同一个学习目标。

Core Idea

论文真正的核心是把胆道导航建模为结构化 VLA 输出，而不是传统视觉伺服 pipeline。模型不只预测动作，而是同时生成 target category、bounding box 和 discrete 3-DoF command；这样动作不再是从隐式视觉特征直接分类出来，而是被中间的语义目标和空间 grounding 共同约束。这个设计引入的 inductive bias 很明确：正确动作应当可由目标类别和目标相对图像中心的位置解释。

它与 prior 的本质区别不在于用了 Qwen3-VL、LoRA 或 GRPO，而在于重新组织了信息流：阶段语言指令提供任务上下文，grounding 提供可解释空间锚点，动作 token 才是最终执行层。相比纯 IL，这减少了动作标签的歧义；相比模块化控制，它避免了 detector-output-to-controller 的手工接口；相比一般 EndoVLA，它把 ERCP 的场景阶段和安全接触模式做成显式监督。更 scalable 的部分在于多阶段任务可以通过 instruction/schema 共享同一策略，而不是为每个阶段单独写 controller。

Method

1. Scene-aware supervision：解决的是多阶段导航中目标语义混淆。阶段指令不仅告诉模型“输出格式”，更重要的是限定当前应 grounding 的目标类别，使动作预测绑定到阶段目标，而不是只对图像中心做机械伺服。核心变化是把 task context 从外部状态机的一部分移到策略输入和输出空间中。

2. Structured grounding-action output：解决的是动作不可解释和视觉-动作错配。目标框让动作分类获得一个空间中介变量，类别让目标框获得语义约束，动作则成为 grounding 后的决策结果。必要性在于 ERCP 的失败常常不是看不见，而是看见了但对错目标、错阶段或错方向执行。

3. Safety-aware recovery supervision：解决的是壁面接触这类安全关键、但在普通 imitation 数据中稀疏且难以通过成功奖励学习的状态。把 contact/occlusion 统一映射到全图框和 backward，是一个非常强的手工安全 prior。它带来的核心变化是模型在视觉退化时倾向保守撤退，而不是继续 forward 探索。

4. SFT + GRPO：SFT 建立可解析的 grounding-action 行为，GRPO 用 IoU、动作正确性和格式奖励对生成候选做相对优化。这里的 RL 更像离线结构化输出的 preference optimization，而不是环境交互式探索；它主要解决 SFT 后动作边界不稳定、格式错误和候选间一致性不足。

Key Insight / Why It Works

最可能有效的原因不是“大模型会推理”，而是任务被设计成了一个低熵的结构化决策问题：目标类别有限、动作空间只有 11 个 primitive、阶段指令固定、控制规律基本由目标相对中心偏移决定。在这种设定下，VLA 的优势是吸收视觉多样性和输出结构约束，而不是做复杂规划。

真正的核心贡献应是 representation alignment：把 semantic grounding 和 action supervision 对齐到同一 token/schema 中。IL baseline 的 mIoU 高但 SR 低，恰好说明单独优化定位不足；BiliVLA 提升主要来自把定位误差、动作标签和输出格式联合约束，使闭环执行中的动作抖动减少。Scene-aware 和 safety-aware 是更关键的 inductive bias，GRPO 则像后处理式的稳定器。

GRPO 的作用需要谨慎理解。它没有在线环境 rollout，也没有真实接触代价的长期 credit assignment；reward 是 IoU、action match、format validity，基本都来自已有标签。因此它更像在 SFT 分布附近做 reward-shaped self-sampling / hard output correction，而不是学习新策略。增益来源可能是采样带来的输出校准、格式约束和动作标签重加权，文中未充分说明其相对贡献。

所谓泛化也应保守看待。10k phantom 数据覆盖三个阶段，但视觉分布、动作空间和目标类型都高度受控；模型可能学到的是 stage-conditioned visual retrieval 加几何伺服，而不是对 ERCP 解剖变化的深层理解。若换真实组织、液体、出血、导丝/器械、不同内镜成像或非标准姿态，当前机制是否仍成立没有被证明。

Relation To Prior Work

这篇最接近三条路线的交汇：一是传统内镜视觉伺服/模块化机器人控制，二是 endoluminal RL 控制，三是 EndoVLA/SRT-H 这类语言条件下的医疗机器人 VLA。它不是从控制层面发明新算法，而是把 VLA 的 instruction-conditioned policy 套进 ERCP 的阶段化导航，并加入 ERCP 特定的 grounding 和安全标签。

看似新的部分，如 SFT+RL、LoRA、VLM backbone、格式奖励，都属于已有 VLA/RLHF/RFT 思想的重组。实质新增的信息主要有两类：第一，BiliVLA-Motion 把 ERCP phantom 中的图像、阶段语义、框和动作组织成可训练的多模态数据；第二，壁面接触被显式编码成 backward recovery，这比一般 VLA 的 task success imitation 更贴近安全关键内镜控制。

相对 EndoVLA，差异在于任务从 tracking 扩展到 ERCP 三阶段导航，动作从更简单的跟踪控制变为 3-DoF 离散 primitive，并额外引入 scene/safety aware 监督。相对纯 RL 内镜导航，差异在于它不追求从交互中发现策略，而是把专家/规则标签和大模型表征结合，属于 data-centric VLA policy alignment 谱系。

Dataset / Evaluation

BiliVLA-Motion 覆盖 entry navigation、lumen traversal、calculus localization 三个阶段，优点是比单一 tracking 或单一目标检测更接近 ERCP workflow，并且包含真机 phantom 闭环成功率，而不只是离线分类指标。这能部分支撑“perception-action coupling 比单独 grounding 更重要”的 claim。

但 evaluation 对泛化的支撑有限。所有数据和部署都在 phantom 环境，且动作标签由目标中心偏移规则、YOLO 框和人工修正共同产生；这意味着 benchmark 与方法假设高度同构。模型学到的控制规律可能正是评估规则本身。真实世界 claim 只能理解为真实硬件 phantom，而不是真实临床或 ex vivo 泛化。

实验比较显示 full model 相比 IL、Qwen3-VL、EndoVLA 和 ablation 有明显成功率优势，但 SR 每个任务 11 次 trial，统计稳定性有限。更关键的是，文中没有充分隔离数据量、backbone、prompt/schema、safety labels、GRPO sampling 之间的贡献；因此“scene-aware + GRPO”有效是可信的，但具体是哪一项驱动最大增益仍不清。

Limitation

第一，方法成立依赖一个很强的前提：动作可以由单帧目标位置和阶段指令近似决定。对短 horizon 对准/前进这成立，但对真正 cannulation、导丝交互、管腔分叉、非可见目标或需要记忆的场景不足。

第二，安全能力主要来自手工标签，而非真实风险建模。把壁面接触统一映射为 backward 很实用，但也粗糙；在真实 ERCP 中，后退未必总是安全，接触状态也可能与视野遮挡、液体、反光混淆。这里是把安全问题转移为“能否可靠识别 contact-like frames”。

第三，泛化可能主要来自数据覆盖，而非模型推理。阶段指令固定、目标类别少、动作空间离散，VLA 很容易退化为 condition-dependent classifier。所谓 semantic reasoning 更像把 prompt 当作任务 ID 使用。

第四，GRPO 的增益归因不清。由于 reward 与离线标签强绑定，它可能只是改善输出格式和动作校准；如果换成在线动态误差、组织力反馈或长期成功奖励，是否仍有效文中未说明。

第五，scalability 上限明显。离散 11 动作 primitive 简化了控制，但也限制精细操作；若扩展到连续控制、多器械、导丝/括约肌切开等步骤，当前 schema 可能迅速膨胀，VLA 输出的可执行性和安全验证都会变难。

Takeaway

• 1. 对医疗内镜 VLA，最有价值的不是让模型“理解语言”，而是用语言/阶段指令把策略条件化，减少目标和动作标签歧义。
• 2. Grounding 只有在和 action supervision 联合优化时才真正服务闭环控制；高 mIoU 本身不等价于高 success rate。
• 3. 安全关键行为需要显式数据与先验注入，不能期待 imitation 或通用 VLA 自动学会保守恢复。
• 4. 未来真正值得做的是跨 phantom/ex vivo/真实组织的 distribution shift、安全状态识别、连续控制与长期状态建模，而不是继续堆更大的 VLM backbone。

一句话总结

BiliVLA 是一篇把 ERCP 内镜导航从模块化视觉伺服推进到 data-centric、scene-conditioned VLA policy alignment 的工作，实质贡献在于用语义 grounding、动作 token 和安全恢复标签重新约束闭环动作，而不是证明了通用临床级自主推理。