精读笔记

Problem Setting

这篇论文解决的不是一般 VLM procedural QA，也不是传统 embodied planning，而是一个更窄但很实际的问题：在急救医疗场景中，标准器械缺失时，如何基于现场可见物体生成仍然符合医疗目标的步骤图。

真正困难点在于两个约束同时成立：一方面，流程必须保持 canonical procedure 的功能结构，例如止血、建立气道、插入通路等关键动作不能因为场景变化而消失；另一方面，动作中使用的 object 必须来自现场，不能继续幻觉 scalpel、tourniquet、needle 等标准工具。以前的 VLM prompting 卡在这里：它们知道标准流程，但这种知识反而会导致 hallucinated ideal tools；如果强行要求使用现场物体，又容易生成局部合理但整体流程不连贯的计划。

因此任务的关键矛盾是 procedural correctness 和 visual grounding 的冲突。ImPlan 的目标不是学习一个全新 planner，而是给 VLM 加一个结构化中介，使其在不破坏流程骨架的前提下进行工具替换。

Motivation

已有路线不够的地方在于，它们通常把视觉输入、任务目标和推理提示一次性丢给 VLM，让模型直接输出步骤。这个设定默认模型内部已经同时具备三种能力：知道标准流程、识别现场物体、判断替代物是否能承担原工具功能。实际结果往往不是三者组合，而是语言先验压过视觉约束。

作者的核心观察是：improvisation 不是从零生成新流程，而是在稳定流程结构上做局部功能替代。人类急救中的 JIT procedure 也不是随机试错，而是先保留目标和步骤角色，再寻找可用 object 的功能等价物。例如 belt + screwdriver 不是“新流程”，而是 tourniquet 中 strap 和 windlass 功能的现场实现。

所以关键缺口是功能角色层面的对齐机制：标准工具在流程中承担什么功能，现场物体经过何种 transformation 后能否承担相同功能。没有这个中间层，VLM 的所谓推理很容易退化为模板复述或物体 hallucination。

Core Idea

ImPlan 的核心思想是把 grounded improvisation 形式化为 canonical procedure graph 上的 constrained substitution，而不是让 VLM 直接自由生成计划。标准流程被表示为 action-object graph，其中 action 序列和理想 object 提供流程骨架；视觉场景提供可替换 object 集；transformation-aware scoring 决定某个现场 object 经改造后能否替代缺失工具。

这个建模方式引入了一个强 inductive bias：procedure 的逻辑结构相对稳定，变化主要发生在 object realization 层。它把高维开放式计划生成拆成两个更可控的问题：先复用专家流程结构，再做局部 grounding 和 substitution。这也是它相比普通 CoT prompting 的本质差异。CoT 只是鼓励模型讲出中间步骤，但没有改变搜索空间；ImPlan 则直接改变搜索空间，把输出限制在“保留动作、替换工具”的结构内。

从可扩展性看，这种方法对小模型友好，因为它减少了模型需要隐式记住和推断的内容。模型不必同时发明流程和判断替代物，只需在候选替代中做相似性/可供性判断。因此提升弱模型下限是合理的。

Method

方法中最关键的机制不是 VLM 本身，而是围绕 VLM 构造的结构化推理边界。

第一，stereotypical procedure graph 用标准执行视频的 verb-noun annotations 聚合得到。它解决的是流程稳定性问题：急救流程有强顺序约束，直接让 VLM 生成容易漏步、乱序或被场景物体牵引。canonical graph 相当于把专家示范中的 procedural prior 显式外置。

第二，scene object grounding 把候选工具限制到视觉场景中。它解决的是 VLM 在医疗流程中倾向于调用标准工具的问题。只要候选集来自 scene，模型就更难生成不可见器械，groundness 自然提高。

第三，transformation-aware substitution 是方法中最有意义的新增点。很多 improvised tool 不是原样替代，而是经过 cut、unwrap、flatten、remove component 等操作后才获得功能。例如 pen 变 airway tube 依赖拆除 ink cartridge。把 transformation 加入候选空间，使替代从 object-level similarity 扩展到 functional-use similarity。

第四，similarity threshold 和 greedy selection 本质上是一个轻量可行性过滤器。它带来的核心变化是拒绝明显荒谬替代，但文中没有充分说明阈值和 similarity 的医学有效性。这里更像工程近似，而不是严格 planner。

Key Insight / Why It Works

这篇论文最可能有效的原因不是 VLM suddenly learns improvisation，而是它用结构化约束显著降低了任务自由度。Direct prompting 要在开放语言空间里同时完成流程生成、视觉 grounding、工具替代和安全性判断；ImPlan 把流程生成固定成 retrieval，视觉 grounding 固定成候选集约束，工具替代固定成相似度搜索。难题被拆开后，VLM 的错误模式自然减少。

核心贡献应归因于 better inductive bias + retrieval/memory reuse，而不是模型能力 scaling。标准图复用了专家标注标准流程，相当于显式 memory；scene object filtering 强制 grounding；transformation templates 提供了一个小型可供性搜索空间。这些设计比单纯扩大模型更关键，因为它们改变了模型看到的问题形式。

最有价值的 insight 是：在高风险程序任务中，planning 的稳定部分和可变部分应该分离建模。动作顺序/目标结构通常应由外部知识或示范图约束；VLM 更适合处理柔性的语义匹配、场景解释和候选排序。把所有东西都交给 VLM 端到端生成，既不可靠，也不容易解释。

但也要直接指出：论文中的“reasoning”可能很大程度是 retrieval-conditioned substitution。它没有展示真正的 causal simulation、物理可行性验证、执行反馈，也没有证明 VLM embedding similarity 能捕捉医疗功能等价。groundness 提升可能主要来自候选空间收缩；plausibility 提升可能主要来自 canonical graph 注入。增益来源不清。

Relation To Prior Work

最接近的技术谱系包括三类：VLM grounded reasoning / hallucination reduction、affordance grounding、以及基于图的 procedural modeling。ImPlan 并不是从模型架构层面提出新 VLM，也不是传统意义上的 model-based RL world model；它更像是在 inference-time 用图结构和候选替代搜索包装 VLM。

和普通 VLM prompting / CoT 的本质差异在于，CoT 只增加语言层面的中间推理，而 ImPlan 增加了外部状态结构和搜索约束。和 affordance LLM/VLM 工作相比，ImPlan 不只是问“这个物体能做什么”，而是问“这个物体能否在某个既定 procedure step 中替代某个 ideal tool”。这引入了 procedure-conditioned affordance，而不是孤立 affordance。

和 classical planning 相比，ImPlan 没有完整状态转移模型、precondition/effect、代价函数或闭环 replanning。它借用了 planning 的图表示和替代搜索，但规划深度较浅。看似新的 improvisational reasoning，本质上是已有 graph prior、retrieval、affordance matching、prompted VLM scoring 的重组；实质创新在于把这些组合到 JIT medical procedure adaptation 这个任务结构上，并明确提出 transformation-aware substitution 作为中间层。

Dataset / Evaluation

数据集覆盖五类急救操作，包括标准执行视频和 67 个 JIT improvised videos。标准视频用于构建 stereotypical graph，JIT 视频用于评价。这一点使 benchmark 与方法假设高度匹配：方法需要 canonical graph，而数据正好提供标准流程；方法评估 improvised grounding，而 JIT 视频提供非标准工具使用。

评价最支持的 claim 是：在已知 procedure 类别、有限急救任务、专家标注动作词空间内，结构化 adaptation 可以比 direct VLM prompting 更好地同时维持 groundness 和 plausibility。多模型实验说明这个 scaffold 对不同 backbone 都有帮助，尤其是弱模型。

但 evaluation 没有完全验证更强的 claim，即“generalizable grounded decision-making in resource-limited environments”。任务范围仍窄，场景主要是离线视频/帧，不是真实闭环执行；没有机器人或人机协同部署；没有物理成功率、安全性、时效性、专家临床可接受性等硬指标。groundness 和 plausibility 主要是文本/embedding 或与标注计划相似度度量，可能偏好结构化模板输出。benchmark 是否能区分真正功能推理和模板匹配，文中未充分说明。

Limitation

最大限制是方法把困难问题转移到了几个未充分验证的组件上。首先，canonical procedure graph 必须存在且质量高；这意味着泛化到新 procedure 需要额外专家数据或流程库。其次，scene object set 必须准确，否则后续替代搜索建立在错误 grounding 上。第三，transformation set 必须覆盖实际可行改造；如果 transformation 缺失，系统不会发明新的可操作改造。

更深层的限制是功能相似性估计过于弱。用 VLM embedding 或文本相似度衡量 scalpel 与 sharpened knife、pen tube 与 airway tube 的替代关系，可能捕捉语义相近，但不保证尺寸、材料强度、消毒、安全风险和操作可达性。医疗 improvised procedure 的关键恰恰在这些非语言约束。

所谓 planning 也没有长期状态建模。系统没有显式跟踪执行后的世界状态，没有检查某一步 transformation 是否消耗/破坏了后续步骤所需资源，也没有处理失败恢复。它更像 one-shot procedure graph rewriting，而不是 model-based planning。

此外，增益归因不清。没有足够消融说明提升究竟来自 graph prior、visual candidate filtering、transformation prompting、还是 similarity threshold。部分提升可能只是因为 prompt 中注入了更多专家流程信息，或者评价指标更偏好与 canonical graph 接近的输出。泛化可能依赖 benchmark overlap，而非真正跨场景 improvisation。

Takeaway

• 1. 对 procedural VLM planning，一个重要方向不是继续让模型自由生成更长 CoT，而是把稳定的程序结构外置，把模型用于局部、可解释的 adaptation。
• 2. Improvisation 可以被看作 procedure-conditioned affordance matching：不是物体一般能做什么，而是在某个标准步骤中能否承担某个工具角色。
• 这一视角可以迁移到家务机器人、维修、灾害救援等资源受限任务。
• 3. Transformation-aware substitution 是值得保留的 insight。

一句话总结

ImPlan 是一篇把 VLM procedural generation 从自由语言生成推进到“canonical graph 约束下的场景 grounded 工具替代”的工作，贡献主要在结构化 inductive bias 和 transformation-aware substitution，而不是在真正学习出完整世界模型。