精读笔记

Problem Setting

这篇论文针对的不是常规 language-conditioned manipulation，也不是长程任务规划本身，而是 VLA 在训练数据没有覆盖某个低层操控 primitive 时如何扩展自身能力。已有 VLA 可以在示教分布内执行 task-level instruction，但遇到 sweep、twist、pour、rotate 这类未见运动模式时，语言泛化不会自动产生新的控制能力。

真正困难点有两个：一是 capability boundary 不可见，系统需要知道“哪些步骤已有 policy 会，哪些是真的不会”；二是 acquisition unit 必须足够小，否则每个新任务仍然要收集完整任务示教。以前方法要么用 RL 直接学全任务，样本复杂度过高；要么用 VLM/LLM 在测试时生成代码、轨迹或 value map，本质上没有更新底层 policy，下一次仍要重新 reasoning。

关键矛盾是：VLA 的能力来自数据，但开放环境下不可能为每个新任务收集完整人类示教；另一方面，许多新任务只缺少少数可复用 primitive。如果能把任务学习转成 primitive gap acquisition，就能显著降低新增数据成本。

Motivation

作者不满足于“VLM 做 planner + VLA/skill library 执行”的路线，因为这类方法通常只是在已有能力上做 test-time composition。它们可以让机器人看起来会做新任务，但底层 policy 没有获得新 primitive；每次遇到相似问题仍依赖 VLM 推理、代码生成或低层 hand-designed controller。

核心观察是 manipulation skill 具有强组合结构：新任务通常不是完整 novel trajectory，而是已有 approach、grasp、lift、move、lower 等 primitive 加一个缺失运动，例如 rotate block、push drawer closed、twist cap、tilt bottle、lateral sweep。这个观察把开放技能学习的难度从“学一个新 task”降低为“发现并补齐一个 missing primitive”。

关键缺口在于，已有 steerable VLA 工作把 primitive interface 当作测试时控制接口，而没有把它作为持续学习的写入接口。InSight 的动机就是把 steerability 从 read-only control interface 变成可扩展的 skill memory interface。

Core Idea

InSight 的核心思想是：先把 VLA 的行为表示从整任务 instruction 解耦成 primitive-level language-conditioned segments，使 policy 可以被低层语义标签 steer；再让 VLM 在新任务中显式比较 plan 和 primitive vocabulary，找出 policy 不会的 primitive gap；最后通过 VLM 参数化的低层控制收集成功 rollout，并把这些 rollout retrain 回 VLA。

这改变了建模方式：VLM 不再只是 planner，也不是直接负责长期控制，而是变成数据获取闭环中的“缺口定位器”和“自动标注器”；VLA 不再只消费人类示教，而是把自主成功经验纳入训练集。新的 inductive bias 是 primitive compositionality：假设可迁移能力存在于短时、单一主运动模式的 segment 中，而不是整任务轨迹中。

和 prior 的本质区别在于，InSight 把 test-time reasoning 的结果持久化为 policy capability。CaP / VoxPoser / SayCan 类方法更多是在已有 skill 或 affordance 上做推理组合；InSight 则把 VLM 产生的 gap execution 转成训练数据，让下一次同类 primitive 可以由 VLA 直接执行。这是从 planning-over-skills 到 data flywheel for skill expansion 的转变。

Method

第一，primitive segmentation 解决的是 task-level demonstration 中技能边界不可用的问题。通过 VLM plan decomposition、gripper transition 和末端执行器运动模式，把长示教切成带语义标签的 primitive episode。必要性在于：如果不重构训练数据粒度，VLA 仍然只能响应整任务 instruction，无法被 planner 精确调用某个低层动作。

第二，primitive vocabulary 和 gap detection 解决的是 capability boundary 显式化问题。新任务先被 VLM 分解为 primitive sequence，再与已训练 vocabulary 对齐；不在 vocabulary 中的步骤被视为 primitive gap。这一步的核心变化是把“policy 不会做什么”变成可操作的数据采集目标。

第三，VLM-guided gap execution 解决的是没有人类示教时如何获得第一批成功样本。论文限制 gap 为单轴平移或旋转，由 VLM 根据图像提出 axis 和 magnitude，低层控制器执行。这不是通用运动生成，而是一个很强的动作空间约束；它牺牲表达力换取可搜索性和安全性。

第四，oracle filtering + retraining 解决的是如何把一次性成功变成可复用能力。只有完成整个任务的 rollout 中的新 primitive 被加入训练集，再和旧 primitive 一起训练统一 VLA。这里的关键不是模型结构，而是数据闭环：成功经验被写回 policy，旧数据同时 replay 以维持已有技能。

Key Insight / Why It Works

最核心的有效性来源不是 VLM 真的会机器人控制，而是问题被重新参数化得足够简单：大部分已知步骤由 VLA 处理，未知步骤被压成一个单轴 motion gap，VLM 只需在少数离散轴和粗粒度幅度上做选择。这个设置极大降低了 VLM 控制的难度，也降低了 autonomous acquisition 的样本复杂度。

真正贡献可能在 primitive-level steerability + acquisition loop 的结合。steerability 本身已有工作做过，VLM planning 也已有工作做过，但把 steerable primitive vocabulary 当作可扩展 memory，并围绕 vocabulary gap 组织数据采集，是这篇较实质的机制创新。

效果很大程度来自 better inductive bias 和 data coverage，而不是强 reasoning。VLM 的“推理”更像是在 prompt 约束下做语义-几何检索：识别 twist 应该是 drz、pour 应该是 dry、sweep 是 lateral push。它确实有用，但不是长期状态建模，也不是闭环策略学习。

progress channel、completion check、oracle filtering 都是辅助但重要的工程稳定器。尤其 oracle filtering 会显著提高写入训练集的数据质量；这意味着方法的学习信号带有强选择偏差：policy 学到的是成功 rollout 的 imitation，而不是从失败中改进。

论文中增益归因仍不完全清楚。InSight 相比 CaP-X 的优势可能来自两个来源混合：一是 VLA 执行 primitive 比 VLM test-time code 更稳定；二是新 primitive 已经通过成功数据 fine-tune 进 policy。缺少更细的 ablation 来区分 segmentation、primitive labels、oracle filtering、retraining 数据量各自贡献。

Relation To Prior Work

这篇最接近三条线：steerable VLA、LLM/VLM robotics planning、hierarchical skill learning。它不是从零提出 primitive，也不是首次用语言标签控制低层 policy；它的新增点在于把这些东西组织成一个 continual acquisition loop。

相对 STEER / Steerable Policies，InSight 的差别是 primitive set 不固定。前者强调语言作为低层控制接口，后者进一步问：当接口里没有某个 primitive 时，能不能自动补进去。这是从 steerability 到 expandability 的推进。

相对 SayCan / Code-as-Policies / VoxPoser，InSight 的差别是 policy 更新。prior 多数是在测试时组合、打分、生成代码或轨迹，能力不进入机器人长期记忆；InSight 则通过 retraining 把新 primitive 固化，因此后续组合不必重新依赖同等程度的 VLM low-level control。

相对 RL 或 autonomous skill discovery，InSight 的探索空间被强先验压缩：不是 reward-driven open-ended exploration，而是 VLM 给出一个很窄的 candidate motion，再用视觉 oracle 筛成功。这更像 language-guided targeted data acquisition，而不是传统意义上的自主发现。

看似新的部分里，automatic segmentation、language relabeling、primitive composition 都是已有思想重组；比较实质的创新是“primitive gap”作为持续学习单元，以及用 VLM 同时承担 gap proposal、execution parameterization、success filtering，从而闭合数据飞轮。

Dataset / Evaluation

实验覆盖仿真与真机，任务类型包括 pick-and-place 派生的 block flip、drawer closing、twist、pour、twist-then-pour 和 sweeping。覆盖面在机器人论文里算合理，尤其包含真实 xArm 和非抓取接触任务，能说明方法不是只在单一 tabletop grasping 上工作。

评估基本支持论文的核心 claim 的弱版本：当新任务只缺少少数 primitive，且这些 primitive 可由受限低层控制采样成功时，InSight 能用少量自主成功样本扩展 VLA，并复用到长程组合任务。twist-then-pour 是最有说服力的，因为它检验了 acquired primitives 的再组合，而不是只验证单个新技能。

但 evaluation 还不能证明开放世界 skill acquisition。任务都经过精心选择，缺失 primitive 与已有 primitive 的边界很清楚，而且 VLM prompt 中明确限制每个 gap 为单轴运动。真实部署中，primitive gap 可能不是单一运动，也可能需要多阶段接触、力控、状态估计和失败恢复。

对比基线也有一定偏向。RL baseline 在小 rollout budget 下失败并不意外；CaP-X 代表 test-time VLM control，但它和 retrained VLA 的比较混合了 execution substrate 与 data advantage。更强的对照应包括：同样的 acquired data 训练非 primitive VLA、人工 primitive labels vs 自动 segmentation、VLM oracle vs scripted oracle、不同 vocabulary 规模下的 gap detection。

Limitation

最大前提是任务必须能被分解为已知 primitives 加少数单轴 missing primitives。这个假设在 twist、pour、sweep 这类几何动作中成立，但对需要连续接触调节、力反馈、非刚体操作、工具使用或长程状态依赖的任务很可能不成立。

所谓 autonomous 仍依赖大量外部结构：人类提供 base demonstrations，人类 reset 环境，prompt 规定 primitive 粒度，VLM 被告知坐标轴语义和约束，oracle 只接受成功样本。这不是完全开放式自学习，而是强工程化的 targeted self-data collection。

泛化真实性有限。VLA 学到的新 primitive 是否跨物体、跨姿态、跨场景稳定迁移，文中未充分说明。当前成功可能主要来自窄任务分布内的数据覆盖，而不是形成抽象可迁移的 manipulation concept。

scalability 上限不清楚。primitive vocabulary 增大后，VLM plan 与 label matching 可能出现语义漂移；相似 primitive 之间的边界会变模糊；joint retraining 成本和遗忘风险会上升。论文展示了少量 primitive 的增长，但没有证明长期 vocabulary expansion。

reasoning 成分可能被高估。VLM 主要做离散 gap naming、axis selection 和 success judging，这更像视觉语义检索与规则化参数选择，不是 robust task reasoning。planner 也没有显式长期状态模型，错误恢复能力弱。

增益归因不清。到底是 primitive segmentation 带来的 steerability、VLM 选择低层参数、oracle 过滤成功样本，还是 retraining 数据本身贡献最大，论文没有充分拆开。部分提升可能主要来自 scaling / data：一旦成功 primitive 数据加入训练，VLA 自然会比没有这些数据的 baseline 强。

Takeaway

• 最值得记住的是：VLA 的持续学习可以不从 full-task demonstrations 入手，而从 primitive gap 入手；这会把开放技能学习变成更可控的数据采集问题。
• 第二，steerability 的价值不只是测试时可控，而是提供了一个可写入的 skill memory interface。
• 未来 VLA 系统如果要 lifelong learning，primitive-level read/write interface 可能比单纯更大的 task-level model 更关键。
• 第三，VLM 在机器人学习中更现实的角色可能不是端到端控制器，而是数据飞轮的语义调度器：决定采什么、怎么粗略初始化、哪些样本值得写回。

一句话总结

InSight 是一篇把 steerable VLA 从测试时控制接口推进为持续技能写入接口的工作，其真正贡献是用 primitive gap 驱动的 VLM-guided data flywheel，把新任务学习重构为可复用低层能力的增量数据扩展。