精读笔记
Problem Setting
CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning（arXiv preprint / 2026）。
这篇论文解决的不是通用机器人语言控制，而是一个更窄但实际很重要的问题：在已知对象集合、静态工作站、少量人工示教的工业 manipulation 场景中，如何让机器人通过自然语言选择、参数化、组合和扩展技能库。
关键矛盾是：工业任务需要高精度和低数据成本，而自然语言接口通常通过 VLA/端到端策略获得，代价是大量数据、长时间 fine-tuning 和较弱可解释性；传统 TP-KMP/TP-IL 则非常适合少样本几何泛化，但调用方式是程序化的，不知道“用户说的任务”对应哪个 skill、哪个对象 frame、是否缺技能。
真正困难点在连续技能组合。语言系统常见的“组合”只是 symbolic sequencing：先 pick，再 place，再 insert。但这里作者想做的是 trajectory-level composition：从两个 independently taught skills 中抽取局部轨迹分布，融合成一个未单独示教过的新连续运动。这比工具调用难，因为错误融合会产生平均化轨迹，物理上没有意义。
Motivation
作者的核心动机是：不要让 foundation model 学低层控制，而是利用它已经擅长的语义匹配、视觉上下文理解和 tool calling；同时把低层运动保留在 task-parameterized movement primitive 这种强结构模型里。
已有路线缺的是一个中间表示。VLA 有语言和动作，但缺少少样本精密控制的 inductive bias；TP-KMP 有少样本轨迹泛化，但没有语言 grounding；LLM/VLM 技能库方法有语义接口，但多数停留在离散 skill selection / sequencing，不能重塑轨迹。
这篇的观察是：TP-KMP 的协方差本身可以告诉系统“某个局部 frame 在什么时候可信”。如果两个技能的可信时间段互补，那么 product-of-Gaussians fusion 会自动形成阶段切换；如果可信区域重叠或都不明确，就应拒绝组合。这把技能组合从语言 planner 的猜测转成了一个可检查的概率结构问题。
Core Idea
核心思想是把机器人技能建模为“语义 schema + 几何概率轨迹”的双层对象。VLM 不直接输出动作，也不学习 policy；它只把自然语言命令映射到技能 schema，并绑定当前场景里的对象实例。TP-KMP 则负责把对象 pose 作为 task parameters，生成可执行的连续轨迹。
本质变化在于信息流重新组织：语言只操作离散语义和参数绑定，连续控制完全由带对象坐标系 inductive bias 的 TP-KMP 决定。这样避免了 VLA 在小数据下学习视觉-语言-动作映射的困难，也避免了传统 movement primitive 需要人工指定技能和 frame 的问题。
最有价值的新增 bias 是 covariance-governed composition。组合不是“把两个 skill 顺序接起来”，而是在轨迹分布层面让低不确定性的局部 KMP 在对应阶段主导融合结果。只要不同技能的低方差区域天然分区，融合后的轨迹就会表现得像平滑的阶段切换。这是本文区别于大多数 language-grounded skill library 的地方。
Method
方法里真正关键的机制可以压缩为四个。
第一，skill schema。每个技能不仅存 TP-KMP 参数，还存 VLM 生成的 JSON schema，包括对象需求、precondition、postcondition、primitive phase、object order 等。它解决的是语言到技能库的 grounding 问题。没有 schema，VLM 只能根据技能名猜；有 schema 后，skill selection 变成 tool calling 和参数绑定。
第二，TP-KMP 的 object-frame encoding。示教轨迹被投影到任务相关对象坐标系中，每个 frame 学一个局部 KMP。执行时用当前对象 6D pose 把局部分布变回全局并融合。它解决的是几何泛化问题，也是少样本有效的主要原因。
第三，trajectory-level composition。VLM 先从语义上选择两个候选技能及各自局部 KMP/frame；系统再检查两者是否满足 compatibility constraint。如果满足，就把两个局部 KMP 作为一个新的 TP-KMP 的两个 frame，用 product-of-Gaussians 生成轨迹。这里 VLM 不负责判断连续可融合性，数学约束负责拒绝不合理组合。
第四，active acquisition。当已有 skill 或 valid composition 都不能满足命令时，VLM 生成 targeted demo request，用户示教缺失技能，系统训练新 TP-KMP 并生成 schema 加入库。这个机制解决的是技能库增量扩展，但学习本身仍是标准少样本 TP-KMP。
Key Insight / Why It Works
这篇有效的核心不在 VLM scaling，而在 representation alignment：把 VLM 的语义能力和 TP-KMP 的几何/不确定性结构对齐到一个技能库接口上。VLM 做它擅长的开放词汇匹配、对象选择和自然语言交互；TP-KMP 做它擅长的少样本轨迹插值、对象坐标系重定向和协方差加权融合。
最可能的核心贡献是 compatibility-constrained covariance fusion。普通 movement primitive superposition 早已有 product-of-Gaussians，但问题是没有“什么时候不该融合”的判据。CLASP 用低方差 dominance 的时间分区作为可组合性的代理信号：如果 skill A 在前段低方差、skill B 在后段低方差，融合会自然形成 A-to-B 的连续行为；如果两个技能同时强约束同一时段，融合会产生冲突平均，必须拒绝。这个 insight 可迁移性较强。
schema generation 是有用 glue，但技术上更像 engineering/interface design。它降低人工 skill definition 成本，也让 VLM tool calling 更稳定；但它不是新的机器人学习机制。active learning loop 也主要是 library maintenance：检测缺技能并请求示教，增益来自人类补数据，不是模型自动发现新能力。
所谓语言推理需要谨慎看待。多数场景中 VLM 做的是 schema retrieval + argument binding，而不是复杂 causal/physical reasoning。composition feasibility 也不是 VLM 推出来的，而是后端协方差检查。因此本文的可靠性恰恰来自限制 VLM 的职责，而不是让 VLM 更强。
性能提升主要来自 better inductive bias 和 memory reuse，而非 scaling。TP-KMP 把少量 demonstration 组织成对象坐标系下的可重用局部分布；技能组合则复用已有低方差片段。只要任务结构符合“局部阶段可由不同对象 frame 主导”的假设，少样本会非常强；一旦任务需要闭环接触调整、长期状态、动态场景或非互补约束，这个假设会明显变弱。
Relation To Prior Work
这篇最接近三条谱系的交叉：task-parameterized imitation learning、language-grounded skill libraries、probabilistic movement primitive fusion。
相对 TP-GMM/TP-KMP，CLASP 没有在底层运动学习上提出根本新模型；真正新增的是把技能封装成 VLM 可调用的语义工具，并把跨技能组合纳入 TP-KMP 的 covariance fusion 框架。也就是说，它不是改进 KMP 表达能力，而是改进 KMP skill library 的可访问性和可组合性。
相对 SayCan、Vocal Sandbox、Lifelong Robot Library Learning 等语言技能系统，差异在于组合层级。prior 多数是在离散 primitive 之间做选择、排序、代码生成或 dialogue-based expansion；CLASP 的组合发生在连续轨迹分布层面。这是实质差异，不只是换了一个 planner。
相对已有 ProMP/KMP fusion 工作，product-of-Gaussians 和 covariance weighting 不是新东西；新的是把它放到语言驱动 skill selection 的执行链路中，并加入一个显式 refusal criterion。这个 refusal criterion 比“VLM 判断是否能组合”更可靠，也更符合机器人部署需求。
和 VLA 相比，CLASP 是强模块化、强先验、低数据的反路线。它牺牲开放世界语义泛化，换取已知对象场景下的高精度、可解释和快速增量学习。它更像 industrial robot programming framework，而不是通用 embodied foundation model。
Dataset / Evaluation
评估是真机实验，这一点比纯仿真或离线 benchmark 更有说服力。任务覆盖对象泛化、姿态泛化、技能组合、主动补技能，并且包含一个较精密的 bearing ring insertion 场景，基本对应作者的核心 claim：少样本、语言调用、组合、能力扩展。
但任务范围仍然是小规模、静态、结构化 tabletop/assembly manipulation。组合实验主要是 pairwise，且组合对象和技能类型都非常受控；没有证明更长 horizon、多步骤分支、动态反馈或复杂接触序列下仍然成立。
pose generalization 的失败主要来自感知，manual pose 能补齐，这支持“TP-KMP 几何泛化本身是强的”这一点；但也暴露出系统级瓶颈被转移到了 perception。由于每个对象类需要 6D pose estimator，所谓 object generalization 不是 VLA 意义上的 zero-shot novel object generalization，而更接近已知对象/已训练感知类别上的几何和尺寸迁移。
和 π0.5 的对比有一定参考价值，说明同等 demo budget 下 VLA 在精密真机任务上不占优。但这个比较不应被解读为普遍优于 VLA：两者假设不同，CLASP 依赖对象 pose supervision 和结构化技能库，VLA 面向更开放的视觉-动作映射。
Limitation
最根本的限制是系统把困难从 motion learning 转移到了 perception 和 skill library design。2–5 demonstrations 只说明 TP-KMP 运动学习数据少，不包括对象检测、6D pose estimator、CAD/synthetic data、手眼标定和 ICP refinement 的成本。对于工业已知对象这可以接受；对于开放世界 manipulation，这不是同一个问题。
组合能力的上限由协方差结构决定。只有当两个局部 KMP 的低不确定性区域在时间上互补时，fusion 才有意义。这要求示教数据本身形成清晰阶段结构。若两个技能都在同一时刻强约束姿态/位置，或者任务需要相反方向的插入、翻转、绕障、接触搜索，compatibility 会拒绝或融合失败。换句话说，组合不是任意技能的代数闭包，而是对一类 covariance-compatible skills 的复用。
泛化并不完全是语义泛化。VLM 可以理解“insert bearing ring”，但真正执行依赖是否已有 insert skill、是否有该对象 pose、是否 schema 正确。所谓 reasoning 更像 constrained retrieval：先检索 skill schema，再绑定对象，再后端检查可融合性。长期状态建模、失败恢复、闭环 replanning、接触状态估计都没有充分解决。
schema 自动生成也存在隐藏监督问题。VLM 没有观察轨迹，只从图像和对象上下文生成 skill label 和 preconditions，文中承认可能生成 scene expectation 而非真实动作语义。self-verification 能缓解，但文中未充分说明在复杂、多物体、动作歧义场景中的错误率。
scaling 到大技能库后也有问题：所有 schema 同时进 prompt 的方式会遇到上下文长度、tool selection ambiguity 和语义冲突；多个技能 incremental chaining 时 compatibility constraint 可能越来越难满足。文中只验证 pairwise composition，multi-skill composition 的可行性仍是未验证假设。
Takeaway
- 1. 最值得迁移的 insight 是：不要让 VLM 直接控制连续动作，而应让它操作结构化 skill schema；连续控制交给有强几何先验和不确定性估计的模型。
- 2. 协方差可以不只是执行置信度，还可以作为 skill composition 的结构信号。
- 用 uncertainty dominance 判断“谁在何时主导”比让语言模型猜可组合性更可靠。
- 3. 少样本机器人学习的关键不是压榨大模型，而是找到对任务结构合适的 inductive bias。
一句话总结
CLASP 是一条“用 VLM 做语义接口、用 TP-KMP 做少样本连续控制、用协方差约束做技能融合”的模块化工业机器人编程路线，真正贡献在于把语言技能库从 symbolic sequencing 推向了可拒绝的 trajectory-level probabilistic composition。