Awesome World Models / OpenReview

SEAL: SEmantic-Augmented Imitation Learning via Language Model

作者：作者信息待提取 · 单位：SEAL: SEMANTIC-AUGMENTED IMITATION LEARN-, The Hong Kong University of Science and Technology (Guangzhou), University of Alberta · 来源：General Approaches to World Models · 发布日期：2025 · 分类：5. Building World Models by Bridging Language and Vision Intelligence

语言先验

精读笔记

Problem Setting

【SEAL: SEmantic-Augmented Imitation Learning via Language Model】（Awesome World Models / 2025）

这篇论文实际处理的是 long-horizon imitation learning 中的 hierarchy acquisition 问题：没有人工子任务标签、没有预定义 subgoal space，只有专家轨迹和一条 full-task language instruction，如何构造一个可用于 HIL 训练的离散子目标空间。

真正困难点不是学一个 goal-conditioned policy，而是 latent subgoal 的 identifiability。无监督 skill discovery 可以从轨迹中压缩/聚类出 latent options，但这些 options 未必对应任务中的语义阶段，也未必对后续动作选择有因果帮助；监督 HIL 则需要昂贵的人类 thought / subgoal labels。LLM planning 似乎能提供高层结构，但直接让 LLM 输出动作计划通常不可执行，而且 online API 调用成本高、计划静态、缺少 grounding。

因此这篇的关键矛盾是：语言端有强任务结构但不接地，轨迹端有接地行为但缺层级语义。SEAL 试图把二者接起来：让 LLM 给出 hierarchy prior，再把这个 prior 蒸馏进可训练的 HIL encoder。

Motivation

作者认为已有路线缺的是“低成本、语义稳定、可训练”的 subgoal supervision。

无监督 HIL 的问题不是没有 latent，而是 latent 太自由：K 的选择敏感，skill 边界可能和任务成功无关，尤其在长组合任务中容易切出行为上局部一致但语义上无意义的阶段。语言条件 IL / Thought Cloning 类方法需要人工 thought labels，成本高且不容易扩展。LLM planner 类方法能分解任务，但往往停留在 high-level symbolic plan，需要已有 low-level policy 执行，无法从 demonstrations 中同时学习层级表示和动作。

作者的核心观察是：LLM 最适合在这里扮演 prior/annotator，而不是 controller。它不必在线规划每一步，只需离线完成两件事：定义任务子目标集合，并把专家轨迹中的状态映射到这些子目标。这样可以把 LLM 的 semantic/world knowledge 转换成 HIL 的 supervised latent labels。

Core Idea

SEAL 的核心思想可以概括为：用 LLM 把自然语言任务说明转成一个有限离散 subgoal ontology，再用这个 ontology 给专家轨迹中的状态预标注，从而把 HIL 的高层 latent learning 从无监督结构发现改成语义监督学习。

这改变了建模方式。传统无监督 HIL 是从 state-action distribution 中向上抽象技能；SEAL 是从语言任务分解向下约束 latent space。前者依赖轨迹统计结构，后者引入人类任务分解的 inductive bias。这个 bias 在小数据 regime 下尤其有价值，因为它显著缩小了高层 encoder 的假设空间：模型不需要自己发现“先拿钥匙再开门”，而只需要学习哪些状态属于“move to key / pick key / move to door / unlock door”。

和 prior 的本质区别在于，SEAL 不是让 LLM 直接做 planner，也不是简单把语言作为 policy conditioning，而是把 LLM 的 high-level reasoning 蒸馏成可离线训练、可重复使用的 latent supervision。它的 scalability 来自减少 test-time LLM 调用；它的 generalization 若存在，主要来自语义子目标空间比轨迹聚类更接近任务因果结构。

Method

SEAL 的关键机制不是模块数量，而是三类约束如何组织信息流。

第一，LLM 定义 subgoal space。给定 full-task instruction，LLM 输出一串任务阶段，作为离散 G。它解决的是 HIL 中 subgoal set 未知的问题，也减少了无监督方法对 K 的人工调参。核心变化是：latent classes 不再是任意编号的聚类中心，而是有语义含义的任务阶段。

第二，LLM 对 expert states 进行 subgoal labeling。论文用 yes/no 判断每个状态是否属于某个 subgoal，并转成 one-hot label 训练 supervised high-level encoder。它解决的是语言计划无法直接接地的问题：只有当每个轨迹状态被绑定到语言阶段，low-level imitation 才能利用这些阶段。这里的关键是 LLM 被用作 offline annotator，一旦标注完成训练和执行都不再依赖 LLM。

第三，dual-encoder 结合 LLM-supervised encoder 和 VQ encoder。LLM encoder 提供语义对齐，但可能过拟合或被错误标注牵引；VQ encoder 从状态分布中学数据驱动 latent，作为 fallback。动态权重用验证 success rate 调整两者贡献。这个机制的必要性在于：LLM labels 并不总可靠，特别是子目标数增加、状态空间稀疏时，纯监督 encoder 会变脆。

第四，transition-augmented low-level policy。普通 GC-BC 会平均模仿所有状态，但 HIL 成败往往卡在 subgoal transition states，而这些状态在轨迹中占比很小。SEAL 对 z_t 到 z_{t+1} 发生变化的位置加权，等价于把训练注意力放到阶段切换动作上。这是一个简单但合理的修正：它不改变 policy class，却改变了 imitation loss 对关键状态的偏好。

Key Insight / Why It Works

这篇真正有效的原因大概率不是“LLM 会规划”，而是“LLM 提供了强 supervised hierarchy prior”。在 KeyDoor / Grid-World 这类任务中，正确层级几乎就是任务成功的主因：先移动到对象、再 pick up、再移动到下一个对象。无监督方法需要从有限 demos 中恢复这个结构，而 LLM 直接把结构给了模型。因此增益更像 representation alignment + hidden supervision，而不是 emergent reasoning。

最核心的贡献是把 LLM plan 蒸馏为 state-level subgoal labels。这比仅生成 high-level plan 更有用，因为它把语义结构接到了 imitation loss 上。没有 state-to-subgoal labeling，LLM plan 仍然只是外部文本；有了 labeling，高层 encoder 才能在 test state 上复现这个语义阶段判断。

transition-augmented loss 也可能是实质贡献之一。HIL 的 failure 常发生在边界：该从“move”切到“pick”、从“picked object 1”切到“move object 2”时，普通 BC 对这些低频状态学习不足。对 transition states 加权本质上是一个 curriculum / importance weighting，把监督预算集中到长期任务的 bottleneck 上。这个机制可迁移性较强，不依赖 LLM。

dual-encoder 更像工程上的 robustness mechanism。它有直觉合理性：语义 encoder 和数据 encoder 互补。但文中对动态权重的稳定性、验证频率、环境交互预算没有充分展开。这里的增益来源不清，可能部分来自 validation-time model selection，而不是 encoder 融合本身。

需要直说的是：在论文实验环境中，LLM labeling 的难度被大幅简化。状态是显式坐标、对象状态和下一坐标，prompt 中还给出环境规则。LLM 的行为更接近规则分类器或 retrieval over explicit fields，而不是复杂世界模型推理。若换成原始视觉、遮挡、模糊语言或非线性任务图，当前机制是否仍成立文中未充分说明。

Relation To Prior Work

SEAL 最接近三条线的交叉：supervised HIL / Thought Cloning、unsupervised skill discovery、LLM-assisted planning。

相对 supervised HIL 或 Thought Cloning，SEAL 的差异在于标签来源从人类 thought/subgoal annotation 换成 LLM-generated labels。这是实质上降低 annotation cost 的改动，但也引入了 hidden supervision：LLM 通过 prompt 和结构化状态获得了强任务知识。它不是无监督层级学习。

相对 LISA、SDIL、CompILE、LOVE 这类无监督 skill discovery，SEAL 的本质不同是 latent space 被语义先验锚定。无监督方法的 skill 是压缩轨迹的结果；SEAL 的 subgoal 是任务描述的解释结果。这解释了为什么它在 K 选择和 subgoal accuracy 上更稳，但也意味着它依赖任务可被语言正确分解。

相对 LLM planner / SayCan / ProgPrompt 类方法，SEAL 不把 LLM 放在执行闭环里，而是把 LLM 作为 offline hierarchy prior。这个设计更便宜、更可训练，也避免了 LLM 直接输出 primitive actions 的 grounding 问题。但它也牺牲了在线重规划能力：一旦 subgoal library 固化，遇到新子目标或异常状态时没有真正的 planner。

看似新的 dual-encoder 实际是 supervised + unsupervised regularization / ensemble 的重组；transition weighting 则借鉴了 hierarchical RL 中 intermediate reward 的思想。最实质的新信息是：用 LLM 自动产生 HIL 中最稀缺的 state-level subgoal supervision。

Dataset / Evaluation

实验覆盖 KeyDoor 和自定义 Grid-World，都是离散、全可观测、向量化状态的组合任务。它们适合验证“语义子目标标签是否帮助 HIL”，但不足以支持更大的 claim，例如 LLM world knowledge 能一般性 bridging language and vision intelligence。论文没有真实世界、没有真机、没有视觉输入，甚至为了 LLM 理解把图像状态转成了显式坐标和对象状态。

评估比较了 BC、无监督 HIL、LLM-supervised Thought Cloning 和 SEAL 变体，设计上能部分拆分贡献：SEAL-L vs TC 支持 transition-augmented loss；SEAL vs SEAL-L 支持 dual-encoder；LLM methods vs unsupervised methods 支持 semantic prior。这个 ablation 方向是合理的。

但 benchmark 是否验证核心 claim 仍有限。任务的 ground-truth hierarchy 与语言指令几乎一一对应，LLM 分解难度很低；state labeling 也有显式规则可循。任务变化实验只是改变 object order，且结果整体很低，作者也承认只有不引入新子目标时才适用。因此它验证的是“在结构清晰的 toy compositional tasks 上，LLM-generated hierarchy labels 有帮助”，而不是一般开放环境中的层级世界模型能力。

Limitation

SEAL 的主要限制不是 API 成本，而是成立前提很强。

第一，状态必须可被 LLM 语义解析。论文中状态是手工设计的 vector-to-text 描述，包含对象坐标、picked 状态、door 状态，甚至 prompt 中还提供规则和 next coordinate。这接近 symbolic MDP，不是视觉智能。若 observation 是图像、点云或部分可观测历史，LLM labeling 需要 VLM 或额外 state abstraction，误差会显著放大。

第二，任务结构必须接近线性序列。KeyDoor 和 Grid-World 的 subgoals 是固定顺序、有限离散、无分支的。现实任务常有并行子目标、可交换顺序、条件分支、失败恢复和重复步骤。one-hot subgoal library 对这类结构表达力有限。

第三，方法把 hierarchy discovery 问题转移给 LLM，而不是解决其可靠性。LLM decomposition 若漏掉子目标、过度细分、产生不可执行阶段，后续 encoder 会学习错误 ontology。文中没有系统研究错误 LLM labels 下的鲁棒性。

第四，dual-encoder 的动态权重依赖环境 success validation，这使得方法不完全是 offline IL。若真实部署中环境交互昂贵或不可用，这个机制难以使用；与纯 offline baselines 的公平性也需要更清楚说明。

第五，泛化证据较弱。所谓 task variation 的成功率整体不高，且只在共享子目标空间内略有提升。更准确地说，SEAL 学到的是一个任务内 stage classifier，而不是可组合重用的通用 skill library。

第六，增益归因不完全清楚。部分提升可能来自 LLM 提供的 hidden labels、transition loss 的重要性加权、以及 validation-based weighting 的 model selection，三者耦合后很难判断“语义增强”本身贡献多大。

Takeaway

  • 1. LLM 在 HIL 中最有价值的位置未必是 test-time planner，而可能是 offline hierarchy annotator：用一次性语义分解换取长期可训练的 latent supervision。
  • 2. 对长时序 imitation，关键不是简单引入 subgoals，而是让 subgoals 和任务因果结构对齐。
  • 语义先验比纯轨迹聚类更容易得到可解释、可执行的 latent structure。
  • 3. transition states 是 HIL 中被低估的训练瓶颈。

一句话总结

SEAL 是一类“LLM-as-offline-hierarchy-prior”的 HIL 方法：它的真正贡献不是让 LLM 执行规划，而是把语言任务分解蒸馏成 state-level subgoal supervision，从而用语义先验修正长时序 imitation learning 的 latent structure 学习。