精读笔记

Problem Setting

这篇论文的真实问题不是一般意义上的 instruction following，而是语言 grounding 的监督来源问题：一个 embodied agent 需要把自然语言目标映射到自己的观察和动作空间，但新对象、新属性、新类别的语言-轨迹配对数据通常不存在，且一旦换 agent、换环境、换任务，标注基本不能复用。

关键矛盾是：互联网规模模型拥有大量开放词汇视觉-语言知识，但没有 embodied action space；embodied agent 有自己的动作数据和环境交互能力，但缺少语言语义。以往方法要么收集人类 instruction-trajectory 数据，要么训练环境奖励/分类器，要么把 pretrained encoder 直接接入 policy。前者贵且封闭，后者容易把 grounding 变成不可解释的 hidden representation transfer，并不直接产生可训练的行为监督。

因此本文实际在解的是一个“语义监督迁移”问题：如何把外部 VLM 的视觉-语言 grounding 转成 agent-specific 的 policy training data，而不是让 VLM 直接控制 agent。

Motivation

作者的核心观察很直接：HER 本来就是把失败轨迹改写成成功轨迹，但语言条件 HER 的瓶颈在于缺少一个 state/observation 到 natural language goal 的 relabeling function。传统 HER 在低维 goal space 中容易，因为 goal 通常是坐标或符号；语言空间里，同一状态可以对应多个描述，例如“banana”“yellow object”“food”，而环境通常不给这些语言标签。

已有路线缺的是一个可控、开放词汇、低成本的 relabeler。人类 relabeling 太贵；环境 oracle 不现实；contrastive VLM 或检测器需要预先给定候选目标，且很难表达临时类别；直接使用 CLIP encoder 虽然继承了部分语义，但不能清楚地控制“从图像中提取哪一维语义”。

所以作者想到的方向是：不要让 VLM 进入 agent 内部，而是让它在数据层面充当 hindsight annotator。这个选择很重要，因为它把大模型能力放在离线监督生成环节，既避免在线推理成本，也保留了文本标签的可解释性和可过滤性。

Core Idea

论文的核心思想可以概括为：用 generative VLM 给 agent 自己产生的轨迹事后命名，然后把这些名字作为 instruction 重新训练 agent。agent 先执行一个通用任务，比如“lift an object”，实际拿起了某个东西；VLM 看最终图像，回答“这是什么 / 这是什么颜色 / 它属于什么类别 / 某人是否喜欢它”；这些回答被转成新的语言指令，作为 behavioral cloning 的监督。

这改变了建模方式：语言 grounding 不再主要来自人类给定的 instruction-trajectory pair，也不是 policy 内部共享一个大规模视觉语言 embedding，而是通过“外部语义模型 → 可读标签 → agent-specific trajectory”这条数据管道进行蒸馏。新的 inductive bias 是：VLM 负责把视觉观察投影到人类语言概念空间，agent 只负责学习这些语言标签与自身动作轨迹之间的条件对应关系。

和 prior 的本质区别在于开放式生成和 prompt control。检测器/分类器式 relabeling 只能在预定义标签集里选；contrastive retrieval 需要候选 instruction；这里的 VLM 可以在没有候选列表时生成名称，也可以通过 few-shot prompt 临时定义类别。这使得同一批轨迹可以被重解释为多个任务的数据，scalability 来自重用 agent 行为数据和 VLM 的互联网预训练覆盖。

Method

方法层面真正必要的机制不多。

第一，需要一个能产生结构化可解释行为的初始 agent。本文用已经学会“lift something”的 motor policy 作为起点。这个选择解决的是低层控制问题与语义 grounding 问题的解耦：如果 agent 连抓取都不会，VLM relabeling 没有可用行为基础。这里的隐含前提很强，论文并没有从零学习 embodied skill。

第二，用 VLM 作为 HER relabeling function。传统 HER 需要找到轨迹实际完成的 goal；本文把 goal 变成自然语言字符串，由 VLM 从最终观察生成。这一步的核心变化是把语言目标空间的构造外包给 generative VLM，从而绕开环境 reward 或人工标注。

第三，用 prompt/few-shot 改变 relabeling 维度。问“What is this object?”得到对象名，问“What color is this object?”得到颜色；给若干 in-context examples 后，VLM 可以输出 food/toy 或 yes/no preference。这不是简单 prompt engineering，而是在数据生成阶段控制监督信号的语义投影。

第四，对 VLM 输出进行轻量后处理和过滤。最关键的是后文的 confidence filtering：它显示 relabeling 的质量不是越多越好，而是 task-relevant wrong labels 会污染 grounding。这个机制虽然看似工程，但对 HER 场景很关键。

Key Insight / Why It Works

这篇最有价值的 insight 是：对语言 HER 来说，重标注标签的 precision 比 coverage/accuracy 更关键。zero-shot Flamingo 生成很多无关标签，这些标签在训练中相当于稀释数据；few-shot Flamingo 更常生成任务集合内标签，但一旦猜错，就会把“拿起 A”的轨迹标成“拿起 B”，直接制造反监督。后者对 grounding 的破坏远大于少一些有效样本。这一点比“VLM 能识别物体”更值得迁移。

方法有效的主要原因不是 agent 学到了抽象推理，而是三种结构叠加：一是 VLM 预训练提供开放词汇视觉-语言映射；二是 HER 把无目标交互轨迹转化为有目标监督，复用了 agent 已有行为数据；三是 prompt 将同一观察投影到任务相关语义维度，降低了标签下游不匹配。核心贡献在于重新组织信息流，而不是提出新的 policy architecture。

从归因上看，名称、颜色和真实类别的成功很可能主要来自 Flamingo 的数据覆盖和视觉识别能力；few-shot 对类别任务的提升更像 domain adaptation + label space calibration，而不是新概念学习。ad-hoc preference 实验最接近“临时概念传递”，但 arbitrary preference 的效果明显较弱，说明当类别结构不对应预训练中的语义簇时，VLM 的 in-context binding 能力有限。

这不是 test-time planning，也不是 embodied reasoning。VLM 只在离线生成标签时使用，policy 最终学到的是条件模仿映射。所谓 grounding 更准确地说是把 VLM 的视觉-语言检索/识别能力压缩到特定任务策略中。它的上限由 VLM 对该视觉域和概念的识别精度、agent 行为覆盖，以及错误标签过滤能力共同决定。

Relation To Prior Work

这篇位于 HER、language-conditioned imitation/RL、foundation model for robotics 三条线的交叉处。最接近的是 language HER / hindsight instruction relabeling，例如用人类或 learned relabeler 给轨迹生成 instruction；本文真正新增的是用 off-the-shelf generative VLM 作为开放词汇 relabeler，并通过 prompt/few-shot 动态指定 relabeling 语义。

和 CLIP/contrastive VLM 接入 policy 的路线相比，本质差异是“表示迁移” vs “监督迁移”。CLIP-style 方法把大模型 embedding 放进 agent 内部，优势是端到端可用，缺点是不可解释且任务相关性不确定；本文把 VLM 输出显式文本标签，牺牲了一些细粒度视觉表示能力，但换来可诊断、可过滤、可多次重标注的数据接口。

和 open-vocabulary detector/classifier 相比，本文的生成式 VLM 更灵活：不需要预先定义所有目标，能处理自然语言类别和临时 preference。但这里也不能过度神化生成式模型；很多成功来自 Flamingo 比检测器更抗 Unity domain shift，并且能输出近似同义表达。生成本身不是充分条件，关键是生成的标签是否形成高 precision 的训练集合。

看似新的部分其实是已有思想重组：HER 的 hindsight relabeling、distillation 的 teacher-student、prompting/few-shot adaptation 都是已知组件。实质创新在于把这些组件放到 embodied language grounding 的数据瓶颈上，并证明 generative VLM 可以作为非人工、非环境 oracle 的 relabeling source。

Dataset / Evaluation

评估集中在 Playhouse 的 Lift 任务：Unity 室内环境、egocentric observation、连续动作空间，但任务本身被刻意压缩为最终状态可判定的单步物体抓取。它足以验证“VLM relabeling 可以给对象选择类任务提供语言监督”，但不足以验证更广义的 embodied instruction following。

任务覆盖包括对象名、颜色、food/toy 类别、用户偏好。这个设计能展示 prompt 控制 relabeling 维度，也能部分展示 few-shot 临时类别定义。但所有任务都共享同一个动作模板 Lift，缺乏组合指令、空间关系、时序约束、工具使用、多阶段计划等更难的 grounding 形态。

没有真实世界或真机实验。Unity 图像反而对 VLM 有一定 domain shift，作者用 food/toy 被识别成 toy food 的现象说明了这一点；但这不等于真实机器人场景验证。真实部署中会遇到遮挡、抓取失败、视角选择、语言歧义、在线纠错等问题，本文基本没有覆盖。

实验最支持的 claim 是“off-the-shelf VLM 可作为可控离线 relabeler，为已有 motor policy 注入新语义”。它不充分支持“泛化到复杂 embodied agents”或“学习抽象概念推理”。Oracle 上界显示轨迹量足够，VLM 与 oracle 的差距则说明瓶颈主要在 relabeling quality，而不是 policy capacity。

Limitation

最大隐含前提是低层行为已经存在。本文的 agent 不是从 VLM 监督中学会抓取，而是已经能 lift object；VLM 只是告诉它“你刚刚抓的东西叫什么”。因此方法更像语义层蒸馏，不是完整 embodied skill learning。

第二个前提是任务可由最终观察描述。Lift 任务天然适合 HER：最终图像中有被抓物体，目标谓词可近似由最后一帧判断。对导航、清理、装配、打开抽屉、先拿 A 再放 B 这类长时序任务，单帧 relabeling 不够。作者提到可扩展到视频/观察对，但文中未充分说明如何处理时间信用分配和语言描述粒度。

第三，泛化很大程度依赖 VLM 预训练覆盖。对象名、颜色、food/toy 都是互联网数据中的强概念；即便 ad-hoc preference，也是在已知对象上的二分类绑定。所谓新类别学习在 arbitrary preference 下明显退化，说明当概念不对齐预训练语义结构时，few-shot prompt 的能力有限。这里的“泛化”更像 retrieval + in-context remapping，而非形成稳健的新 grounded concept。

第四，错误监督会系统性污染 policy。论文自己证明 wrong task-relevant labels 比 irrelevant labels 更有害。这意味着 scaling 数据不一定解决问题；如果 VLM 在长尾对象、遮挡视角或真实机器人图像上高置信误判，训练会把错误 grounding 固化进 agent。confidence filtering 有帮助，但 calibration 本身也依赖模型和 prompt，文中未充分说明在更复杂任务中的可靠性。

第五，增益归因仍不完全清楚。性能提升来自 Flamingo 的视觉识别、prompt 限制输出空间、BC 训练数据复用、还是 agent 原本已有的语言/行为先验，实验没有完全拆开。尤其使用人类数据预训练 original agent，并过滤相关词来保证缺失 grounding，这种设置干净但人工，离真实持续学习场景还有距离。

最后，方法把问题部分转移到了大 VLM：标注成本变成推理成本和模型可用性问题。Flamingo 80B 不公开，在线生成大量轨迹标签成本不低。后续可用更强/开源 VLM 替代，但核心能力可能主要来自 scaling / data，而非算法本身。

Takeaway

• 1. 最值得记住的是把 foundation model 用作离线语义标注器，而不是在线 controller 或 frozen encoder。
• 这条路线对 embodied learning 很实用，因为它把大模型能力转化为可审计、可过滤、可复用的数据。
• 2. Language HER 的核心难点不是 relabeling 数量，而是 relabeling precision。
• 未来做 VLM-as-supervisor 时，应优先研究 uncertainty、abstention、consistency checking、multi-view verification，而不是盲目生成更多标签。

一句话总结

这篇论文把互联网规模 VLM 从 embodied agent 的在线感知/规划模块转移到离线 HER 重标注器位置，实质贡献是提出了一条用可控语言标签蒸馏开放词汇 grounding 到已有具身策略的数据生成路线。