精读笔记
Problem Setting
这篇论文不是在提出一个新的 offline RL 算法，而是在修正 offline GCRL 中 hindsight relabeling 的目标语义。标准 offline HER 常把未来达到的完整状态 s_{t+k} 当作 goal g，于是学习目标变成“从当前状态复现整个未来 simulator state”。这在 OGBench 这类 benchmark 中很方便，因为无需人工标注 goal projection；但在机器人 manipulation 中，官方成功往往只看物体位置、姿态或某些任务变量，机器人关节、速度、夹爪状态等只是 nuisance。
真正困难点在于：reward-free offline data 需要自监督地产生 goal labels，而 task success 又不是 full-state equality。过去两种选择都有硬伤：full-state HER 无监督但语义错；HER-Task 语义对齐但依赖 oracle projection，且只能服务一个训练前固定的任务谓词。论文要解决的关键矛盾是：如何保留 HER 的无监督 relabeling 能力，同时不把 irrelevant coordinates 变成目标约束，并且让目标语义可以在测试时改变。
Motivation
作者的核心观察很简单但抓得准：一个 achieved state 不只证明它自己这个 singleton state 可达，也证明所有包含它的 goal set 可达。标准 HER 只用了其中最窄的证据形式，即 G={s_{t+k}}；而机器人任务通常关心的是更大的等价类，例如“所有 cube position 相同的状态”“所有 end-effector pose 相同的状态”。
已有路线缺的是“predicate-level hindsight relabeling”。full-state HER 缺任务不变性；task-projected HER 缺 queryability；language / latent goal / hierarchy 方法虽然更灵活，但通常引入外部监督、固定语义空间或额外模型。GS-HER 的动机不是让模型更大或 objective 更复杂，而是把 hindsight relabeling 产生的监督对象从 goal state 改成 goal set，让 projection 本身成为模型输入。
Core Idea
GS-HER 的核心是把 goal 表示拆成两部分：reference state g 给出目标值，query q 给出哪些变量定义成功。于是目标不再是一个点，而是 G(g,q)={s': q⊙s'=q⊙g}。训练时，同一个未来状态可以被解释成多个 goal set 的 positive certificate；测试时，给同一个 reference state 换不同 q，就换了成功谓词。
这个建模改变引入了一个明确的 inductive bias：任务相关性是显式、可查询、可组合的，而不是隐含在 goal vector 或 oracle projection 中。信息流也被重新组织：inactive coordinates 不再通过 goal-conditioning channel 施加约束，模型只需要在 active coordinates 上学习 reachability。相比 prior，本质区别不是“HER 支持 projection”这一点——HER 本来就可以；而是 projection 不再是训练前固定的环境设计，而是被参数化为 inference-time query。
Method
方法层面最关键的是三个机制。
第一，query-defined goal set。q∈{0,1}^D 选择 active coordinates，success 用 masked distance d_q(s,g) 判断。这解决的是 full-state HER 的目标过约束：未来状态中的机器人姿态、速度等不再自动成为必须复现的条件。连续控制里用 tolerance-relaxed predicate，本质上是把 exact equality 换成 query-conditioned membership。
第二，query-conditioned goal interface。输入不是简单 [s,g]，而是 masked current/reference pair 加 query：[q⊙s+(1-q)⊙e_s, q⊙g+(1-q)⊙e_g, q]。这里的关键不是 embedding 形式，而是切断 inactive coordinates 在 goal channel 中的泄漏，同时显式告诉模型哪些维度是当前任务语义。raw state 仍作为控制输入保留，所以方法不是让策略“看不到”状态，而是让目标比较只发生在被声明相关的变量上。
第三，GS-HER 是 relabeling wrapper 而不是 learner。goal sampler、Bellman / contrastive / BC / IQL objective 都继承原算法；GS-HER 只替换 relabeled transition 的语义与 success predicate。这一点很重要，因为论文的主张是目标语义错配导致性能瓶颈，而不是某个新优化器更强。
Key Insight / Why It Works
最核心的有效性来源是 representation alignment：训练目标与评测谓词对齐了。full-state HER 在 manipulation 中学的是“复现完整未来状态”，而评测只要求“物体达到目标”。这会使 value / policy 在 nuisance dimensions 上浪费容量，也会让 sparse success 更稀疏、更难传播。GS-HER 通过 query mask 扩大 goal set，相当于把一个过窄的正样本集合放宽为任务相关等价类，提升 positive supervision 密度，降低无关维度造成的 credit assignment 噪声。
这不是更强 reasoning，也不是 test-time planning；更像是把错误的监督语义修正成正确的条件化 reachability。它的收益应该主要来自 better inductive bias + data reuse：同一条 trajectory 可同时为多个投影任务提供监督，模型容量被迫学习“哪些维度相关”而不是记忆单一 full-state metric。
哪些是核心贡献？predicate-level relabeling 和 inference-time query 是核心；masked embeddings、blockwise query 分布、兼容多个 backbone 更偏 engineering。blockwise query 的确提供了 domain-agnostic 版本，但其有效性可能依赖状态向量排列有语义局部性，这一点文中未充分说明。Semantic query 结果更好时也不能算完全无监督，因为它使用了 privileged factorization。
需要警惕的是，one-model-many-predicates 的泛化不应被过度解读。很多 query 都是训练中可能采样到的坐标子集或相近组合；如果 offline data 覆盖了这些状态转移，模型表现好可能更像 conditioned retrieval / interpolation，而不是组合式泛化。cube_pose 失败也说明：一旦谓词更严格或需要同时满足多个动态耦合变量，queryability 不能自动解决数据覆盖和控制难度。
Relation To Prior Work
最接近的是 HER with projected goals / task-specific goal spaces、UVFA、offline GCRL，以及一些可变 feature set / skill space 的层级方法。论文的新意不在于“可以用状态子集作为 goal”——这在 HER 原始设定和 manipulation 实践里早就存在；新意在于把“选择哪个子集”从训练前的固定设计变成模型条件输入，并让 hindsight state 为多个 predicate 同时提供监督。
相对 HER-Full，它加入了显式 invariance：inactive coordinates 是 nuisance，不应定义 success。相对 HER-Task，它牺牲了一点 oracle 单任务专注度，换来一个 checkpoint 支持多个谓词。相对 language / latent goal / hierarchy 方法，它没有解决语义 grounding 或长期规划，而是更底层地改写 relabeling semantics。
所以这篇属于 goal representation / relabeling semantics 这条谱系，而不是 offline RL algorithmic improvement。实质创新是把 hindsight relabeling 的监督单位从 state-level certificate 提升到 set-level certificate，并给出了一个简单可插拔的 query-conditioned 实例化。
Dataset / Evaluation
评测主要在 state-based OGBench 上，包括 manipulation、PointMaze、AntMaze，并套到五类 offline GCRL backbone 上。这个覆盖足以验证一个窄但重要的 claim：当官方成功谓词只依赖状态子集时，full-state HER 会被 nuisance dimensions 拖累；GS-HER 通过 query-conditioned predicate 能缓解该问题，而且不强依赖某个 learner。
实验设计里 HER-Full、HER-Task、GS-HER 的对比是有信息量的。HER-Task 作为 oracle projection 上界，帮助区分“目标语义对齐”与“算法更强”。PointMaze 作为低 nuisance control 也合理：当 full state 已接近 task predicate 时，GS-HER 不应有大收益。
但 evaluation 没有证明更开放的泛化。所有实验都是低维状态输入，没有视觉、语言、真实机器人，也没有复杂关系谓词。one-model-many-predicates 很好地支持“同一 checkpoint 可被不同 query 调用”，但这些 query 仍是人工定义的坐标 mask；这验证的是 query interface，不是自动理解任务语义。真实部署中最难的部分——从用户意图到 query / latent factor 的 grounding——被排除在问题外。
Limitation
方法成立依赖几个强前提。第一，状态必须能被拆成有意义的坐标，并且成功谓词能表达为坐标子集匹配；这在 simulator state-based benchmark 里成立，在视觉或真实传感器输入里通常不成立。第二，query distribution 必须覆盖测试谓词或其足够近的组合；否则 inference-time query 只是一个未训练条件，泛化没有保证。第三，offline data 必须覆盖对应 goal set 的可达区域；GS-HER 只重解释已有经验，不能创造缺失行为。
scalability 上限也明显。二进制坐标 mask 对简单投影任务有效，但真实机器人目标常涉及对象关系、接触条件、时序约束、逻辑组合和安全约束，不一定能由 q⊙s≈q⊙g 表示。即便在坐标世界中，query 数量指数级增长，mixed-query training 会有干扰；文中对 capacity、query sampling、predicate difficulty 的系统关系未充分说明。
增益归因方面，主要可以归为去除 nuisance constraints 和提高监督密度，而不是学到了更强的动态模型或规划能力。所谓 queryable goals 很可能在 benchmark 中表现为数据覆盖内的条件化检索 / 插值。Semantic GS-HER 还引入了隐藏的状态因子监督；Blockwise 虽声称 domain-agnostic，但如果状态维度排列不具备语义局部性，效果可能显著下降。真实机器人部署鸿沟仍然很大。
Takeaway
- 1. HER 的核心问题不只是 goal sampling，而是 relabeled goal 的语义对象是什么；把 achieved state 看作 goal-set certificate 是一个值得迁移的视角。
- 2. 对 offline GCRL，很多性能瓶颈可能来自 objective overconstraint，而不是 learner 不够强。
- 先修正 success predicate 与 evaluation predicate 的对齐，往往比换更复杂的 offline RL objective 更有效。
- 3. “reference state + query” 是一个有用的接口分解：reference 提供目标值，query 提供不变性 / 任务语义。
一句话总结
这篇论文把 HER 从“复现未来 goal state”的 relabeling 改造成“查询某个 goal set 是否可达”的 predicate-conditioned relabeling，是 goal representation 语义层面的实质改造，而不是新的 offline RL 算法。